Fluent but Foreign: Even Regional LLMs Lack Cultural Alignment

기술 요약: "유창하지만 이질적인: 지역 특화 LLM조차 문화적 정렬이 부족하다"

문제 제기
대규모 언어 모델(LLM)이 전 세계적으로 빠르게 도입되고 있지만, 이들은 주로 서구 중심적인 가치, 신념 및 지식을 인코딩하고 있습니다. 이에 대응하여 글로벌 사우스(Global South)의 개발자들은 특정 공동체를 지원하기 위해 현지 언어로 학습된 "지역적" 또는 "주권적" LLM을 구축하고 있습니다. 그러나 이러한 모델들이 단순히 언어적으로 유창한 것인지, 아니면 진정으로 문화적으로 정렬된 것인지를 평가하는 데에는 중요한 격차가 존재합니다. 현재의 다국어 벤치마크는 추론, 분류 및 생성 능력을 평가하는 데 집중할 뿐, 현지의 문화적 가치, 관습 및 삶의 실체와의 정렬 여부를 평가하지 못합니다. 본 논문은 인도 사례 연구를 통해, 지역 특화 학습이 실제로 대상 인구에게 필요한 문화적 정렬을 부여하는지 조사합니다.

방법론
저자들은 홉스테데(Hofstede)의 문화 양파(cultural onion) 모델에 근거하여 가치(사람들이 믿는 것)와 관습(사람들이 하는 것)이라는 두 가지 차원을 평가하는 "두꺼운 × 넓은(thick × wide)" 평가 프레임워크를 채택했습니다. 이 연구는 12개의 모델을 평가합니다: 6개의 인도 특화 모델(예: nanda-10b, sarvam-m-24b)과 6개의 글로벌 베이스라인(예: GPT-4o, Llama-3, Mistral)입니다.

평가는 네 가지 벤치마크 태스크와 한 가지 사용자 연구로 구성됩니다:

1. 문화 지도 (가치): 세계 가치 조사(WVS)를 사용하여 모델을 잉글하트-웰젤(Inglehart–Welzel) 문화 지도(전통적 vs. 세속적-합리적; 생존 vs. 자기표현) 상에 배치하여, 모델의 가치 지향성을 국가 평균과 비교합니다.
2. 의견 정렬 (가치): GlobalOpinionQA(Pew Global Attitudes에서 파생)를 사용하여, 모델의 예측이 94개의 상이한 질문에 대한 인도 대 미국 대중의 응답 분포와 얼마나 일치하는지 측정합니다. "문화적 정렬 차이(Cultural Alignment Differential, CAD)"를 계산하여 편향을 정량화합니다.
3. 문화적 지식 (관습): CulturalBench의 하위 집합을 사용하여, 모델이 인도와 미국의 관습 및 에티켓에 관한 객관식 질문에 답하게 합니다.
4. 문화적 적응 (관습): NormAd를 사용하여, 다양한 맥락 수준(국가, 가치+국가, 경험칙) 하에서 상황에 맞는 문화적 규범(예: 식사 예절)을 적용하는 능력을 테스트합니다.
5. 사용자 연구 (다운스트림 응용): 115명의 인도인 참여자가 문화적 기반 주제(축제, 음식, 공인)에 대해 AI의 도움을 받아 에세이를 쓰는 연구를 진행했습니다. 이 연구는 최고 성능의 인도 특화 모델(Sarvam-M)과 글로벌 모델(GPT-4o)의 글쓰기 제안을 비교하여 문화적 균질화, 이국적 취급(exoticization), 그리고 문체 보존 정도를 측정했습니다.

또한, 문화적 정렬을 회복할 수 있는지 확인하기 위해 다양한 프롬프팅 전략(인구 통계, 교차 언어, 힌디어 번역)을 테스트했습니다.

주요 결과

• 현지 가치와의 불일치: 모든 태스크에서 인도 특화 모델은 글로벌 모델보다 인도 규범에 더 잘 부합하지 못했습니다. 문화 지도 분석 결과, 어떤 인도 특화 모델도 인도를 나타내는 사분면에 위치하지 않았으며, 일부 경우에는 평균적인 미국인 응답자가 테스트된 어떤 인도 특화 모델보다 인도적 가치에 더 가까운 대리인이었습니다.
• 의견 편향: GlobalOpinionQA에서 여러 인도 특화 모델은 인도 대중의 의견보다는 미국 대중의 의견 쪽으로 통계적으로 유의미하게 기울어져 있었습니다. 두 인구 집단 간의 불일치 정도를 정규화한 결과, 이러한 미국 중심적 편향은 더욱 두드러졌습니다.
• 지식 결핍: 인도 특화 모델은 미국 관련 문화 질문보다 인도 관련 문화 질문에서 유의미하게 낮은 성능을 보였습니다. 지역 특화 미세 조정(fine-tuning)은 새로운 문화적 지식을 주입하는 데 실패했으며, 몇몇 경우(예: gajendra-7b, sarvam-m-24b) 베이스 모델인 글로벌 모델에 비해 인도 및 미국 문화 질문 모두에서 성능이 저하되었습니다.
• 적응 실패: NormAd에서 인도 특화 모델은 인도 사회 규범을 적용하는 데 어려움을 겪었으며, 암묵적 추론 맥락에서 무작위 확률에 가까운 성능을 보인 반면, 글로벌 모델은 미국 규범에서 더 나은 성능을 보였습니다.
• 글쓰기 균질화: 사용자 연구에서 인도 특화 모델(Sarvam-M)의 제안은 GPT-4o의 제안보다 자연스러운 인도식 글쓰기와 유사한 정도가 아주 미미하게 높았습니다. 인도 특화 모델은 자주 서구화된 요소(예: 독립기념일에 바비큐 파티 제안)나 이국적인 묘사를 제안하며, 본래의 인도적 문화 표현을 보존하는 데 실패했습니다.
• 프롬프팅의 비효효과성: 인구 통계적 단서 및 언어 번역을 포함한 프롬프팅 전략은 문화적 정렬에서 미미한 이득만을 얻었으며, 근본적인 불일치를 회복할 수 없었습니다.

주요 기여

1. 다차원적 평가 프레임워크: 본 논문은 인구 규모의 설문 데이터(WVS, Pew)와 커뮤니티 기반 QA 데이터셋, 그리고 다운스트림 사용자 연구를 결합하여 "두꺼운 × 넓은" 접근 방식을 구체화함으로써 문화적 정렬을 체계화했습니다.
2. 지역 특화 학습에 대한 실증적 증거: 이는 지역 언어로의 언어적 현지화가 반드시 문화적 정렬로 이어지지는 않는다는 것을 보여주는 최초의 대규모 실증 연구입니다. 이는 지역 특화 모델이 언어적으로는 현지화되어 있음에도 불구하고 서구적 세계관을 반영한다는 점을 드러냅니다.
3. NLP와 HCI의 가교 역할: 본 연구는 문화적 정렬을 일류의 설계 요구사항으로 위치시키며, 비서구적 맥락에서 AI 시스템을 공정하게 설계하기 위해서는 언어적 유창성만으로는 불충분하다고 주장합니다.

의의 및 주장
본 논문은 서구 중심적인 사전 학습 데이터를 번역하거나 얇은 층의 현지 언어 데이터로 미세 조정하는 것에 의존하는 현재의 "주권적" LLM 구축 패러다임이 결함이 있다고 주장합니다. 저자들은 병목 현상이 문화적으로 근거 있는 데이터, 특히 사전 학습을 위한 데이터의 희소성에 있다고 주장합니다.

이 연구의 의의는 언어 현지화가 곧 문화적 역량을 의미한다는 가정에 도전하는 데 있습니다. 저자들은 다음과 같은 사항을 촉구합니다:

• 서구 중심적 데이터나 번역된 데이터를 대체할 현지 커뮤니티가 저술한 코퍼스(corpus).
• 모델이 확장되기 전에 문화적 취약성을 탐지하기 위해 커뮤니티 공동 설계와 인구 규모의 데이터를 결합한 "두꺼운 × 넓은" 평가 프로토콜.
• AI 시스템이 서구의 시각을 강요하는 것이 아니라 현지의 가치와 삶의 실체를 반영하도록 하기 위한 데이터 자원의 커뮤니티 관리(stewardship).

결론적으로, 본 논문은 데이터 불균형을 해결하고 학습 목표를 재고하지 않는다면, 지역 특화 모델은 현지화라는 가면을 쓴 채 문화적 헤게모니를 영속시킬 위험이 있다고 경고합니다.