Location Not Found: Exposing Implicit Local and Global Biases in Multilingual LLMs

1. 문제 정의 (Problem Definition)

다국어 대규모 언어 모델 (LLM) 은 언어 간 유창성 (fluency) 격차를 줄이는 데 성공했으나, 이는 모델이 지식과 규범을 언어 간에 전파하면서 편향된 행동을 보일 위험을 내포하고 있습니다.

• 지역적 모호성 (Locale-Ambiguity): 자연어 대화에서 화자는 종종 "명백한" 정보 (예: 국가, 지역) 를 생략합니다. 예를 들어, "긴급 전화 번호는 얼마인가요?" 또는 "재정 연도는 언제 끝나요?"와 같은 질문은 언어만으로는 답이 결정되지 않습니다.
• 현재의 한계: 기존 다국어 평가는 주로 언어적 유창성이나 명시적인 문화적 지식 (예: "페루의 수도는?") 을 평가하는 데 집중합니다. 그러나 모델이 맥락이 명시되지 않은 모호한 질문에 대해 어떻게 답변을 선택하는지, 즉 모델의 암묵적 선입관 (Implicit Priors) 을 측정하는 도구는 부족합니다.
• 핵심 질문: 모델이 특정 언어로 질문받았을 때, 해당 언어가 사용되는 다양한 지역 중 어떤 지역의 현실을 '표준'으로 간주하고, 어떤 지역의 현실을 무시 (Erasure) 하는가?

2. 방법론 (Methodology)

저자들은 모델의 암묵적 편향을 정량화하기 위해 LocQA (Localized QA) 라는 새로운 벤치마크와 평가 지표를 제안했습니다.

A. LocQA 데이터셋

• 구성: 12 개 언어 (영어, 스페인어, 프랑스어, 등) 와 49 개 지역 (Locale) 을 아우르는 2,156 개의 질문 - 답변 쌍.
• 특징: 질문은 지역 의존적 사실 (법률, 날짜, 측정 단위 등) 에 관한 것이지만, 질문 자체에는 지역 정보가 명시되지 않습니다.
• 골드 표준 (Gold Standard): 각 언어에 해당하는 49 개 지역별 정답을 포함하며, 모델이 어떤 지역의 답을 우선시하는지 분석합니다.

B. 편향 측정 지표 (Metrics)

두 가지 주요 편향 축을 정의하여 측정합니다.

1. 글로벌 편향 (Global Bias, $B_{US}$):

   • 정의: 모델이 영어가 아닌 언어로 질문받았을 때도 미국 (US) 중심의 규범을 얼마나 자주 답하는지 측정.
   • 계산: 모델의 출력에서 US 답변의 관측 확률 ($P_{obs}$) 과 데이터셋 내 US 답변의 기대 확률 ($P_{exp}$) 의 차이.
   • 목적: 언어 장벽을 넘어선 US 중심성 (Anglocentrism) 을 파악.

2. 지역 편향 (Regional Bias, $B_R$):

   • 정의: 동일한 언어를 사용하는 여러 지역 내에서 특정 지역이 과대/과소 대표되는지 측정.
   • 계산: 모델이 특정 지역 $c$의 정답을 언급한 빈도 ($N_{model}$) 와 데이터셋 내 해당 지역의 정답 비율 ($N_{data}$) 의 비율 (Lift).
   • 목적: 인구 규모에 따른 '인구 통계학적 확률 엔진' 현상 (대규모 지역 선호, 소규모 지역 소멸) 파악.

C. 평가 프로세스

• 모델: 32 개의 다양한 모델 (Proprietary 및 Open-weight, Base 및 Instruction-tuned 버전 포함) 평가.
• 자동화 평가: Gemini-2.5-Flash 를 '판사 (LLM-as-a-Judge)'로 활용하여 모델 답변의 정답 일치도, US 답변 포함 여부, 그리고 US 를 기준점으로 삼는 프레임 (Framing) 스타일을 분석.

3. 주요 결과 (Key Results)

32 개 모델을 대상으로 한 실험을 통해 두 가지 구조적 편향과 '정렬 비용 (Alignment Tax)'을 발견했습니다.

A. 글로벌 편향 (Global Bias): US 중심성

• 거의 모든 모델이 비영어권 언어로 질문받았을 때도 US 규범을 기본값 (Default) 으로 사용했습니다.
• 평균 $B_{US}$ 점수는 0.24 로, 데이터 내 US 답변 비율 (26%) 대비 모델 출력에서의 비율 (50%) 이 훨씬 높았습니다.
• 편향 유형:
  • 침입 (Intrusion, 17.5%): 지역 정답을 제공하면서도 US 규범을 불필요하게 덧붙이는 경우.
  • 지우기 (Erasure, 6.5%): 지역 현실을 완전히 US 규범으로 대체하는 경우.
  • 선택 (Selection, 8.7%): 모호한 상황에서 US 와 일치하는 옵션을 선호.

B. 지역 편향 (Regional Bias): 인구 규모에 따른 불평등

• 모델은 지리적 공정성보다는 인구 규모에 따라 답변을 선택하는 경향이 있었습니다.
• 로그 스케일 상관관계: 지역 편향 점수와 인구 규모 사이에는 로그 함수적 관계 ($R^2=0.41$) 가 존재했습니다. 즉, 인구가 10 배 증가해야 표현 점수가 0.19 포인트 증가하는 등, 소규모 국가는 체계적으로 소멸 (Erasure) 되었습니다.
• 예시: 스페인어 질문 시 미국, 스페인, 멕시코, 아르헨티나는 과대 대표되는 반면, 온두라스, 볼리비아 등은 소외되었습니다.

C. 지시 튜닝 (Instruction Tuning) 의 역설: "문화적 정렬 비용 (Cultural Alignment Tax)"

• Global Bias 증가: 지시 튜닝 (Instruction Tuning) 을 거친 모델은 Base 모델에 비해 US 편향이 더 심해졌습니다.
• Regional Bias 감소: 반면, 지시 튜닝은 지역 편향 (특정 지역 과대표) 을 줄여 지역 간 표현을 평탄화했습니다.
• 원인 분석: 지시 튜닝은 모델이 "다양한 답변을 제공하여 도움이 되게 하라"는 목표를 학습하게 합니다. 이로 인해 모델은 하나의 지역 답변만 고집하지 않고 여러 옵션을 나열하게 되는데, 이때 US 를 보편적인 기준점 (Anchor) 으로 삼아 대조하는 경향이 강화되었습니다. 즉, 지역 소멸은 줄었지만 US 중심성은 더욱 강화된 것입니다.

D. 명확한 지역 지시 시에도 편향 지속

• 질문 시 명시적으로 "멕시코"와 같은 지역을 지정하더라도, 고능력 모델일수록 오류가 발생했을 때 US 답변으로 치환 (Hallucination) 하는 경향이 강했습니다. 이는 US 편향이 단순한 지식 부재가 아니라 고착된 선입관임을 시사합니다.

4. 주요 기여 (Key Contributions)

1. LocQA 벤치마크 개발: 12 개 언어, 49 개 지역, 2,156 개의 질문으로 구성된 진단용 벤치마크를 공개하여 모델의 암묵적 선입관을 격리하여 측정할 수 있게 함.
2. 이중 지표 프레임워크 (Dual-Metric Framework):
   • Global Metrics: US 중심 편향 정량화.
   • Regional Metrics: 지리적 공정성 및 인구 규모 편향 정량화.
3. 실증적 증거 제시: 32 개 LLM 에 대한 실험을 통해 지시 튜닝이 지역 편향을 완화하는 대신 US 편향을 심화시키는 "문화적 정렬 비용"이 존재함을 입증.

5. 의의 및 결론 (Significance & Conclusion)

• 언어 유창성 $\neq$ 문화적 토대: 현재 다국어 모델 평가가 언어적 유창성에만 집중하고 있으며, 이는 실제 사용자의 지역적, 문화적 맥락을 반영하지 못함을 지적합니다.
• 모델링 패러다임 전환 필요: 단순한 "다국어 (Multilingual)" 모델링을 넘어, 지역 (Locale) 을 언어와 별개의 독립적인 차원으로 취급하는 "다문화 및 다지역 (Multicultural & Multi-regional)" 모델링으로의 전환이 필요합니다.
• 안전성 vs 문화적 다양성: 현재 안전성을 위한 정렬 (Alignment) 과정이 오히려 US 중심의 동질성을 강화하고 문화적 뉘앙스를 희생시키고 있음을 경고합니다.

이 연구는 전 세계 사용자를 위한 LLM 의 사실적 정확성과 공정성을 보장하기 위해서는 지역적 맥락이 명시적으로 고려되어야 함을 강력히 주장합니다.