Language Bias under Conflicting Information in Multilingual LLMs

논문 개요

이 연구는 대형 언어 모델 (LLM) 이 상충되는 정보를 처리할 때, 해당 정보가 어떤 언어로 제시되었는지에 따라 편향된 선택을 하는지 여부를 규명하는 것을 목표로 합니다. 저자들은 기존의 'Haystack 내의 바늘 (Needle In A Haystack, NIAH)' 패러다임을 다국어 환경으로 확장하여, 다양한 크기의 다국어 LLM 들이 뉴스 도메인의 자연스러운 데이터에서 상충되는 정보를 어떻게 처리하고, 특정 언어를 선호하거나 기피하는지 체계적으로 평가했습니다.

1. 연구 문제 (Problem Statement)

• 배경: LLM 은 다양한 출처의 정보를 요약하거나 통합하는 데 널리 사용되지만, 출처 간에 모순되는 정보가 존재할 때 이를 어떻게 처리하는지는 중요한 문제입니다.
• 핵심 질문: LLM 이 상충되는 정보를 식별하지 못하고 하나의 답변만 제시할 때, 그 선택이 정보의 언어적 특성에 의해 영향을 받는가?
  • 특정 언어 (예: 중국어, 러시아어) 가 다른 언어보다 우선시되는가?
  • 모델의 훈련 지역 (서구 vs 중국) 에 따라 언어 편향 패턴이 달라지는가?

2. 방법론 (Methodology)

저자들은 다국어 상충 바늘 (Multilingual Conflicting Needles) 패러다임을 도입하여 실험을 설계했습니다.

• 데이터 구성 (Haystack & Needles):
  • Haystack: 약 25,000 단어 (약 34 개 기사) 의 실제 뉴스 텍스트로 구성. 원래 영어로 작성된 기사를 기계 번역 (구글 번역 등) 을 통해 중국어, 독일어, 러시아어, 터키어로 변환하여 사용.
  • Needles (바늘): 4 가지 카테고리 (음악, 편집자, CEO, 위원장) 의 가짜 사실 (pseudo-facts) 을 생성. 각 카테고리당 두 개의 서로 다른 사실 (예: 밴드의 보컬 이름이 'Delcroft'인지 'Ashwren'인지) 을 서로 다른 두 기사에 삽입.
  • 실험 설계: 두 개의 Needle 이 서로 다른 언어 (L1, L2) 로 제시되도록 구성. 예를 들어, (a) 경우 L1 은 영어, L2 는 중국어로, (b) 경우 L1 은 중국어, L2 는 영어로 제시하여 언어 순서를 반전시킴.
• 모델 대상:
  • 서구 (미국, 캐나다, 프랑스) 훈련 모델: GPT-5.2, GPT-5 Mini/Nano, Gemma-3, Llama-3.1, Mistral, Command-R 등.
  • 중국 (PRC) 훈련 모델: GLM-4, Qwen3, Yi-1.5 등.
  • 총 12 개의 모델, 다양한 파라미터 크기 (4B ~ 27B) 포함.
• 평가 지표:
  • 모델이 두 가지 상충된 답변 중 하나만 선택하는지, 둘 다 인지하는지, 아예 실패하는지 확인.
  • 언어 순서를 바꿨을 때 선택된 답변이 바뀌는 경우를 '언어 편향'으로 간주.
  • 통계적 검증: 240 개의 대조 쌍 (contrastive pairs) 에 대해 이항 분포 (p=0.05) 를 기준으로 유의미한 편향을 확인 (Bonferroni 보정).

3. 주요 기여 (Key Contributions)

1. 새로운 평가 패러다임: 다국어 LLM 의 언어 편향을 연구하기 위해 실제 뉴스 시나리오를 모사한 '다국어 상충 바늘' 패러다임을 처음 도입.
2. 충돌 감지 실패의 발견: 최첨단 모델 (GPT-5.2 포함) 을 포함한 모든 모델이 실험 조건 하에서도 상충 정보를 거의 식별하지 못하고, 단순히 하나의 답변을 확신 있게 제시함을 발견.
3. 일관된 언어 편향 규명: 모델 간에 특정 언어를 선호하거나 기피하는 경향이 놀라울 정도로 일관되게 나타남을 발견.
4. 지역적 차이 분석: 서구와 중국 훈련 모델 간의 편향 패턴 유사성을 확인하되, 중국 훈련 모델에서 영어에 대한 약간의 기피 경향이 있음을 발견.

4. 실험 결과 (Results)

RQ1: 상충 정보 처리 능력

• 모든 모델이 상충 정보를 거의 식별하지 못함.
• 대부분의 경우 (대부분 90% 이상) 모델은 두 가지 정답 중 하나만 선택하거나, 아예 정답을 제시하지 못함.
• 문맥 길이가 길어질수록 (25,000 단어) 정답을 전혀 찾지 못하는 비율이 증가하는 경향을 보임.

RQ2 & RQ3: 언어 편향의 존재 및 패턴

• 러시아어 기피: 모든 모델에서 러시아어 (Cyrillic 문자) 로 제시된 정보는 통계적으로 유의미하게 기피됨. 이는 모델이 러시아어 텍스트를 읽을 수는 있지만, 상충 상황에서는 해당 정보를 선택하지 않음을 의미.
• 중국어 선호: 가장 긴 문맥 (25,000 단어) 조건에서 중국어 (Simplified Chinese) 로 제시된 정보는 다른 언어에 비해 선호되는 경향이 강하게 나타남.
• 일관성: 이 편향 패턴은 서구 모델과 중국 모델 모두에서 유사하게 관찰됨.
  • 예: GPT-5-Mini 는 영어를 221 번 선택한 반면 러시아어는 38 번만 선택.
  • C4AI-Command-R7B 는 언어 간 편향이 거의 없었으나, 대부분의 모델은 편향을 보임.

RQ4: 훈련 지역 (Origin) 의 영향

• 유사성: 서구 (미국, 캐나다, 프랑스) 와 동부 (중국) 모델 모두 러시아어를 기피하고 중국어를 선호하는 경향을 보임.
• 차이점: 중국 훈련 모델은 서구 모델과 달리 영어에 대해 약간의 기피 경향을 보임.
• 결론: 모델의 훈련 지역이 언어 편향의 '방향성'을 크게 바꾸지는 않지만, 편향의 강도나 특정 언어 (영어) 에 대한 태도에서 미세한 차이를 보임.

5. 의의 및 결론 (Significance & Conclusion)

• 실무적 위험: LLM 이 상충 정보를 처리할 때 언어적 편향이 작용한다는 것은, 뉴스 요약이나 팩트 체크와 같은 실제 응용 분야에서 특정 언어의 정보가 왜곡되거나 배제될 수 있음을 시사합니다.
• 모델 능력의 한계: 현재 LLM 은 복잡한 추론 능력이 있음에도 불구하고, 단순한 정보 검색 (Information Retrieval) 과 같은 '일상적'인 작업에서도 상충 정보를 식별하는 데 실패합니다.
• 편향의 보편성: 훈련 데이터의 크기나 모델 아키텍처의 차이보다는, 모델 내부에 내재된 언어적 위계 (Hierarchy) 나 편향이 상충 정보 처리에 더 큰 영향을 미칠 가능성이 높습니다. 특히 러시아어 기피와 중국어 선호 현상은 훈련 데이터의 양만으로 설명하기 어려운 구조적 편향으로 보입니다.
• 향후 과제: 더 다양한 언어와 모델, 그리고 모델 내부 표현 (Internal Representations) 을 분석하여 이러한 편향의 메커니즘을 규명하고 완화하는 연구가 필요합니다.

이 연구는 다국어 LLM 의 신뢰성을 평가할 때 단순히 성능 (Accuracy) 만이 아니라, 정보의 언어적 맥락에 따른 편향을 반드시 고려해야 함을 강력하게 주장합니다.