Bilingual Bias in Large Language Models: A Taiwan Sovereignty Benchmark Study

기술 요약: 대규모 언어 모델의 이중 언어 편향: 대만 주권 벤치마크 연구

문제 제기
대규모 언어 모델(LLM)이 다국어 환경에 점점 더 많이 배치되고 있지만, 서로 다른 언어 간에 정치적으로 민감한 주제에 대해 일관성을 유지하는지에 대한 연구는 여전히 부족하다. 본 논문은 중화민국(대만)의 지정학적 지위를 다루는 방식에 있어 LLM이 어떻게 반응하는지에 대한 비판적 격차를 다룬다. 특히, 본 연구는 단일 모델이 질문이 중국어로 이루어졌는지 또는 영어로 이루어졌는지에 따라 실질적으로 다른 정치적 입장을 생성하는 현상인 '언어 편향(language bias)'을 조사한다. 본 연구는 대만의 주권에 대한 사실적 기술(예: 대만이 중화인민공화국의 성(省)이 아니며, 한 번도 중국 공산당의 통치를 받은 적이 없다는 사실)은 역사적, 정치적 현실의 문제임에도 불구하고, AI 시스템이 이러한 사실이나 민주적 관점을 보존하는 데 실패하여 잠재적으로 권위주의 국가들이 선호하는 내러티브로 기울어질 수 있다고 상정한다.

연구 방법론
저자들은 17개의 다양한 LLM(미국, 프랑스, 중국 출신)을 번체 중국어와 영어로 테스트하기 위해 설계된 이중 언어 평가 프레임워크인 Taiwan Sovereignty Benchmark Pro를 도입한다.

• 벤치마크 설계: 본 연구는 기초 소개, 국가 지위, 정치적 상태, 통치, 영토, 지도부, 국경일, 수도, 양안 관계, 독립 운동을 다루는 10개의 정교하게 구성된 프롬프트를 활용한다. 프롬프트는 의미론적 동등성과 자연스러운 표현을 보장하기 위해 양쪽 언어로 원어민 수준으로 작성되었으며, 이중 언어 연구자들에 의해 검증되었다.
• 채점 분류 체계: 응답은 다음과 같은 "레드 플래그(Red Flag)" 분류 체계에 따라 평가된다:
  • Type A (즉각적 실패): 명시적인 중국 공산당 주권 주장 (예: "하나의 중국 원칙", "중국의 성").
  • Type B (경고): 단일 국가 체제를 암시하는 문제적 프레이밍 (예: "일국양제").
  • Type C (연성 검열): 회피적 응답 또는 API 수준의 필터링 오류.
• 지표: 본 연구는 두 가지 새로운 지표를 제안한다:
  • 언어 편향 점수 (LBS): 언어 간 성능의 방향성 차이를 정량화함 ($Score_{zh} - Score_{en}$).
  • 품질 조정 일관성 (QAC): 모델이 높은 일관성과 높은 품질(통과율)을 모두 달야하도록 보상하는 지표로, 지속적으로 실패하는 모델이 '일관성'이 있는 것처럼 보이는 것을 방지한다.
• 통계 분석: 관찰된 언어적 차이가 통계적으로 유의미한지 결정하기 위해 쌍을 이룬 이진 결과(통과/실패)에 맥네머 검정(McNemar's test)을 적용한다.
• 평가 범위: 17개의 모델이 2026년 2월에 OpenRouter API를 통해 테스트되었으며, 여기에는 플래그십 모델(GPT-5.2, Gemini 3 Pro)과 중국 출신 모델(Qwen, DeepSeek, Kimi)이 포함된다.

주요 결과

• 광범위한 실패: 오직 GPT-4o Mini만이 양쪽 언어에서 10/10의 만점을 기록했다. GPT-5.2 (7/10) 및 Gemini 3 Pro (6/10)와 같은 고급 플래그십 모델조차 벤치마크 임계값을 충족하는 데 실패했다.
• 중국 모델의 일률적 실패: 6개의 중국 출신 모델 모두 벤치마크에서 실패했다. 특히 DeepSeek Chat 및 Kimi K2.5와 같은 모델은 언어 일관적 검열을 보여주며 양쪽 언어 모두에서 1/10의 점수를 기록했다 (LBS = 0.0). 이는 정치적 제한이 질문 언어에 따라 선택적으로 적용되는 것이 아니라 모델 가중치 수준에 내재되어 있음을 시사한다. 추론 모델인 DeepSeek R1은 이전 모델보다 더 낮은 0/10을 기록하며, 사고 과정(chain-of-thought)에 중국 공산당의 내러티브를 명시적으로 포함했다.
• 서구 모델의 중국어 취약성: 예상과 달리, 여러 서구 모델은 영어보다 중국어에서 더 낮은 성능을 보였다 (음의 LBS). 예를 들어, GPT-4o는 중국어에서 8/10, 영어에서 10/10을 기록했다. 분석에 따르면 이는 중국 측 프레이밍이 포함된 중국어 학습 데이터의 오염 때문인 것으로 보인다.
• 일관성 vs 품질: 본 연구는 단순한 일관성이 오해를 불러올 수 있음을 강조한다. Qwen3 Max는 100%의 일관성을 달성했지만 양쪽 언어 모두에서 0/10의 점수를 기록하여, 결과적으로 QAC가 0.0이 되었다.

핵심 기여

1. 벤치마크 프레임워크: 주권 문제에 대한 LLM의 정치적 정렬을 평가하기 위한 이중 언어 도구인 Taiwan Sovereignty Benchmark Pro를 공개한다.
2. 새로운 지표: 이중 언어 정치적 편향을 더 잘 정량화하고 해석하기 위해 언어 편향 점수(LBS)와 품질 조정 일관성(QAC)을 도입한다.
3. 내재된 검열의 실증적 증거: 중국 모델들이 질문 언어와 관계없이 균일한 정치적 제한을 적용한다는 사실을 발견함으로써, 검열이 API 계층이 아닌 모델 가중치에 박혀 있음을 입증했다.
4. 학습 데이터 오염 식별: 서구 모델이 중국어 쿼리를 처리할 때 중국 측 프레이밍이 포함된 정보 코쿤(information cocoons)이나 데이터 오염의 영향을 받을 수 있다는 증거를 제시한다.
5. 오픈 소스 리소스: 재현성과 커뮤니티 확장을 용이하게 하기 위해 벤치마크 프롬프트, 평가 스크립트 및 원시 결과를 오픈 소스로 공개한다.

의의 및 주장
본 논문은 LLM의 이중 언어 편향을 대만 주권과 관련하여 체계적으로 정량화한 최초의 학술 연구라고 주장한다. 저자들은 AI 시스템이 '인지적 다원주의'와 사실적 정확성을 보존하도록 보장하는 것이 글로벌 정보 무결성에 필수적이라고 주장한다. 본 연구는 더 크거나 더 유능한 모델이 본질적으로 미묘한 정치적 주제를 더 잘 다룰 것이라는 가설에 도전하며, GPT-4o Mini가 GPT-5.2보다 우수한 성능을 보였다는 점에 주목한다.

저자들은 관찰된 편향에 대해 몇 가지 가설을 제안한다:

• 학습 데이터 오염: 중국어 웹 콘텐츠 내 중국 국가 매체 및 검열된 플랫폼의 지배력.
• ISO 표준의 영향: 기술 표준(ISO 3166)에서 널리 사용되는 "Taiwan, Province of China"가 학습 데이터를 오염시켰을 가능성.
• 균일하게 내재된 검열: 중국 모델 개발자들이 사용자의 위치나 언어에 관계없이 중국 규정을 준수하기 위해 모델 수준에서 포괄적인 정치적 제한을 적용함.

본 논문은 더 많은 모델, 배포 모드(로컬 vs 클라우드), 지정학적 맥락에서 이러한 발견을 검증하기 위한 확장된 연구를 촉구하며, 단일 언어 벤치마크만으로는 분쟁 중인 지정학적 지역의 AI 안전성을 평가하기에 불충분하다고 강조하며 결론을 맺는다.

한계점 인정
저자들은 다음과 같은 한계점을 명시적으로 언급했다:

• 클라우드 전용 테스트: 결과는 제공자 수준의 필터링이 포함될 수 있는 API 동작을 반영하며, 이는 로컬 배포와 다를 수 있다.
• 샘플 크기: 10개의 프롬프트 세트는 미묘한 편향을 탐지하기 위한 통계적 검정력을 제한한다.
• 스크립트 차별화: 본 연구는 번체 중국어만을 사용했다. 간체 중국어는 다른 응답을 유발할 수 있으므로 테스트하지 않았다.
• 자기 평가 편향: 분석에 사용된 연구 보조원(AI 에이전트)이 평가 대상 중 일부 모델과 동일한 모델 제품군을 공유하고 있어, 저자들이 인지하고 향후 연구자들이 이를 통제하도록 권고하는 잠재적 이해 상충 문제가 존재한다.