Do Chinese models speak Chinese languages?

기술 요약: 중국 모델은 중국어 방언을 구사하는가?

문제 제기
중국의 대규모 언어 모델 (LLM) 의 급속한 발전은 동국을 AI 의 선도 세력으로 확립시켰다. 그러나 중국 모델 개발자들에게는 중요한 긴장 관계가 존재한다. 즉, 언어적으로 다양한 국내 인구 (만다린어, 수백 개의 방언, 소수 민족 언어를 구사하는 사람들) 를 서비스하는 것과 주로 영어로 구성된 전 세계적으로 가시적인 벤치마크를 최적화하는 것 사이의 트레이드오프를 헤쳐나가야 한다는 점이다. 중국은 다원주의에서 동화주의에 이르는 언어 정책의 역사를 가지고 있으며, 최근의 AI 규정은 데이터 다양성을 강조하지만, 중국에서 개발된 오픈 가중치 LLM 이 지역적 언어 다양성을 우선시하는지 아니면 글로벌 벤치마킹 압력에 부합하는지 여부는 여전히 불분명하다. 구체적으로, 중국 모델이 서방 개발 모델에 비해 만다린어와 중국 소수 민족 언어에서 더 뛰어난 능력을 보유하고 있는지, 아니면 서방 모델과 유사한 동질화된 다국어 성능 프로파일을 보이는지는 알려지지 않았다.

방법론
저자들은 10 개의 오픈 가중치 LLM 을 비교 연구하였다: 중국 기관에서 개발된 6 개 (Qwen2.5, Yi-1.5, DeepSeek-R1 변형, InternLM3, Baichuan2) 와 서방에서 개발된 4 개 (Llama-3, Mistral, OLMo-2, Gemma-2) 모델이다. 공정한 비교를 보장하기 위해 모든 모델은 70 억~90 억 파라미터 규모로 제한되었다. 연구는 만다린 중국어, 중국 한어 방언, 중국 소수 민족 언어 (징포어, 라사 티베트어, 위구르어, 몽골어, 카자흐어), 동북아시아어, 동남아시아어, 그리고 유럽어 등 21 개 언어 변형에 걸친 다국어 성능을 평가하였다.

평가에는 세 가지 고유한 실험이 활용되었다:

1. 정보 동등성 (IP): FLORES+ 기계 번역 벤치마크를 사용하여, 영어에 대한 목표 언어에서의 정보 표현 효율성을 측정하였다. IP 는 참조 텍스트의 음의 로그 가능도 (NLL) 대 목표 텍스트의 NLL 비율로 계산된다.
2. 기계 독해 (MRC): Belebele 데이터셋을 사용하여 17 개 언어에 걸친 제로샷 (zero-shot) 객관식 독해 정확도를 평가하였다.
3. 언어 식별: 중국의 소수 민족 언어 다국어 말뭉치 (MC2) 를 사용하여, 모델이 텍스트 샘플로부터 티베트어, 몽골어, 카자흐어, 위구르어라는 네 가지 특정 중국 소수 민족 언어를 식별하는 능력을 테스트하였다.

주요 기여

• 가설 검증: 이 논문은 중국 개발자들의 우선순위에 관한 네 가지 가설을 제안하고 검증한다: 귀무가설(글로벌 벤치마크 최적화가 서방 모델과의 동등성으로 이어짐), 만다린 가설(만다린어만 우선시함), 다원주의 가설(모든 지역 언어에 대한 광범위한 지원), 그리고 지역 가설(주요 아시아 언어에 대한 지원).
• 경험적 벤치마킹: 이 연구는 표준 벤치마크에서 종종 생략되는 소외된 소수 민족 언어를 포함한 다양한 언어 세트를 통해 중국과 서방 LLM 을 세분화되고 정량적으로 비교한다.
• 정책 분석: 이 작업은 기술적 성능 지표를 중국의 역사적 및 현재 언어 정책과 연결하여, 정치적·경제적 인센티브가 어떻게 AI 개발 우선순위를 형성하는지 분석한다.

결과

• 높은 상관관계: 중국 개발 모델과 서방 개발 모델의 다국어 성능은 매우 높은 상관관계를 보인다 (IP 의 경우 $r \approx 0.93$, MRC 의 경우 $r \approx 0.99$). 대부분의 언어 카테고리에서 성능 프로파일이 거의 동일하여, 중국 모델이 만다린어가 아닌 지역 언어에서 서방 모델보다 현저히 뛰어난 성과를 내지 않는다는 것을 시사한다.
• 만다린어 우위: 이 동질화의 유일한 예외는 만다린 중국어이다. 중국 개발 모델은 만다린어 (간체 및 번체) 의 정보 동등성과 기계 독해 모두에서 서방 모델에 비해 일관되게 더 높은 성과를 보인다.
• 소수 민족 언어 결핍: 다원주의 가설과 반대로, 중국 모델은 중국 소수 민족 언어에서 성적이 낮으며, 종종 카자흐어와 위구르어와 같은 언어를 식별하지 못한다. 이러한 언어에 대한 그들의 성능은 서방 모델과 비슷하거나 때로는 더 나쁘다.
• 지역별 성능: 중국 모델은 유럽어 (프랑스어, 독일어) 와 주요 아시아어 (일본어, 한국어) 에서 잘 수행하며, 이는 서방 모델의 강점을 반영할 뿐 고유한 지역적 이점을 보여주지는 않는다.
• 지시 튜닝: 지시 튜닝 (instruction-tuning) 된 모델은 일반적으로 기본 모델보다 성능이 우수하지만, 튜닝 여부와 관계없이 중국 모델과 서방 모델 간의 성능 차이는 일관되게 유지된다.

의의와 주장
이 논문은 관찰된 다국어 성능의 동질화는 중국 모델 개발자들이 중국의 다양한 국내 인구의 특정 언어적 필요를 해결하기보다는 글로벌 벤치마킹 관행과 공유된 학습 자원을 주로 최적화하고 있음을 나타낸다고 주장한다. 결과는 만다린 가설(중국 모델은 만다린어에는 능숙하지만 다른 지역 언어에는 그렇지 않음) 을 지지하며, 귀무가설(서방 모델과의 높은 상관관계) 을 기각하지 못한다.

저자들은 이러한 발견을 글로벌 벤치마킹 압력과 공유된 데이터 자원이 LLM 훈련에 "정상화 압력"을 행사하여 서로 다른 정치·문화적 맥락에서도 유사한 성능 프로파일을 초래한다는 증거로 해석한다. 이는 현재 LLM 의 언어 지원이 개발의 불가피한 결과라기보다는 우선순위 설정과 트레이드오프의 결과임을 시사한다. 이 논문은 정책 입안자와 개발자에게 함의를 강조하며, 구체적인 개입 없이는 "주권 AI" 운동이 지역적 언어 다양성을 위한 고유한 가치를 제공하지 못한 채 환경 비용과 문화적 동질화를 초래할 수 있음을 지적한다. 저자들은 이러한 우선순위를 이끄는 구조적·제도적 요인을 조사하고, 개발자들이 고유한 지역 데이터 접근성을 활용하여 모델을 차별화할 기회를 모색하는 향후 연구를 촉구하고 있다.