Multilingual Large Language Models do not comprehend all natural languages to equal degrees

1. 연구 배경 및 문제 제기 (Problem)

대형 언어 모델 (LLM) 은 정보 접근의 핵심 도구로 자리 잡았으나, 그 성능 평가는 주로 고자원 (high-resource) 언어, 특히 서구 중심의 WEIRD (White, Educated, Industrialised, Rich, Democratic) 커뮤니티에서 사용되는 영어에 치중되어 있습니다.

• 주요 문제: 현재까지의 연구는 LLM 이 영어를 가장 잘 처리하며, 다른 언어는 번역 과정을 거치거나 성능이 떨어진다는 '영어 우위' 가설을 전제로 합니다. 또한, 저자원 언어나 비서구권 언어의 이해도 편차가 심할 것으로 예상되지만, 이를 체계적으로 검증한 연구는 부족합니다.
• 연구 목적: LLM 이 다양한 언어권에서 인간 수준의 언어 이해 능력을 갖는지, 그리고 언어별 성능 편차를 유발하는 요인 (언어 크기, 문자 체계, 영어/스페인어와의 거리 등) 이 무엇인지 규명하는 것입니다.

2. 연구 방법론 (Methodology)

이 연구는 언어 이해의 핵심인 '단락 기반 질문 답변' 태스크를 통해 3 개의 최첨단 LLM 과 인간 참여자를 12 개 언어로 비교 평가했습니다.

• 평가 대상 모델: GPT-4o, Grok-3, DeepSeek-V3.
• 평가 언어 (12 개):
  • 언어 계열: 인도유럽어족 (영어, 독일어, 네덜란드어, 스페인어, 카탈로니아어, 이탈리아어, 그리스어, 러시아어), 아프로아시아어족 (아랍어), 투르크어족 (터키어), 한장어족 (중국어), 일본어족 (일본어).
  • 다양성: 고/저자원 언어, WEIRD/비 WEIRD 커뮤니티, 라틴 문자/비라틴 문자 (그리스어, 아랍어, 중국어, 일본어) 를 균형 있게 포함.
• 데이터셋: Dentella et al. (2024) 의 영어 언어 이해 벤치마크를 11 개 언어로 번역 및 적응화 (Native speaker linguists 수행).
  • 태스크: 짧은 시나리오 (1-2 문장) 후 Yes/No 질문 (예: "John 이 Mary 를 속였고, Lucy 는 Mary 에게 속았다. 이 맥락에서 Mary 는 Lucy 를 속였는가?").
  • 통제 변수: 대명사 대신 고유명사 사용으로 대명사 해결 (pronoun resolution) 의 간섭 제거.
• 실험 절차:
  • 인간: 각 언어당 40 명 (총 480 명), Prolific 을 통해 모집.
  • LLM: 각 모델당 40 회 독립 실행 (40 개의 가짜 참여자), 총 126 회 반복 (3 회씩 반복하여 안정성 측정).
• 평가 지표:
  1. 정확도 (Accuracy): 정답을 맞춘 비율.
  2. 안정성 (Stability): 동일한 프롬프트를 반복했을 때 일관된 답변을 내놓는 정도.
• 통계 분석: 일반화 선형 혼합 효과 모델 (GLMM) 을 사용하여 에이전트 (모델/인간) 와 언어 간 상호작용, 그리고 언어 크기, 문자 체계, 언어 간 거리 (영어/스페인어 기준) 가 성능에 미치는 영향을 분석.

3. 주요 결과 (Key Results)

가. 인간 vs 모델 성능 (정확도)

• 전반적 경향: 모든 언어에서 인간 참여자가 LLM 보다 유의미하게 높은 정확도를 보였습니다.
• 예외: GPT-4o 는 스페인어에서, DeepSeek-V3 는 이탈리아어에서 인간과 통계적으로 유의미한 차이가 없는 수준 (comparable) 의 정확도를 보였습니다.
• 성능 저하: 일본어와 그리스어에서 모든 모델의 정확도가 가장 낮았습니다.

나. 언어별 성능 편차 (영어 우위 가설의 부인)

• 영어의 비우위: 예상과 달리, 영어는 어떤 모델에서도 최상위 성능을 보이지 않았습니다.
  • GPT-4o: 스페인어, 카탈로니아어, 이탈리아어, 중국어 등에서 영어보다 높게 평가됨 (영어는 6 위).
  • DeepSeek-V3: 이탈리아어, 스페인어, 러시아어, 터키어 등에서 영어보다 높음 (영어는 8 위).
  • Grok-3: 영어가 상위 5 위권 (스페인어, 이탈리아어, 러시아어, 네덜란드어와 함께) 에 들었으나, 여전히 스페인어와 이탈리아어가 더 높거나 동급이었습니다.
• 로망스어족의 우세: 스페인어와 이탈리아어가 모든 모델에서 일관되게 높은 성능을 보였습니다.

다. 안정성 (Stability)

• 모델의 우세: 정확도와는 반대로, Grok-3 과 DeepSeek-V3 는 대부분의 언어에서 인간보다 더 높은 답변 안정성을 보였습니다. (인간은 피로나 주의 산만으로 변이가 발생하지만, LLM 은 특정 온도 설정 하에서 일관된 출력을 생성함).
• GPT-4o: 인간보다 안정성이 낮은 유일한 모델이었습니다.

라. 성능 변이를 설명하는 요인 (RQ3)

• 언어 거리: 모델의 성능은 스페인어와의 언어적 유사성과 가장 강한 양의 상관관계를 보였습니다. 반면, 영어와의 거리는 정확도에 부정적이거나 미미한 영향만 미쳤습니다.
• 문자 체계와 데이터 크기: 비라틴 문자 (그리스어, 아랍어, 중국어, 일본어) 를 사용하는 언어는 라틴 문자 언어에 비해 데이터 크기의 영향이 훨씬 더 크게 작용했습니다. 즉, 비라틴 문자 언어는 높은 정확도를 위해 훨씬 더 방대한 학습 데이터가 필요함을 시사합니다.

4. 주요 기여 및 시사점 (Contributions & Significance)

1. '영어 중심주의' 신화 해체: LLM 이 영어를 '기본 언어 (default language)'로 사용하며 다른 언어는 이를 기반으로 생성된다는 기존 가설을 반박했습니다. 오히려 로망스어족 (스페인어, 이탈리아어) 이 영어보다 우수한 성능을 보이며, 이는 토큰화 (tokenization) 효율성이나 학습 데이터의 질적 차이와 관련이 있을 수 있음을 제시했습니다.
2. 정확도와 안정성의 이분법: LLM 의 언어 이해 능력은 '정확도'와 '일관성 (안정성)'이라는 서로 다른 차원에서 평가되어야 함을 밝혔습니다. LLM 은 인간보다 일관되게 답변할 수 있지만, 의미 이해의 정확도는 인간에 미치지 못합니다.
3. 형평성 및 편향 문제 제기: 비 WEIRD 커뮤니티와 비라틴 문자 언어 (특히 일본어, 그리스어 등) 는 LLM 의 이해도가 현저히 낮아, 정보 접근의 불평등이 심화될 위험이 있음을 경고했습니다.
4. 방법론적 기여: 단순한 정보 검색이나 생성이 아닌, **언어 구조 자체의 이해 (comprehension)**를 측정하는 엄격한 벤치마크를 다국어 환경에 적용하여 LLM 의 인지적 한계를 규명했습니다.

5. 결론

이 연구는 최신 LLM 이 다국어 환경에서도 인간 수준의 언어 이해 능력을 달성하지 못하며, 특히 영어가 가장 뛰어난 언어라는 통념이 틀렸음을 증명했습니다. 대신, 모델의 성능은 학습 데이터의 양뿐만 아니라 문자 체계, 토큰화 효율성, 그리고 특정 언어 (스페인어 등) 에 대한 데이터의 질적 특성에 크게 의존합니다. 이는 AI 의 공정성과 신뢰성을 보장하기 위해 고자원 언어뿐만 아니라 다양한 언어 체계와 문화적 배경을 고려한 모델 개발 및 평가가 시급함을 시사합니다.