mmPISA-bench: Do LLMs Reason Equally Well Across 43 Languages?

기술 요약: mmPISA-bench: LLM은 43개 언어에서 동일하게 잘 추론하는가?

문제 제기
대규모 언어 모델(LLM)이 강력한 추론 능력을 입증해 왔음에도 불구하고, 다양한 언어에 걸친 성능은 여전히 충분히 탐구되지 않았습니다. 현재의 LLM 생태계는 영어 중심적이며, 많은 언어에 대한 데이터 부족, 언어 공동체 간의 불균형한 성능, 그리고 효과성과 추론 비용 모두에 영향을 미치는 토크나이저 유도형 격차와 같은 문제에 직면해 있습니다. 기존의 벤치마크는 대개 기계 번역된 항목에 의존하거나 특정 양식에 집중되어 있어, 고품질의 인간 검증 번역을 사용하여 광범위한 언어 스펙트럼에서 추론 안정성을 엄격하고 통제된 방식으로 평가하는 데 한계가 있습니다.

방법론
저자들은 OECD 국제 학생 평가 프로그램(PISA)에서 파생된 작고 고품질인 다국어 추론 벤치마크인 mmPISA-bench를 소개합니다.

• 데이터셋 구축: 이 벤치마크는 추론이 필요한 25개의 객관식 질문으로 구성됩니다: PISA 2022(수학)에서 11문항, PISA 2018(독해)에서 14문항을 선정했습니다. 선정 기준은 엄격했습니다: 공식적인 인간 번역본 존재 여부, 텍스트에만 전적으로 의존(이미지/대화형 요소 제외), 그리고 객관식 형식입니다.
• 언어 범위: 이 데이터셋은 43개 언어를 다룹니다. 각 언어에 대해 데이터셋은 공식 인간 번역본과 기계 번역 대응물(Google 번역 사용)을 모두 포함하며, 총 2,150개의 데이터 포인트를 생성합니다.
• 실험 설계: 두 개의 독점적인 프런티어 LLM인 OpenAI의 GPT-5.1-2025-11-13과 Anthropic의 Claude(Opus-4-5-20251101 및 Haiku-4-5-20251001)를 평가했습니다. 모델들은 다섯 가지 추론 노력 수준(없음, 더블 프롬프트, 낮음, 중간, 높음)과 두 가지 번역 유형(인간 vs. 기계)에 걸쳐 테스트되었습니다. 각 구성은 안정성 평가를 위해 5회 반복되었습니다. 평가는 제로샷(zero-shot) 설정에서 수행되었으며, 객관식 출력 형식을 강제하는 균일한 시스템 프롬프트를 사용했습니다.
• 지표: 성능은 정확도, 토큰 사용량(입력 및 출력), 그리고 추론 비용에 의해 측정되었습니다.

주요 기여

1. mmPISA-bench 데이터셋: 25개의 추론 질문을 43개 언어로 담은 2,150개 항목의 데이터셋을 공개합니다. 여기에는 공식 인간 번역과 매칭된 기계 번역이 모두 포함되어 있어, 15년 전 학생들의 성취도 벤치마크와 직접 비교가 가능합니다.
2. 교차 언어 추론 분석: 영어 중심의 평가 환경을 넘어 43개 언어에 대한 LLM 추론 안정성을 체계적으로 평가했습니다.
3. 기계 번역의 타당성: 기계 번역된 질문이 공식 인간 번역에 비해 추론 성능을 저하시키는지에 대한 경험적 조사를 수행했습니다.
4. 비용-정확도 트레이드오프 분석: 토크나이징과 추론 길이가 언어별로 어떻게 변하는지 분석하여, 이러한 요인들을 추론 비용 및 정확도와 연결했습니다.

결과

• RQ1 (일관성): 현대의 LLM은 평가된 43개 언어 모두에서 효과적으로 추론할 수 있으며, 인간 응시자와 대등한 정확도를 달-성합니다. 성능 차이는 존재하지만 비교적 제한적입니다. 높은 추론 노력 단계에서 Claude는 7개 언어에서 완벽한 정확도(100%)를 달성한 반면, GPT는 독일어 단 하나에서만 이를 달성했습니다. GPT는 Claude보다 언어 간 변동성이 적었으나, 평균 정확도는 Claude가 더 높았습니다.
• RQ2 (인간 vs. 기계 번역): 기계 번역된 질문은 공식 인간 번역 대비 정확도를 저하시키지 않았으며, 일부 구성에서는 기계 번역된 입력이 오히려 약간 더 높은 정확도를 보였습니다. 이는 공식 번역을 사용할 수 없는 대규모 다국어 추론 평가에서 고품질 기계 번역(합성 데이터)이 충분히 유효함을 시사합니다.
• RQ3 (추론 길이와 비용):
  • 토크나이징 격차: 토크나이징 차이로 인해 언어 간 토큰 수의 상당한 변동이 관찰되었습니다.
  • 비용-정확도 상관관계: 두 모델 모두에서 비용과 정확도 사이에 음의 상관관계가 발견되었습니다. (높은) 입력 토큰 수 및/또는 긴 추론 궤적으로 인해 처리 비용이 더 많이 드는 언어일수록 정확도가 낮은 경향을 보였습니다.
  • 추론 행동: Claude의 경우, 입력 토큰 수와 출력 토큰 수 사이에 강한 양의 상관관계(0.950)가 나타났습니다. 이는 특정 언어에서 입력이 길어질수록 비례하여 더 긴 추론 궤적이 유도됨을 의미합니다. GPT는 약한 상관관계(0.334)를 보였는데, 이는 GPT의 추론 길이가 입력 길이에 덜 의존적임을 시사합니다.
  • 교차 언어 추론: 질적 분석 결과, 모델들이 때때로 입력된 언어나 영어가 아닌 다른 언어로 추론을 수행하는 현상(예: 카자흐어 프롬프트에 대해 러시아어로 추론하는 Claude)이 발견되었습니다. 이는 원어민의 전문 지식이 있어야만 감지 가능한 현상입니다.

의의 및 주장
본 논문은 선도적인 독점적 LLM들이 광범위한 언어에 걸쳐 인간 학생들과 대등하게 수행할 수 있는 수준의 다국어 추론 견고성에 도달했다고 주장합니다. 그러나 저자들은 "동일하게 잘 추론한다"는 의미가 미묘하다는 점을 강조합니다: 정확도는 높지만, 효율성과 비용은 언어별로 체계적으로 다릅니다.

본 연구는 일부 언어가 토크나이징 인플레이션과 언어 특유의 추론 전략으로 인해 동시에 더 비싸고 정확도가 낮다는 점을 보여줍니다. 따라서 저자들은 다국어 평가가 총체적인 정확도 지표를 넘어 추론 길이와 비용 분석을 포함해야 한다고 주장합니다. 또한, 기계 번력이 성능을 저하시키지 않는다는 발견은 소스 자료가 고품질이라면 합성 데이터를 사용하는 다국어 벤치마크의 확장성을 뒷받침합니다. 마지막으로, 교차 언어 추론 행동에 대한 관찰은 집계된 지표가 복잡한 내부 언어적 변화를 가릴 수 있으므로, LLM 평가에 원어민의 전문 지식이 필요함을 강조합니다.