Why Do Multilingual Reasoning Gaps Emerge in Reasoning Language Models?

이 논문은 **다국어 추론 언어 모델 (RLMs, Reasoning Language Models)**이 고자원 언어 (예: 영어) 에 비해 저자원 언어에서 추론 성능이 현저히 떨어지는 **다국어 추론 격차 (Multilingual Reasoning Gap)**의 원인을 규명하고, 이를 해결하기 위한 새로운 전략을 제안합니다.

주요 내용은 다음과 같습니다.

1. 문제 정의 (Problem)

최근 DeepSeek-R1, Qwen3, o1 등의 추론 언어 모델은 복잡한 추론 작업에서 뛰어난 성능을 보이지만, 여전히 저자원 언어 (Swahili, Telugu 등) 에서는 고자원 언어에 비해 성능이 크게 저하됩니다. 기존 연구들은 이 격차를 줄이기 위한 다양한 방법 (프롬프트 엔지니어링, 표현 편집 등) 을 시도했으나, 격차가 발생하는 근본적인 원인이 무엇인지에 대한 체계적인 분석은 부재했습니다.

2. 핵심 가설 및 방법론 (Methodology)

A. 다국어 추론 과정의 3 단계 분석

저자들은 RLM 의 다국어 추론 과정을 다음과 같은 3 단계로 정의하고, 각 단계에서의 실패가 격차에 기여하는 정도를 분석했습니다.

1. 언어 이해 (Understanding): 입력된 저자원 언어를 모델의 주된 추론 언어 (대부분 영어) 로 번역/해석하는 단계.
2. 추론 (Reasoning): 주된 언어 (영어) 로 사고의 사슬 (Chain-of-Thought) 을 생성하는 단계.
3. 생성 (Generation): 최종 답변을 다시 입력 언어로 생성하는 단계.

B. 단계별 귀속 분석 (Stage-wise Attribution Analysis)

격차의 원인을 규명하기 위해 개입 (Intervention) 실험을 수행했습니다.

• 이해 개입 (Understanding Intervention): 모델이 스스로 번역할 필요 없이, 정답 번역본 (Gold Translation) 을 프롬프트에 제공하여 이해 단계를 보정했습니다.
• 답변 추출 개입 (Answer Extraction Intervention): 최종 응답이 아닌, 추론 과정 (Reasoning Trace) 에서 직접 정답을 추출하여 생성 단계의 오류를 분리했습니다.
• 결과: 이해 개입을 적용했을 때 저자원 언어의 성능이 비약적으로 향상되었으나, 생성 개입은 큰 영향을 미치지 않았습니다. 이는 **격차의 주된 원인이 '이해 단계의 실패'**임을 시사합니다.

C. 이해 실패 감지 (Detecting Understanding Failures)

모델이 입력을 잘못 이해했을 때 추론 과정에서 특정 신호 (예: "This is confusing", 번역 시도 실패 등) 를 남긴다는 관찰에 착안하여, 이를 자동으로 감지하는 방법을 연구했습니다.

• 감지 방법 비교: LLM 기반 모니터링, 자기 성찰 (Self-reflection), 토큰 확률 기반 신호 (Confidence, NLL), 그리고 **지도 학습 기반 분류기 (Supervised Detectors: mmBERT, Prober)**를 비교 평가했습니다.
• 결과: 지도 학습 기반 접근법 (특히 Prober) 이 가장 높은 감지 성능을 보였습니다.

D. 선택적 번역 (Selective Translation)

감지된 이해 실패 사례에 대해서만 영어 번역을 추론 과정에 삽입하는 Selective Translation 전략을 제안했습니다.

• 모든 입력을 번역하는 것이 아니라, 감지기가 '이해 실패'로 판단한 경우 (약 20% 의 입력) 에만 번역을 수행하여 효율성을 극대화했습니다.

3. 주요 결과 (Key Results)

• 격차의 주원인 규명: 다국어 추론 격차의 약 60~90% 가 **이해 단계 (Understanding)**의 실패에서 기인함이 확인되었습니다. 저자원 언어일수록 이 비율이 높았습니다.
• 번역 품질과 추론 성능의 상관관계: 모델의 입력 언어 -> 영어 번역 품질 (FLORES-200 기준) 과 추론 성능 간에 매우 강한 양의 상관관계 (r=0.951) 가 존재함이 밝혀졌습니다.
• 감지 및 완화 효과:
  • 감지: 지도 학습 기반 감지기는 이해 실패를 높은 정확도로 감지할 수 있었습니다.
  • 성능 향상: Qwen3-4B 모델을 사용하여 Polymath-Low 벤치마크에서 선택적 번역을 적용한 결과, 평균 정확도가 81.1% 에서 88.0% 로 크게 향상되었습니다. 이는 전체 입력을 번역했을 때의 성능 (89.4%) 과 거의 비슷하지만, 번역 비용은 약 20% 만 발생시켜 효율성이 뛰어났습니다.
  • 조기 감지: 전체 추론 과정을 기다리지 않고 초기 토큰 (약 4,096 토큰) 만으로도 이해 실패를 감지하여 번역을 트리거할 수 있음이 확인되었습니다.

4. 기여 및 의의 (Contributions & Significance)

1. 체계적 원인 분석: 추론 언어 모델의 다국어 격차가 단순히 추론 능력 부족이 아니라, 입력 언어 이해 (번역) 실패에서 비롯된다는 것을 최초로 체계적으로 증명했습니다.
2. 자동 감지 가능성 입증: 모델의 행동 신호 (Reasoning Trace) 를 통해 이해 실패를 자동으로 감지할 수 있음을 보였습니다.
3. 효율적 해결책 제안: 모든 저자원 언어 입력을 번역하는 비효율적인 방식을 피하고, 필요한 경우에만 번역을 수행하는 Selective Translation을 통해 균등한 다국어 추론을 실현 가능한 경로로 제시했습니다.

5. 결론

이 연구는 다국어 추론 모델의 성능 격차가 '언어 이해' 단계에서 주로 발생하며, 이를 감지하고 선택적으로 보완함으로써 높은 효율성과 성능을 동시에 달성할 수 있음을 보여줍니다. 이는 저자원 언어 사용자를 위한 공정한 AI 시스템 개발을 위한 중요한 통찰을 제공합니다.