Cross-lingual Collapse: How Language-Centric Foundation Models Shape Reasoning in Large Language Models

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 최근 대규모 언어 모델 (LLM) 은 검증 가능한 보상을 활용한 강화학습 (RLVR, Reinforcement Learning with Verifiable Reward) 과 긴 사고의 사슬 (Long Chain-of-Thought, CoT) 을 통해 수학 및 논리적 추론 능력을 획기적으로 향상시켰습니다. 특히 GRPO(Group-Relative Policy Optimization) 와 같은 알고리즘이 이를 주도하고 있습니다.
• 문제 제기 (Cross-lingual Collapse): 다국어 모델을 대상으로 RLVR 훈련을 수행할 때, 모델이 입력된 언어 (예: 우크라이나어, 한국어) 와는 무관하게 사고 과정 (CoT) 을 훈련 전 주된 언어 (대부분 영어) 로 전환하는 현상이 관찰되었습니다. 저자들은 이를 'Cross-lingual Collapse(교차 언어 붕괴)' 라고 명명했습니다.
• 핵심 딜레마: 모델의 추론 정확도가 향상됨에 따라, 사고 과정이 영어로 전환되는 경향이 강해집니다. 이는 정확도 (Accuracy) 와 언어 충실도 (Language Fidelity) 간의 상충 관계 (Trade-off) 를 야기하며, 저자원 언어 (Low-resource languages) 에서 특히 심각하게 나타납니다.

2. 연구 방법론 (Methodology)

• 실험 설정:
  • 모델: 영어 중심의 OLMo-2-1B 와 다국어 능력을 갖춘 Llama-3.2-3B, Qwen-2.5-1.5B 를 베이스 모델로 사용했습니다.
  • 데이터: 수학 문제 데이터셋 (GSM8K, SimpleRL-Zoo) 을 한국어, 우크라이나어, 중국어, 태국어, 일본어 등 5 개 언어로 번역하여 훈련에 사용했습니다.
  • 훈련 방식: GRPO 알고리즘을 적용하여 검증 가능한 보상 (정답 여부) 을 기반으로 모델을 미세 조정 (Fine-tuning) 했습니다.
• 평가 지표:
  • 작업 정확도 (Task Accuracy): 수학 문제 해결 능력.
  • 목표 언어 단어 비율 (Target Word Ratio, WR): CoT 생성물 중 목표 언어 (예: 우크라이나어) 토큰이 차지하는 비율.
  • 영어 단어 비율 (EN WR): CoT 생성물 중 영어 토큰의 비율.
• 분석 범위: 훈련 단계별 언어 비율 변화, 문제 난이도 (GSM8K vs SimpleRL-Zoo) 에 따른 영향, 다양한 완화 기법 (Reward shaping, Decoding control, Multilingual mixing) 의 효과 분석.

3. 주요 발견 및 결과 (Key Findings & Results)

A. 교차 언어 붕괴의 발생 메커니즘

• 정확도 상승과 언어 전환의 상관관계: 훈련이 진행됨에 따라 모델의 정확도가 급격히 상승하는 구간에서, CoT 의 언어가 목표 언어에서 영어로 급격히 전환되는 것이 관찰되었습니다 (그림 1 참조).
• 자원 민감도 (Resource Sensitivity):
  • 고자원 언어 (중국어, 일본어): 언어 충실도가 비교적 잘 유지됨 (Target WR ≥ 90%).
  • 중자원 언어 (한국어): 어느 정도 붕괴가 발생하지만 완화됨.
  • 저자원 언어 (우크라이나어, 태국어): 영어 중심의 사전 훈련 (Pre-training) 편향이 강하게 작용하여, 훈련 초기부터 CoT 가 거의 100% 영어로 전환되며 목표 언어 사용률이 0% 에 수렴함.
• 난이도의 영향: 더 어려운 문제 (SimpleRL-Zoo) 를 훈련에 포함시키면, 모델이 더 효율적인 추론 경로를 찾기 위해 영어로 전환하는 속도가 빨라지고 붕괴가 가속화됨 (표 2).

B. 원인 분석

• 보상 최적화의 부작용: RLVR 환경에서 모델은 보상을 최대화하기 위해 가장 확률이 높은 경로를 탐색합니다. 영어 중심 모델의 경우, 영어로 추론하는 것이 목표 언어로 추론하는 것보다 정답을 도출할 확률 (Advantage) 이 더 높게 평가받습니다.
• 탐색 (Exploration) 단계: 고엔트로피 (High-entropy) 디코딩 (높은 Temperature, Top-p=1.0) 을 사용할 때, 모델은 영어로 된 추론 경로를 더 자주 발견하고 이를 강화학습을 통해 고정시킵니다.

C. 완화 기법 및 한계 (Mitigations & Trade-offs)

저자들은 붕괴를 막기 위한 세 가지 시도를 했으나, 모두 정확도 하락이라는 대가를 치렀습니다.

1. 언어 일관성 보상 (Language-consistency Reward): CoT 가 목표 언어로 유지될 경우 추가 보상을 부여.
   • 결과: 언어 비율은 회복되었으나, 정확도 상승폭이 크게 감소 (약 7~9%p 하락).
2. 디코딩 제어 (Decoding-time Controls): Temperature 나 Top-p 를 낮추어 탐색을 제한.
   • 결과: 영어 전환이 억제되었으나, 여전히 정확도가 하락하고 탐색의 다양성이 줄어들어 추론 성능이 저하됨.
3. 다국어 혼합 훈련 (Multilingual Mixing): 여러 언어 (우크라이나어 + 한국어 + 중국어 + 영어) 를 섞어 훈련.
   • 결과: 단일 언어 추가만으로는 붕괴가 해결되지 않았으며, 4 개 언어 혼합 시 언어 충실도는 회복되었으나 정확도가 크게 떨어짐.

4. 논문의 기여 (Contributions)

1. 현상의 공식화: RLVR 환경에서 발생하는 'Cross-lingual Collapse'를 체계적으로 정의하고 정량화했습니다.
2. 메커니즘 규명: 영어 중심의 사전 훈련 편향, 긴 CoT, 검증 가능한 보상 최적화, 그리고 문제 난이도가 어떻게 상호작용하여 언어 전환을 유발하는지 설명했습니다.
3. 상충 관계의 확인: "더 높은 정확도"와 "목표 언어의 사고 과정 유지"는 현재 RLVR 패러다임 하에서 상충 관계임을 실험적으로 증명했습니다. 즉, 영어로 생각해야 더 잘 풀리는 상황에서 강제로 목표 언어로 생각하게 하면 성능이 떨어집니다.

5. 의의 및 시사점 (Significance)

• 다국어 LLM 의 한계 지적: 현재 RL 기반 추론 강화 기법 (GRPO 등) 은 영어 중심의 사전 훈련 데이터 편향을 강화하여, 저자원 언어에서의 추론 능력을 오히려 저해할 수 있음을 경고합니다.
• 해결 방향 제시: 단순히 데이터 양을 늘리는 것만으로는 해결되지 않으며, 사전 훈련 단계에서의 언어 다양성 확보와 RL 목적함수 설계 (다목적 최적화, 제약 조건 등) 의 재설계가 필요함을 시사합니다.
• 미래 연구 방향: 정확도와 언어 충실도 간의 파레토 최적 (Pareto frontier) 을 찾는 방법, 잠재적 추론 (Latent reasoning) 은 영어로 하되 최종 출력은 목표 언어로 요약하는 방식 등 새로운 아키텍처와 평가 프로토콜의 필요성을 제기합니다.

요약 결론

이 논문은 RLVR 을 통한 LLM 의 추론 능력 향상이, 다국어 환경에서는 사고 과정이 영어로 전환되는 'Cross-lingual Collapse' 현상을 동반함을 발견했습니다. 이는 모델이 보상을 최대화하기 위해 영어라는 '편향된 경로'를 선택하기 때문이며, 이를 막기 위한 다양한 시도들은 모두 정확도 하락이라는 대가를 치르게 합니다. 따라서 다국어 추론 모델의 진정한 발전을 위해서는 언어 편향을 고려한 새로운 훈련 전략과 평가 기준의 도입이 시급함을 주장합니다.