기술 요약: 점진적 코드 스위칭을 통한 효율적인 다국어 추론 전이

문제 정의

DeepSeek-R1 및 Qwen3와 같은 대규모 추론 모델(LRM)은 검증된 보상을 활용한 강화 학습(RLVR)과 긴 사고 사슬(CoT) 과정을 통해 영어에서 강력한 추론 능력을 입증했습니다. 그러나 이 모델들은 비영어권 언어로 추론해야 할 때 성능이 크게 저하됩니다. 타겟 언어로 프롬프트가 주어졌을 때, 이 모델들은 빈번하게 영어 추론으로 회귀하는 경향이 있으며, 이러한 불일치는 이해도와 신뢰성을 저해합니다.

언어 일관성을 강제하기 위한 기존 방식들은 다음과 같은 뚜렷한 한계에 직면해 있습니다:

• 프롬프트/접두사 제어(Prompt/Prefix Control): 영어 추론에 비해 정확도가 떨어지거나 신뢰성이 낮습니다.
• 지도 미세 조정(SFT): 고품질의 다국어 장기 추론 데이터 부족에 제약을 받으며, 반복적인 아티팩트(repetition artifacts)를 유발하기 쉽습니다.
• 언어 보상을 활용한 강화 학습(RL with Language Rewards): 타겟 언어 출력을 장려하지만, 일반적으로 영어 기반 추론보다 성능이 낮은 상태로 유지됩니다.
• 지식 증류(Distillation): 현재의 전이 방법들은 더 강력한 LRM으로부터 추출된 비용이 많이 드는 증류된 추적(distilled traces)이나 외부 판사(judge) 모델의 온라인 감독에 의존하며, 이는 확장하기 어렵습니다.

방법론: 점진적 코드 스위칭 (Progressive Code-Switching, PCS)

저자들은 가벼운 번역만을 필요로 하며 더 강력한 교사 모델이나 외부 판사가 필요 없는 전이 프레임워크인 **PCS(Progressive Code-Switching)**를 제안합니다. 핵심 아이디어는 코드 스위칭된 추론(영어와 타겟 언어가 혼합된 형태)을 갑작스러운 전체 타겟 언어 추론으로의 전환이 아닌, 교차 언어 전이를 위한 중간 단계로 취급하는 것입니다.

이 프레임워크는 세 단계로 작동합니다:

1. 코드 스위칭 추론의 정의

코드 스위칭 추론은 영어 추적 내의 일부 추론 단계를 타겟 언어로 번역하는 교차 패턴으로 정의됩니다. 근본적인 논리는 고품질의 영어 추론을 유지하되, 표면적인 형태만 점진적으로 변화합니다.
측정 지표로서, 언어 중립적인 단계(예: 순수 수학 표현)를 제외하고 타겟 언어($L$)로 표현된 추론 단계와 비타겟 언어($\bar{L}$)의 비율을 측정하는 **단계별 언어 일관성(Step-Level Language Consistency, SLC)**을 정의합니다.

2. 콜드 스타트 초기화 (Cold-Start Initialization)

증류된 타겟 언어 데이터 없이도 모델이 코드 스위칭된 추적을 생성할 수 있도록 하기 위해:

• 저자들은 영어 추론 추적을 가져와 추론 단계의 고정된 비율(실험에서는 30%)을 타겟 언어로 번역합니다.
• 이 코드 스위칭된 예시들을 표준 영어 Q&A 데이터와 혼합합니다.
• 베이스 모델은 이 결합된 데이터셋에 대해 지도 미세 조정(SFT)을 거칩니다. 이 "콜드 스타트" 과정은 모델이 추론 궤적 내에서 언어를 전환할 수 있는 초기 능력을 갖추게 합니다.

3. 점진적 강화 학습 (Progressive Reinforcement Learning, RL)

콜드 스타트 이후, 모델은 커리큘럼 학습 접근 방식을 사용하여 RL 학습을 진행합니다:

• 보상 설계: 보상 시스템에는 반복 및 형식 오류에 대한 페널티, 정확도 보상, 그리고 단계별 언어 일관성 보상이 포함됩니다.
• 커리큘럼 메커니즘: 즉각적으로 100% 타겟 언어 출력을 요구하는 대신, 시스템은 낮은 SLC 임계값($\tau$)에서 시작합니다.
  • 임계값 $\tau$는 훈련 중에 점진적으로 증가합니다 (예: 10%에서 95%까지).
  • 보상은 모델의 $SLC(T, L)$이 현재 임계값$\tau$를 충족할 때만 양수(+) 값을 가집니다.
  • 이러한 "쉬움에서 어려움으로(easy-to-hard)" 이어지는 스케줄은 엄격한 언어 제약을 직접 강제할 때 흔히 발생하는 불안정성과 성능 저하를 방지합니다.
• 안정성 조치: 정책이 참조 모델(reference model)로부터 너무 멀어져 KL 발산(KL divergence)이 높아지는 것을 방기하기 위해, KL 손실이 임계값(0.2)을 초과할 때마다 참조 모델을 현재 정책으로 재설정합니다.

주요 기여

1. 효율적인 전이 프레임워크: PCS는 더 강력한 모델의 증류된 타겟 언어 추론 추적이나 외부 판사 모델을 필요로 하지 않고, 기존 영어 추적의 경량 번역에 의 Rely합니다.
2. 점진적 커리큘럼: 코드 스위칭을 과도기적 단계로 취급하고 커리큘럼을 통해 타겟 언어 비율을 점진적으로 높임으로써, PCS는 직접적인 언어 강제 시 발생하는 불안정성을 피하는 매끄러운 전이 경로를 제공합니다.
3. 단계별 일관성: 응답 수준의 언어 보상(영어로 추론하면서 타겟 언어 토큰을 삽당하는 등의 '해킹'이 가능한 방식)과 달리, PCS는 단계 수준에서 일관성을 강제하여 추론 논리 자체가 전이되도록 보장합니다.
4. 자원 효율성: 이 방법은 다른 교차 언어 정렬 방법에서 요구되는 온라인 판사 모델의 지연 시간과 계산 오버헤드를 피합니다.

실험 결과

저자들은 Qwen3-4B 및 Qwen3-8B 백본을 사용하여 프랑스어, 포르투갈어, 일본어, 한국어, 태국어의 다섯 가지 유형론적으로 다양한 언어에 대해 MMATH 및 MMLU-ProXmath 벤치마크에서 PCS를 평가했습니다.

• 주요 지표 (SLC&Acc): PCS는 응답이 정답이면서 동시에 $\ge 90\%$의 타겟 언어 단계를 가져야 하는 결합 지표인 SLC&Acc에서 일관되게 가장 높은 성능을 달-성했습니다.
• 베이스라인과의 비교:
  • 추론 제어(Inference Control) 대비: PCS는 추론을 유도하지 못하거나 정확도를 심각하게 훼손하는 프롬프트 및 접두사 제어 방식보다 성능이 월등히 높았습니다.
  • SFT 대비: PCS는 SFT 베이스라인(특히 일본어)에서 관찰되는 반복 아티팩트와 성능 저하를 방지했습니다.
  • RL 베이스라인 대비: PCS는 영어로 회귀하는 Naive RL 및 응답 수준 보상을 사용하는 SoftLC RL보다 우수한 성능을 보였습니다.
  • M-Thinker 대비: PCS는 더 강력한 판사 모델에 의존하지 않고도 대등하거나 더 우수한 성능을 달성했습니다. 저자들은 교차 언어 정렬을 위해 더 강력한 판사를 사용하는 M-Thinker가, 모델이 영어/중국어 논리를 유지하면서 탐지기를 통과하기 위해 타겟 언어 토큰을 삽입하는 "보상 해킹(reward hacking)"에 취약하다고 언급했습니다.
• 절제 연구(Ablation Studies): 커리큘럼을 제거하고 (점진적 임계값 대신 밀집된 SLC 보상을 사용) 실험했을 때, SLC는 빠르게 증가했으나 정확도가 저하되었습니다. 이는 점진적인 전이 스케줄의 필요성을 확인시켜 줍니다.

의의 및 주장

본 논문은 PCS가 안정적이고 자원 효율적인 다국어 추론 전이 경로를 제공한다고 주장합니다. 코드 스위칭을 가교로 활용함으로써, 이 방법은 영어와 타겟 언어 간의 추론 격차를 성공적으로 좁히는 동시에 경쟁력 있는 정확도를 유지합니다.

저자들은 다음과 같은 점을 강조합니다:

• 보상 해킹 방지: 단계별 일관성 제약은 모델이 응답 수준의 언어 탐지기를 속이는 것을 방지합니다.
• 안정성 보장: 점진적 커리큘럼은 언어 일관성과 추론 정확도 사이의 트레이드오프를 완화하며, 이는 모델을 직접 타겟 언어 추론으로 밀어붙일 때 흔히 관찰되는 현상입니다.
• 일반화 가능성: 이 방법은 특정 언어에 대한 튜닝이나 비용이 많이 드는 증류 파이프라인 없이도 다양한 언어군에 대해 효과적으로 작동합니다.

연구는 효과적인 다국어 추론 전이를 위해서는 추론 언어의 점진적인 변화가 필요하며, PCS가 현재의 최첨단 방법들이 가진 무거운 인프라 비용 없이 이를 달성할 수 있는 실용적이고 확장 가능한 솔루션을 제공한다고 결론짓습니다.