기술 요약: LANG – 언어 적응형 힌트 안내를 통한 다국어 추론을 위한 강화 학습

1. 문제 제기

검증 가능한 보상을 통한 강화 학습 (RLVR) 은 영어에서 대형 언어 모델 (LLM) 의 다단계 추론 능력을 성공적으로 향상시켰으나, 이러한 이점은 다국어 컨텍스트에서는 완전히 이전되지 못했습니다. 현재 모델들은 근본적인 트레이드오프에 직면해 있습니다:

• 언어 일관성 vs. 추론 품질: 모델을 입력 언어로 추론하도록 명시적으로 제약하는 것은 모델의 강력한 영어 추론 능력이 신뢰성 있게 이전되지 않기 때문에 비영어 환경에서 상당한 성능 저하를 초래합니다.
• 언어 편향 (Language Drift): 추론 품질을 유지하기 위해 언어 제약을 완화하면, 모델들은 자주 영어로 편향되어 원어민 사용자의 가독성과 해석 가능성을 떨어뜨립니다.

프롬프트 기반 제약이나 RL 에 언어 일관성 보상을 추가하는 것과 같은 기존 접근법들은 보상의 희소성 (reward sparsity) 문제에 직면합니다. 다국어 시나리오, 특히 저자원 언어의 경우 엄격한 언어 및 정확성 제약을 만족하는 궤적들이 극도로 희소하여 훈련 중 효과적인 탐색을 방해합니다.

2. 방법론: LANG

저자들은 비영어 추론 작업에서 탐색을 부트스트랩하면서 외부 보조 도구에 대한 의존성을 방지하도록 설계된 LANG(언어 적응형 힌트 안내 강화 학습 프레임워크) 을 제안합니다. 이 프레임워크는 두 가지 핵심 메커니즘으로 구성됩니다:

A. 스케줄링된 다국어 힌트 감쇠

LANG 은 초기 훈련 단계에서 학생 모델을 안내하기 위해 교사 모델의 부분적 추론 흔적 (partial reasoning traces) 인 언어 조건부 힌트를 활용합니다. "힌트 의존성"(힌트가 제거되면 모델이 자율적으로 추론하지 못하는 문제) 을 해결하기 위해 LANG 은 코사인 어닐링 감쇠 스케줄 (cosine annealing decay schedule) 을 사용합니다.

• 메커니즘: 훈련 단계 $t$에서 힌트 $h$의 접두사가 프롬프트에 주입됩니다. 주입되는 힌트의 비율 $p_t^l$은 1.0(완전 안내) 에서 시작하여 0.0 으로 부드럽게 감쇠하는 코사인 스케줄을 따릅니다.
• 목표: 이는 모델을 힌트 조건부 롤아웃에서 자율적 다국어 추론으로 전환시켜 훈련 - 추론 간 불일치를 축소합니다.

B. 언어 적응형 스위치

학습 난이도가 언어마다 다르다는 점을 인식하여 LANG 은 힌트를 제거하기 위한 단일 글로벌 스위칭 지점을 피합니다. 대신 언어를 자원 그룹 (고, 중, 저) 으로 분류하고 동적 스위칭 전략을 사용합니다.

• 메커니즘: 시스템은 유효 업데이트율 (effective-update rate) ($\bar{u}_R(t)$) 을 모니터링합니다. 이는 언어 그룹의 배치에서 적어도 하나의 양의 이득 (positive advantage) 을 가진 궤적을 생성한 인스턴스의 비율로 정의됩니다.
• 스위칭 기준: $\bar{u}_R(t)$가 임계값 $\tau$를 초과하면 해당 특정 언어 그룹에 대한 힌트 주입이 꺼집니다.
• 이익: 저자원 언어는 보상 희소성을 완화하기 위해 힌트를 더 오래 유지하는 반면, 고자원 언어는 더 일찍 자율 추론으로 전환하여 각 언어의 특정 난이도에 맞는 학습 속도를 최적화합니다.

C. 정책 최적화

이 프레임워크는 GRPO(그룹 상대 정책 최적화) 를 사용하여 정책을 최적화합니다. 보상 함수는 세 가지 기준의 논리곱 (conjunction) 입니다:

1. 언어 일관성 ($R_{lc}$): 추론 흔적과 최종 답변은 입력 언어와 일치해야 합니다.
2. 형식 ($R_{format}$): 생각 태그와 박스 처리된 답변의 올바른 사용.
3. 정확도 ($R_{acc}$): 최종 답변은 정답 (ground truth) 과 일치해야 합니다.

3. 주요 기여

• 새로운 프레임워크: 비영어 추론에서 탐색을 부트스트랩하기 위해 언어 조건부 힌트를 활용하는 LANG 의 도입으로, 다국어 RLVR 에 내재된 보상 희소성 문제를 해결합니다.
• 훈련 - 추론 정렬: 점진적 힌트 감쇠 스케줄과 언어 적응형 스위치를 개발하여 훈련 - 추론 간 불일치를 효과적으로 완화하고, 모델이 테스트 시 힌트에 의존하지 않고 자율적으로 추론할 수 있도록 보장합니다.
• 실증적 검증: LANG 이 언어 일관성을 훼손하지 않고 다국어 추론 성능을 크게 향상시키며 프롬프트 기반 및 훈련 기반 베이스라인을 모두 능가한다는 것을 보여주는 광범위한 실험.
• 일반화: 이 방법이 수학적 추론을 넘어 다른 다국어 작업 (예: MMLU-ProX, XWinograd) 으로도 일반화되며 모델의 서로 다른 레이어 전반에 걸쳐 언어 일관성을 유지한다는 증거.

4. 실험 결과

저자들은 Qwen2.5(3B, 7B, 32B) 및 Llama3.1-8B 모델을 사용하여 두 가지 까다로운 벤치마크인 MMATH(10 개 언어) 와 PolyMath(18 개 언어) 에서 LANG 을 평가했습니다.

• 성능 향상: LANG 은 가장 강력한 베이스라인 (LC-GRPO) 을 크게 능가했습니다. MMATH 벤치마크에서 모델 전반에 걸쳐 언어 일관성 및 정확도 (LC&Acc) 지표를 평균 24.1% 향상시켰습니다. PolyMath 에서는 **18.7%**의 개선을 달성했습니다.
• 저자원 언어: 향상 효과는 저자원 언어에서 특히 두드러졌습니다. 예를 들어, Qwen2.5-7B 의 경우 LANG 은 mGRPO 대비 태국어 (MMATH) 에서 LC&Acc 를 39.0%, 베트남어 (PolyMath) 에서 24.6% 향상시켰습니다.
• 분포 외 일반화 (Out-of-Distribution Generalization): LANG 은 도메인 외 언어와 다른 모델 규모에 대해 강력한 일반화를 보여주었으며, 베이스라인 대비 LC&Acc 를 일관되게 향상시켰습니다.
• 레이어별 분석: 중간 은닉 상태에 대한 분석 결과, LANG 은 모델의 전반적인 레이어에 걸쳐 높은 언어 일관성을 유지하며, 모델이 영어로 추론하고 출력 시에만 번역하는 "레이어 간 언어 전환 (cross-layer language switching)" 현상을 방지함을 보여주었습니다.

5. 중요성 및 주장

이 논문은 LANG 이 다국어 LLM 에서 추론 정확도와 언어 일관성 사이의 트레이드오프에 대한 강력한 해결책을 제공한다고 주장합니다. 언어별 학습 진행 상황에 따라 점진적으로 제거되는 임시 발판으로서 힌트를 사용함으로써, 이 프레임워크는 모델이 다국어 추론 패턴을 내재화할 수 있게 합니다.

저자들은 그들의 접근 방식이 교사 모델에 구애받지 않는 (teacher-agnostic)(서로 다른 교사 모델의 힌트로도 잘 수행됨) 것이며 번역에 강건한 (translation-robust)(데이터 구축에 사용된 번역 모델에 관계없이 이득이 안정적으로 유지됨) 것이라고 강조합니다. 그들은 LANG 이 영어 중심의 추론 능력과 원어 해석 가능성 필요성 사이의 간극을 효과적으로 메워 성능을 희생하지 않으면서 모델 레이어 전반에 걸쳐 더 일관된 언어 정렬을 촉진한다고 결론지었습니다.

이 연구는 한계점을 인정하며, 현재 힌트 생성을 위해 단일 교사 모델 (DeepSeek-R1) 에 의존하고 있으며, 언어 간 성능 트레이드오프는 사전 훈련 데이터의 불균형에서 비롯될 수 있음을 지적하고 데이터 중심 전략에 대한 향후 연구를 제안합니다.