Learning When to Translate for Multilingual Reasoning

기술 요약: LUAR – 다국어 추론을 위한 번역 시점 학습

문제 정의

추론 언어 모델(Reasoning Language Models, RLMs)은 중간 추론 흔적(reasoning traces)을 생성함으로써 복잡한 추론 작업에서 강력한 능력을 입증해 왔습니다. 그러나 이들은 다국어 환경, 특히 저자원 언어(low-resource languages) 설정에서 상당한 성능 격차를 보입니다. 최근 연구들에 따르면, 이러한 격차는 추론 능력의 부족이 아니라 비영어 입력물을 처리할 때 발생하는 **언어 이해(language understanding)**의 실패에 의해 기인합니다.

비영어 입력을 영어로 번로하는 것은 이러한 이해 실패를 완화할 수 있지만, 모든 쿼리를 무분별하게 번역하는 것은 비효율적이며 불필요합니다. RL-모델은 종종 원래 언어로도 안정적으로 추론할 수 있기 때문입니다. 핵심 과제는 외부 탐지기(detector)를 사용하여 지연 시간을 발생시키거나 모델이 언어 이해를 처음부터 다시 학습하게 하지 않으면서, 모델이 자신의 직접적인 이해가 신뢰할 수 없을 때만 **선택적으로 번역을 호출(invoke)**하도록 하는 것입니다.

방법론: LUAR 프레임워크

저자들은 RL-모델이 자신의 언어 이해 경계를 인식하고 필요할 때만 외부 번역기를 호출하도록 가르치는 2단계 훈련 프레임워크인 LUAR(Language Understanding Boundary-aware Reinforcement Learning)를 제안합니다.

1. 결과 기반 경계 추정 (Outcome-Based Boundary Estimation)

LUAR는 영어 번역에 접근했을 때 모델의 문제를 해결하는 능력이 실질적으로 향상된다면, 해당 쿼리가 모델의 언어 이해 경계 밖에 있다고 정의합니다. 이는 다음과 같이 경험적으로 추정됩니다:

• $N/2$개의 응답을 직접 추론(원래 언어)을 통해 샘플링합니다.
• $N/2$개의 응답을 번역 보조 추론(흔적 앞에 참조용 영어 번역문을 추가)을 통해 샘플링합니다.
• 정확도 비율 $d_{acc}(q)$와 $t_{acc}(q)$를 계산합니다.
• 번역의 유용성 라벨 $u(q) = 1$을 할당합니다. 여기서 $t_{acc}(q) \ge d_{acc}(q) + \delta$ (단, $\delta=0.5$)인 경우, 즉 번역이 유익한 경우를 의미합니다.

2. 2단계 훈련 절차

단계 I: 번역 호출 지도 미세 조정 (Translator-Call SFT)

• 목표: 모델의 액션 공간(action space)에 번역 호출을 포함하도록 워밍업합니다.
• 과정: 직접 모드 또는 번역 보조 모드에서 샘집된 정답 응답을 통해 모델을 미세 조정합니다.
• 선택 규칙: "소프트(soft)" 규칙을 사용하여 훈련 대상 모드($m(q)$)를 선택합니다. 만약 $t_{acc}(q) > d_{acc}(q)$이면 모델은 번역 보조 흔적으로 훈련받고, 그렇지 않으면 직접 흔적으로 훈련받습니다. 이는 엄격한 경계를 아직 강제하지 않으면서 모델이 두 가지 추론 경로 모두에 노출되도록 합니다.

단계 II: 경계 인식 온라인 강화 학습 (Boundary-Aware Online RL, GRPO)

• 목표: 언제 번역을 호출할 것인지에 대한 결정을 최적화합니다.
• 과정: 모델은 그룹 상대 정책 최적화(Group Relative Policy Optimization, GRPO)를 사용하여 훈련됩니다.
• 보상 함수: 작업 정확도와 번역 호출 결정(decision)을 공동으로 점수화하는 경계 인식 보상 $r(q, y_i)$가 정의됩니다:
  • 정답 + 유용한 호출 ($u(q)=1$): 보상 $1 + \gamma$ (보너스).
  • 정답 + 호출 없음: 보상 $1$ (기본).
  • 정답 + 불필요한 호출 ($u(q)=0$): 보상 $1 - \gamma$ (패널티).
  • 오답/유효하지 않음: 보상 $0$.
• 이는 모델이 직접 추론이 충분할 때는 호출을 피하면서, 경험적으로 정답 확률을 높이는 데 도움이 될 때만 번역기를 호출하도록 유도합니다.

주요 기여

1. 다국어 추론에 대한 새로운 관점: 본 논문은 다국어 추서 격차를 단순히 일반적인 다국어 이해력을 개선하는 문제가 아니라, **언어 이해 경계(language-understanding boundaries)**의 문제로 재정의하며, RL-모델이 이러한 경계 밖에 있음을 감지하는 법을 배워야 한다고 제안합니다.
2. LUAR 프레임워크: 별도의 외부 탐지기를 필요로 하지 않고, 추론 흔적 내에 번역 호출 결정을 직접 내재화하는 2단계 훈련 파이프라인(SFT + Boundary-Aware GRPO)을 도입했습니다.
3. 선택적 번역 정책: RL-모델이 직접 추론이 실패하는 저자원 언어에는 번역 호출을 집중시키고, 고자원 언어나 보지 못한 저자원 언어에는 직접 추론을 유지하는 정책을 학습할 수 있음을 입증했습니다.

실험 결과

프레임워크는 10개의 유형학적으로 다양한 언어를 아우르는 PolyMath(수학적 추론) 및 MMLU-ProX-Lite(STEM 추론) 벤치마크에서 Qwen3-4B와 Qwen3-8B를 대상으로 평가되었습니다.

• 성능 향상: LUAR는 표준 GRPO, 프롬프트 기반 방법(Self-Assessment, Native Tool Use), 외부 탐지기 기반 방법(Selective Translation), 그리고 다른 훈련 기반 베이스라인(Boundary-SFT, Q-ALIGN, TAPO)보다 우수한 성능을 보였습니다.
  • Qwen3-4B에서 LUAR는 평균 정확도 **54.39%**를 달성했습니다(전체 사례의 20.3%만 번역함). 이는 베이스 모델(44.93%)과 전체 번역 베이스라인(100% 번역 비용으로 55.39% 달성)을 크게 상회하는 수치입니다.
  • Qwen3-8B에서 LUAR는 평균 정확도 **70.46%**를 달성했습니다.
• 모드 선택: LUAR는 가장 높은 **모드 선택 매크로-F1(mode-selection macro-F1)**을 달성하여, 번역이 유용한 시점을 정확하게 식별했음을 보여주었습니다.
• 일반화: 모델은 보지 못한 저자원 언어(요루바어, 줄루어)에도 성공적으로 일반화되었으며, 직접 추론이 가장 취약했던 이들 언어에서 정확도를 실질적으로 향상시켰습니다(예: Qwen3-4B 기준 요루바어 56.27%, 줄루어 87.20%).
• 효율성: LUAR는 번역을 피할 때 추론 흔적이 짧아짐에 따라 베이스 모델(11.77s) 및 외부 선택적 번역(14.09s)보다 낮은 추론 지연 시간(9.32s)을 기록했습니다.

의의 및 주장

본 논문은 LUAR가 다국어 추론에 대한 선택적 접근 방식을 제공하며, RL-모델이 직접적인 이해가 신뢰할 수 없을 때만 번역을 호출하도록 학습할 수 있게 한다고 주장합니다. 이 접근 방식은 다음과 같은 이점을 가집니다:

• 방대한 타겟 언어 학습 데이터 없이도 고자원 언어와 저자원 언어 간의 성능 격차를 메웁니다.
• 모델이 이미 이해할 수 있는 입력물은 번역하지 않음으로써 불필요한 오버헤드를 방지합니다.
• 학습된 정책이 특정 언어에 과적합되는 것이 아니라 견고한 신호를 포착함을 시사하며, 보지 못한 언어에도 효과적으로 일반화됩니다.

저자들은 언어 이해를 도구 사용(번역)을 통해 감지하고 대응할 수 있는 경계 조건으로 취급하는 것이 강력한 다국어 추론 모델을 구축하는 유망한 방향이라고 결론지었습니다. 또한, 현재 커버된 언어 가족의 다양성과 작업 범위(현재 수학 및 STEM 중심)에 대한 한계를 언급하며, 향후 연구를 통해 이 경계 인식 정책을 더 넓은 추론 작업으로 확장할 수 있음을 시사했습니다.