💬 NLP

LANG: Reinforcement Learning for Multilingual Reasoning with Language-Adaptive Hint Guidance

本論文は、英語への意図しない言語漂移を防ぎつつ多言語推論性能を大幅に向上させるために、言語条件付きヒントを段階的な減衰と適応的切り替えと組み合わせて活用する、新しい強化学習フレームワークである LANG を紹介する。

原著者： Yuchun Fan, Bei Li, Peiguang Li, Yilin Wang, Yongyu Mu, Jian Yang, Xin Chen, Rongxiang Weng, Jingang Wang, Xunliang Cai, Jingbo Zhu, Tong Xiao

公開日 2026-05-22

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Yuchun Fan, Bei Li, Peiguang Li, Yilin Wang, Yongyu Mu, Jian Yang, Xin Chen, Rongxiang Weng, Jingang Wang, Xunliang Cai, Jingbo Zhu, Tong Xiao

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

以下は、論文「LANG: Reinforcement Learning for Multilingual Reasoning with Language-Adaptive Hint Guidance」の解説を、簡単な概念と日常的な比喩を用いて分解したものです。

大きな問題：「言語の罠」

あなたが、複雑な数学の問題を解く方法を、優秀な生徒（AI）に教えていると想像してください。この生徒は英語の天才ですが、韓国語、タイ語、スワヒリ語などの他の言語で思考を求められたときは苦労します。

この論文は、これを修正しようとする際に発生するイライラする「二律背反（どちらを選んでも不利な状況）」を特定しています。

「厳格な教師」アプローチ: もし生徒に「韓国語で考え、答えなければならない」と言ったら、生徒はルールに従うために必死に努力します。しかし、英語に比べて韓国語での推論能力が鋭くないため、間違いを犯します。言語ルールに集中しすぎたせいで、答えを間違えてしまいます。
「自由放任」アプローチ: もし生徒に「好きなように解いていいよ」と言ったら、彼らは自然と最も得意なツールである英語に頼ります。数学は正解しますが、韓国語を使うというあなたの要望は無視されます。答えは正しいですが、生徒は指示に従っていません。

目標: 研究者たちは、その罠に陥ることなく、生徒に要求された言語で完全に考えながら、難しい問題を正しく解く方法を教えることを望みました。

解決策：「補助輪」システム（LANG）

著者たちは、LANGと呼ばれる新しい手法を開発しました。これは、正確にいつ外すべきかを知っている「補助輪（ヒント）」を使う、賢いトレーニングシステムのようなものです。

以下に、その仕組みをステップごとに説明します。

1. 「ゴーストライター」ヒント

トレーニングの初期段階では、AI に「カンニングペーパー」またはヒントが与えられます。このヒントは、ターゲット言語（例：韓国語）で完璧に書かれた、数学問題の部分的な解答です。

比喩: あなたが自転車に乗ることを学んでいると想像してください。「ペダルを踏め」と言われるだけでなく、ゴーストライダーが自転車の後ろに乗って、少しだけハンドルを操作し、バランスの取り方を正確に見せてくれます。これにより、転倒することなくスタートできます。

2. 「スマートな減衰」（補助輪を外す）

補助輪を永遠につけっぱなしにすると、自分でバランスを取る方法を学ぶことができません。ゴール地点で急に外せば、転倒してしまいます。

LANG の解決策: システムはコサイン減衰スケジュールを使用します。これは、トレーニングが進むにつれて、補助輪をゆっくりと滑らかに下げるタイマーのようなものです。
- 初期: 補助輪は高く設定されています（多くのヒント）。AI は多くの助けを得ます。
- 中期: 補助輪が少し下がります。AI はより多くの作業を自分で行わなければなりません。
- 終期: 補助輪はなくなります。AI はターゲット言語で完全に自力で走行（推論）しなければなりません。
重要性: これにより、AI が「怠け」てヒントに依存することを防ぎます。AI に、その特定の言語で推論するスキルを内面化させることを強制します。

3. 「個別化されたペース」（適応スイッチ）

すべての言語が AI にとって同じ難易度というわけではありません。英語は簡単かもしれませんが、スワヒリ語は非常に難しいかもしれません。「万能型」のスケジュールは機能しません。

LANG の解決策: システムには言語適応スイッチがあります。これは、各言語グループにおける AI のパフォーマンスを監視します。
- 簡単な言語（高リソース）: AI がフランス語でうまくいっている場合、システムは補助輪を早めに外します。
- 難しい言語（低リソース）: AI がスワヒリ語で苦労している場合、システムは単独で行動するよう求める前に、より多くのサポートを与えるために補助輪を長くつけたままにします。
比喩: フィットネスのコーチを想像してください。ランナーが速ければ、コーチは早めに手を離します。ランナーが遅ければ、コーチは一人走りをする準備ができるまで、より長く手を離しません。

発見したことは何ですか？（結果）

研究者たちは、異なる AI モデルを使用して、2 つの難しい数学ベンチマーク（MMATH と PolyMath）でこれをテストしました。

トレードオフの打破: 従来の手法では通常、「正解」か「正しい言語」かのどちらかを選ぶ必要がありました。LANG は両方を達成しました。
大幅な改善: 最も難しい数学テストにおいて、LANG は標準的な手法と比較して、正しい言語で正解を得るAI の能力を約**24%**向上させました。
どこでも機能する: これは数学だけでなく、物語の理解や常識など、多くの異なる言語にわたる他のタスクにおいても、AI の推論能力を向上させました。
深い学習: この論文は、AI が単に最終的な答えを翻訳しただけではなく、最終段階だけでなく、内部層を通じて実際にターゲット言語で「考える」ことを学んだことを示しています。

一文で要約

LANG は、AI モデルに複雑な推論を学ぶのを助けるために、ネイティブ言語で一時的な「ヒント」を与え、その後、各言語の難易度に合わせたペースでそれらのヒントを徐々に取り除く、賢いトレーニングシステムです。その結果、迷うことなく、どの言語でも正しく考え、問題を解決できる AI が生まれます。

技術概要：LANG – 言語適応型ヒントガイダンスによる多言語推論のための強化学習

1. 問題定義

検証可能な報酬を伴う強化学習（RLVR）は、英語における大規模言語モデル（LLM）の多段階推論を成功裏に強化してきたが、これらの恩恵は多言語文脈には完全に転移していない。現在のモデルは、以下の根本的なトレードオフに直面している：

言語の一貫性対推論の質： 入力言語で推論するようにモデルを明示的に制約すると、モデルの強力な英語推論能力が確実に転移しないため、非英語環境においてパフォーマンスが著しく低下する傾向がある。
言語ドリフト： 推論の質を維持するために言語制約を緩和すると、モデルは頻繁に英語へドリフトし、ネイティブユーザーにとっての可読性と解釈可能性が低下する。

プロンプトベースの制約や、RL に言語一貫性報酬を追加する既存のアプローチは、報酬のスパース性に悩まされている。多言語シナリオ、特に低リソース言語においては、厳格な言語および正解性の制約を満たす軌跡が極めて希少であり、トレーニング中の効果的な探索を阻害している。

2. 手法：LANG

著者は、非英語の推論タスクにおける探索をブートストラップしつつ、外部支援への依存を防ぐように設計された、言語適応型ヒントガイダンス付き RL フレームワークであるLANGを提案する。このフレームワークは、2 つの中核メカニズムから構成される：

A. 計画された多言語ヒント減衰

LANG は、トレーニング初期に学生モデルを導くために、教師モデルからの部分的な推論トレースである言語条件付きヒントを利用する。「ヒント依存」（ヒントが除去されるとモデルが自律的に推論できなくなる問題）に対処するため、LANG はコサインアニーリング減衰スケジュールを採用する。

メカニズム： トレーニングステップ $t$ において、ヒント $h$ のプレフィックスがプロンプトに注入される。注入されるヒントの比率 $p_t^l$ は、1.0（完全なガイダンス）から開始し、0.0 まで滑らかに減衰するコサインスケジュールに従う。
目的： これにより、モデルをヒント条件付きロールアウトから自律的な多言語推論へと移行させ、トレーニングと推論の不一致を縮小する。

B. 言語適応型スイッチ

言語間の学習難易度が異なることを認識し、LANG はヒントを除去するための単一のグローバルなスイッチポイントを回避する。代わりに、言語をリソースグループ（高、中、低）に分類し、動的なスイッチング戦略を採用する。

メカニズム： システムは有効更新率（ $\bar{u}_R(t)$ ）を監視する。これは、言語グループのバッチ内のインスタンスのうち、少なくとも 1 つの正のアドバンテージを持つ軌跡を生み出すものの割合として定義される。
スイッチング基準： $\bar{u}_R(t)$ が閾値 $\tau$ を超えたとき、その特定の言語グループに対するヒント注入がオフになる。
利点： 低リソース言語は報酬スパース性を緩和するために長くヒントを保持し、高リソース言語はより早く自律的推論へ切り替わることで、各言語の固有の難易度に応じた学習ペースを最適化する。

C. 方策最適化

このフレームワークは、GRPO（Group Relative Policy Optimization）を用いて方策を最適化する。報酬関数は、以下の 3 つの基準の論理積である：

言語の一貫性（ $R_{lc}$ ）： 推論トレースと最終回答が入力言語と一致すること。
フォーマット（ $R_{format}$ ）： 思考タグとボックス付き回答の正しい使用。
精度（ $R_{acc}$ ）： 最終回答がグランドトゥルースと一致すること。

3. 主要な貢献

新規フレームワーク： 非英語推論における探索をブートストラップするために言語条件付きヒントを活用し、多言語 RLVR に固有の報酬スパース性問題に対処する LANG の導入。
トレーニング - 推論の整合性： 効果的にトレーニング - 推論の不一致を緩和し、モデルがテスト時にヒントに依存せずに自律的に推論できるようにする漸進的ヒント減衰スケジュールと言語適応型スイッチの開発。
実証的検証： 言語の一貫性を損なうことなく多言語推論のパフォーマンスを大幅に向上させ、プロンプトベースおよびトレーニングベースの両方のベースラインを上回る LANG の広範な実験。
一般化： 数学的推論を超えて他の多言語タスク（例：MMLU-ProX、XWinograd）へ一般化し、異なるモデル層全体で言語の一貫性を維持する手法の証拠。

4. 実験結果

著者は、Qwen2.5（3B、7B、32B）および Llama3.1-8B モデルを使用して、2 つの困難なベンチマークであるMMATH（10 言語）とPolyMath（18 言語）で LANG を評価した。

パフォーマンス向上： LANG は、最も強力なベースライン（LC-GRPO）を大幅に上回った。MMATH ベンチマークでは、モデル全体で言語一貫性と精度（LC&Acc）指標が平均**24.1%向上した。PolyMath では18.7%**の向上を達成した。
低リソース言語： 向上は低リソース言語で特に顕著であった。例えば、Qwen2.5-7B において、LANG は mGRPO と比較して、タイ語（MMATH）で LC&Acc を39.0%、ベトナム語（PolyMath）で**24.6%**向上させた。
分布外一般化： LANG は、ドメイン外言語や異なるモデルスケールに対する強い一般化を示し、ベースラインに対して LC&Acc を一貫して向上させた。
層別分析： 中間隠れ状態の分析により、LANG がモデルの層全体で高い言語の一貫性を維持し、モデルが英語で推論し出力時のみ翻訳する「層間言語スイッチング」現象を防いでいることが明らかになった。

5. 意義と主張

本論文は、LANG が多言語 LLM における推論精度と言語の一貫性の間のトレードオフに対する堅牢な解決策を提供すると主張している。言語固有の学習進捗に基づいて段階的に除去される一時的な足場としてヒントを使用することで、このフレームワークはモデルが多言語推論パターンを内化することを可能にする。

著者は、彼らのアプローチが教師非依存（異なる教師モデルからのヒントでも良好に機能する）であり、翻訳ロバスト（データ構築に使用される翻訳モデルに関わらず向上が安定している）であることを強調している。彼らは、LANG が英語中心の推論能力とネイティブ言語の解釈可能性の必要性の間のギャップを効果的に埋め、パフォーマンスを犠牲にすることなくモデル層全体でより一貫した言語整合性を促進すると結論付けている。

この研究は限界を認めており、現時点ではヒント生成のために単一の教師モデル（DeepSeek-R1）に依存していること、および言語間のパフォーマンスのトレードオフは事前学習データの偏りに起因する可能性があることを指摘し、データ中心の戦略に関する将来の作業を提案している。