💬 NLP

ExpLang: Improved Exploration and Exploitation in LLM Reasoning with On-Policy Thinking Language Selection

この論文は、強化学習中の推論言語のオンポリシー選択を可能にする「ExpLang」という新しい LLM 後学習パイプラインを提案し、多言語の活用によって探索と利用を向上させ、英語のみでの学習よりも優れた性能と高い言語対応性を達成することを示しています。

原著者： Changjiang Gao, Zixian Huang, Kaichen Yang, Jiajun Chen, Jixing Li, Shujian Huang

公開日 2026-02-26

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Changjiang Gao, Zixian Huang, Kaichen Yang, Jiajun Chen, Jixing Li, Shujian Huang

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

🧠 従来の AI の悩み：「英語一筋」の限界

これまでの高度な AI（大規模言語モデル）は、数学や論理パズルを解くトレーニングをする際、「英語で考えること」に特化していました。
なぜなら、学習データが英語中心だからです。

しかし、これには問題がありました。

探索（Exploration）の不足： 「英語でしか考えない」というのは、**「同じ道しか歩かない」**ようなものです。新しい発見や、より良い解決策を見つけるチャンスが狭まってしまいます。
ユーザーとのズレ： 世界中には英語が苦手な人もいます。「英語で思考プロセスを見せる」のは、彼らにとって不便です。

💡 ExpLang の解決策：「言語の切り替え」を AI に任せる

この研究では、AI に**「今、どの言語で考えようか？」を自分で選んでいいよ**と許可し、さらにそれを上手に使いこなすトレーニングを行いました。

これを**「ExpLang（言語を駆使して探索と活用する）」**と呼んでいます。

🎨 具体的なトレーニング方法：2 つのフェーズ

AI のトレーニングは、まるで**「冒険（探索）」と「熟練（活用）」**の 2 つの段階に分かれています。

1. 冒険フェーズ（Exploration Stage）：「とにかく色んな言語で試してみろ！」

状況： AI に「今日はベトナム語で考えろ」「今日は日本語で考えろ」と強制するのではなく、AI 自身が「あ、今日はタイ語で考えてみようかな」と自由に選べるようにします。
ゴール： 「英語以外でも、もしかしたらもっと簡単に解ける問題があるかも？」と、思考の幅（探索空間）を広げることです。
例え話： 料理人が「今日は和風、今日は洋風、今日はフレンチ」と、あえて普段使わない調味料や食材を全部試してみるような状態です。そうすることで、「実はこの食材、和風料理に合うかも！」という新しい発見が生まれます。

2. 熟練フェーズ（Exploitation Stage）：「一番効率的な言語に絞れ！」

状況： 冒険フェーズで「どの言語がどんな問題に強いか」を学習した後は、**「一番正解しやすい言語」**を選ぶように AI を導きます。
ゴール： 広げた探索の成果を、**「正解率を最大化する」**ために活用します。
例え話： 料理人が「和風が一番美味しいとわかったから、今後は和風に特化しよう」と決める状態です。でも、その「和風の味」は、実は「フレンチやタイ料理の技術」を取り入れて進化させたものなのです。

🌟 この方法がすごい 3 つの理由

同じコストで、より賢くなる
- 英語だけでトレーニングするのと同じ時間と計算資源を使っても、「多言語で考える」方が最終的な正解率が高まりました。
- 英語一筋の道だけ歩くより、あえて他の道も歩いてから一番いい道を選ぶ方が、目的地に早く着くことがあるのです。
言語の「忠実さ」が完璧
- 「日本語で考えて」と言われれば、ほぼ 100% の確率で日本語で思考プロセスを書き出します。
- 従来の方法だと、日本語で始めようとしても、途中で英語に切り替わってしまうことが多かったのですが、この方法ではそれが防げます。
見たことのない言語にも対応できる
- 学習時に使わなかった言語（例えばスワヒリ語など）に対しても、「スワヒリ語で考えて」と指示すれば、高いレベルで対応できました。
- これは、AI が「言語ごとの思考パターン」を汎用的に身につけた証拠です。

🔄 面白い発見：「英語→多言語→英語」のサイクル

トレーニング中の AI の思考言語の変化をグラフで見ると、とても興味深い動きをしていました。

最初は英語（基本の言語）
次に多言語へ（冒険フェーズで、あえて英語を避けて他の言語を多用する）
最後に再び英語へ（熟練フェーズで、結局「英語が一番効率的だった」と判断し、英語に戻る）

**「一見、英語に戻ってしまっているように見えるが、実はその英語の思考は、他の言語で得た『新しい視点』を取り込んで、以前よりも強力になっている」**というのがこの研究の結論です。

📝 まとめ

この論文は、**「AI に『言語の壁』を壊させ、あえて多様な言語で考えさせることで、AI 自体の推理能力を底上げできる」**ことを証明しました。

従来の考え方： 「英語が一番強いから、英語で考えさせればいい」
新しい考え方（ExpLang）： 「あえていろんな言語で試行錯誤させて、その知見を英語の思考に還元させよう」

まるで、**「海外旅行に行って現地の言葉や文化を学んで帰ってきた人が、母国語での表現力が格段に向上する」**ような現象を、AI のトレーニングに応用した画期的な研究と言えます。

これにより、世界中のユーザーが、自分の母国語で AI の「思考プロセス」を見ながら、より高いレベルのサポートを受けられる未来が近づいたのです。

ExpLang: 方策内思考言語選択による LLM 推論の探索と利用の改善

1. 背景と課題 (Problem)

大規模推論モデル（LRMs）は、強化学習（RL）に基づくポストトレーニングにより、複雑なタスクにおいて高い性能を示すようになってきました。しかし、現在の研究の大半は英語での推論に焦点を当てており、以下の課題が存在します。

多言語思考のポテンシャルの未活用: 多言語での思考（Thinking）には、英語のみでの推論よりも高い探索空間（Exploration Space）や、特定のタスクでの優位性がある可能性が示唆されていますが、これらは十分に活用されていません。
ユーザーのニーズとの乖離: 世界中のユーザーはネイティブ言語での思考トレースを求めていますが、現在のモデルは英語に偏っており、多言語での思考制御が不安定です。
既存手法の限界: 既存の多言語推論手法は、プレフィックスハッキング（不安定）や単なる微調整（性能低下を招く）に依存しており、RL 学習中にモデル自身が思考言語を動的に選択し、その利点を最大化する手法が欠けていました。

2. 提案手法 (Methodology: ExpLang)

本研究では、ExpLang（Explore and Exploit with multiple Languages）という新しい LLM ポストトレーニングパイプラインを提案します。これは、方策内（On-Policy）思考言語選択を可能にすることで、RL 学習における「探索（Exploration）」と「利用（Exploitation）」を多言語を用いて改善するものです。

主要な構成要素

高品質な多言語思考データの生成:
- 既存のオープンソースモデル（Qwen3-32B など）を用いて、英語の数学問題に対して 12 言語（6 言語のヨーロッパ語、6 言語のアジア語）で思考トレースを生成します。
- LangDetect と HuggingFace Math-Verify を用いて、思考言語の整合性と回答の正解性をフィルタリングし、高品質なデータセットを構築します。
思考言語選択の冷たいスタート（Cold-Start）:
- 収集したデータを用いて、モデルが <lang_select>[lang]</lang_select> タグに従って思考言語を制御できるように、**LoRA（Low-Rank Adaptation）を用いた SFT（教師あり微調整）**を行います。
- LoRA を採用することで、ポストトレーニング済みモデルの数学推論能力の「破滅的忘却（Catastrophic Forgetting）」を防ぎつつ、言語制御を学習させます。
RLVR（Verifiable Rewards を用いた強化学習）における段階的学習:
従来の RL 学習プロセスを 2 つの段階に分割し、それぞれ異なる報酬設計を適用します。
- 探索段階（Exploration Stage: 学習ステップの 1/4）:
  - 目的: 多様な思考言語の探索空間を広げる。
  - 報酬設計: 「思考言語の多様性報酬（ $r_d$ ）」を重視し、頻度の低い言語を選択した際に報酬を与えます。これにより、モデルは英語以外の言語でも積極的に推論を試みるようになります。
  - KL 損失: 出力の多様性を高めるため、この段階では KL 損失を無効化します。
- 利用段階（Exploitation Stage: 学習ステップの残り 3/4）:
  - 目的: 最も効率的な思考言語（言語ごとの Pass@k）を特定し、性能を最大化する。
  - 報酬設計: 「言語別 Pass@k 報酬（ $r_p$ ）」を導入します。バッチ内で正解した回答と同じ思考言語の他の回答にも報酬を与え、モデルが最もパフォーマンスの高い言語に収束することを促します。
  - KL 損失: 思考言語の集中を緩やかに抑制するため、この段階で KL 損失を有効化します。

3. 主要な貢献 (Key Contributions)

方策内思考言語選択の導入: 学習中にモデル自身が思考言語を選択するアクションを RL の一部として組み込み、安定した多言語推論を実現しました。
探索と利用の両立: 多言語の「探索」によって推論の多様性を高め、その後の「利用」によって非英語の利点を英語推論能力へ転移させることで、全体のパフォーマンスを向上させました。
既存 RL アルゴリズムとの直交性: この手法は GRPO などの既存の RL アルゴリズムと直交的であり、報酬設計の変更のみで他のアルゴリズムにも適用可能です。
言語の公平性と性能の両立: 既知の言語ではほぼ完璧な言語遵守率を維持しつつ、未知の言語への汎化性も示しました。

4. 実験結果 (Results)

Qwen3-4B モデルを用いた数学推論タスク（MATH-500, AIME 2025, Olym-MATH）での評価結果は以下の通りです。

英語のみ学習との比較: 同一のトレーニング予算において、ExpLang は英語のみで学習したベースライン（Naive および Controlled）を安定して上回りました。特に RLVR 段階での性能向上幅が大きかったです。
強制言語選択時の性能: 非英語での思考が強制された場合でも、ExpLang はベースラインよりも高い正解率（Acc*）と、ほぼ 100% に近い言語遵守率（Compliance）を示しました。
未知の言語への汎化: 学習時に使用しなかった言語（インドネシア語、ヘブライ語など）に対しても、高い遵守率と良好な性能を発揮しました。
思考言語の遷移: 学習プロセスにおいて、モデルの思考言語選択は「英語 $\rightarrow$ 多言語（探索） $\rightarrow$ 英語（利用）」というパターンを示しました。これは、多言語探索によって得られた知見が、最終的に英語推論の効率化に寄与したことを示唆しています。
レスポンスの多様性: 探索段階において、提案手法は対照群よりも高いエントロピー（多様性）を維持し、利用段階で効率的に最適化された方策へ収束しました。

5. 意義と結論 (Significance)

ExpLang は、LLM の推論能力を向上させる新たな視点を提供します。

多言語性の再評価: 多言語思考は単なる「サービス」や「呪い」ではなく、RL における探索空間の拡大と、非英語の利点を活用した性能向上の手段として機能し得ることを実証しました。
グローバルユーザーへの対応: 世界中のユーザーがネイティブ言語で思考トレースを要求するニーズに応えつつ、モデルの推論能力を最大化する実用的なパイプラインを提案しました。
将来の展開: この手法は GRPO 以外の RL 手法（Dr. GRPO, DAPO など）にも容易に適用可能であり、今後の大規模言語モデルのトレーニング戦略において重要な基盤技術となる可能性があります。

要約すると、ExpLang は「モデルに思考言語を選択させる」という単純ながら強力なアクションを導入することで、多言語の多様性を活用し、結果として英語を含むすべての言語での推論性能を飛躍的に向上させることに成功した画期的な研究です。