🤖 machine learning

ExpRL: Exploratory RL for LLM Mid-Training

ExpRLは、人間が記述した解を隠れた報酬スキャフォールドとして活用することで、LLMに対して高密度なプロセスレベルのフィードバックを生成し、それによって疎な報酬や手動によるスキルの指定という限界を克服し、複雑な推論タスクに向けてモデルをより効果的にプライミングする、自動化された中間学習フレームワークを導入する。

原著者： Violet Xiang, Amrith Setlur, Chase Blagden, Nick Haber, Aviral Kumar

公開日 2026-06-16

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Violet Xiang, Amrith Setlur, Chase Blagden, Nick Haber, Aviral Kumar

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

想像してみてください。あなたは、非常に優秀だが経験の浅い学生（ベースLLM）に、極めて難しい数学パズルを解く方法を教えようとしています。

問題：「全か無か」の罠

現在、この学生を教える標準的な方法は、パズルを与えて、「もし最終的な答えが正解なら金メダルをあげる。間違えたら、何もあげない」と言うことです。

これは**疎な報酬による強化学習（Sparse Reward Reinforcement Learning）**と呼ばれます。問題は、非常に難しいパズルの場合、学生が最初の一回で最終的な答えにたどり着けることは滅多にないということです。金メダルをもらえることがほとんどないため、彼らは自分がどこで間違えたのかを知ることができません。正しい考え方からスタートしたのか？計算ミスをしたのか？途中で迷子になったのか？フィードバックがないため、彼らは正解に偶然たどり着くことを願って、ただランダムに推測を繰り返すだけになってしまいます。彼らには「カバレッジ（網羅性）」が欠けています。つまり、いつか問題を解けるようになるための、さまざまなアプローチ方法を十分に学習できていないのです。

解決策：ExpRL（「カンニングペーパーを持つコーチ」）

著者らは、新しいトレーニング手法である**ExpRL（探索的強化学習：Exploratory Reinforcement Learning）**を提案しています。これは、最終試験の前に学生に特別なコーチを与える「中間トレーニング」フェーズのようなものです。

ExpRLの仕組みを、簡単な例えで説明します。

カンニングペーパー（参照解答）： コーチは、パズルの完璧でステップバイステップの解答（「参照解答」）を持っています。
秘密のルール： 学生はカンニングペーパーを見てはいけません。現実の世界と同じように、自分自身の力でパズルを解かなければなりません。
採点基準（判定役）： 学生が解答を書き終えた後、コーチはそれを参照解答と比較します。しかし、単に「間違い」と告げるのではなく、コーチは厳格ながらも助けになる採点官として振る舞います。
- 正しい公式からスタートできたか？（できた場合：+1ポイント）。
- 方程式を正しく簡略化できたか？（できた場合：+1ポイント）。
- 途中で迷子になったか？（迷った場合：ポイントなし）。
- 最終的な答えが間違っていたか？（たとえそうでも、それまでの正しいステップに対してはポイントを与えます）。

これが核心となるイノベーションです。ExpRLは部分的な進捗に対して報酬を与えます。 たとえ最終的な答えが間違っていたとしても、それまでの正しいステップに対して「密な報酬（デンス・リワード）」（多くの小さなポイント）を受け取ることができるのです。

2つの採点方法

論文では、これらのポイントを与える2つの方法をテストしています。

ExpRL-Outcome（結果ベース）： コーチは学生の試みの最後まで待ち、解答全体が完璧な解答にどれくらい近いかに基づいてスコアを付けます。
ExpRL-Process（プロセスベース）： コーチは数文ごとに学生の進行を止め、即座にフィードバックを与えます。「最初のステップは良かった！でも、次のステップは少し怪しいぞ」。これは、学生に単に最終的な答えがどうあるべきかではなく、「どのように解法を組み立てるか」を学ぶ手助けとなります。

結果：より優れた基礎の構築

この「中間トレーニング」フェーズを経た後、学生は最終試験（報酬が疎なRL）を受ける準備が大幅に整います。

優れたカバレッジ： 学生は多くの戦略を試す方法を学びました。彼らはただ推測しているのではなく、問題を分解し、自分の作業をチェックし、自らを修正する方法を知っています。
強力なスタート： 学生が最終試験（正解のみに金メダルが与えられる環境）に臨むとき、すでに「問題を解くプロセス」を練習しているため、成功する確率は格段に高まっています。
競合への勝利： 論文は、この手法が以下のものよりも優れていることを示しています。
- SFT（教師あり微調整）： 単に学生にカンニングペーパーを暗記させること（これは学生を硬直させ、創造性を奪います）。
- 標準的なRL： 単に金メダルが出るのを待つこと（これは時間がかかりすぎ、フラストレーションが溜まります）。
- 自己蒸留（Self-Distillation）： 自分自身の最善の推測から学ぼうとすること（これは信頼性が低い場合があります）。

「混合ドメイン」テスト

研究者たちは、数学、科学、コーディングの問題を混ぜたテストも行いました。

数学と科学： 非常にうまく機能しました。「カンニングペーパー」が、論理や手順の理解を助けました。
コーディング： 少しは効果がありましたが、それほどではありませんでした。なぜなら、コーディングではコードを実行して動作を確認できる（明確なパス/失敗の信号がある）からです。コンピュータ自体が正解か不正解かを教えてくれるため、「カンニングペーパー」の必要性は低くなります。

まとめ

ExpRLは、学生に「完璧な解答集は見せられないが、正しいステップを踏むたびに部分点が得られる練習試験」を与えるようなものです。これにより、問題解決スキルの強固な基礎が築かれ、最終的な答えのみが重要となる本番の試験において、成功する可能性が大幅に高まります。これは、「全か無か」のギャンブルを、構造化された学習の旅へと変えるのです。

技術要約: ExpRL: LLMの中間学習における探索的強化学習（Exploratory RL）

1. 問題提起

強化学習（RL）は、大規模言語モデル（LLM）の推論能力を向上させるための標準的なメカニメントとなっており、特に疎なバイナリ報酬（例：最終回答の正誤）を伴うタスクにおいて顕著である。しかし、疎な報酬を用いたRLの成功は、ベースモデルのカバレッジ（網羅性）、すなわち学習開始前にモデルが生産的な推論パスに対して割り当てている確率質量に決定的に依存している。

ベースモデルが、難解な問題に対して有用な中間ステップや多様な解決戦略を滅多にサンプリングできない場合、疎な報酬からは十分な学習信号が得られない。その結果、モデルは初期の（多くの場合、最適ではない）推論パターンを超えて探索することに失敗する可能性がある。これに対処するための現在の中間学習戦略（精選されたトレースに対する教師あり微調整（SFT）や自己蒸留など）は、スキルの手動指定を必要としたり、トークンレベルの模倣に依存したりすることが多い。これらのアプローチは、モデル本来の推論能力を損なったり、複雑な組合せ問題や数学的タスクで求められるより広範な問題解決戦略への汎化に失敗したりする可能性がある。

核心となる課題は、模倣に頼ることなく、生産的な推論パスに対するカバレッジ（$pass@k$で測定）を高めるために、ベースモデルの「プライミング（準備状態の構築）」を自動化することである。

2. メソドロジー：探索的強化学習（ExpRL）

ExpRLは、参照解を模倣のターゲットとしてではなく、**報酬のスキャフォールディング（足場）**として利用する、オンポリシーRLベースの中間学習アプローチである。この手法は、関連する参照解 $y^*$ を持つ難解な問題のデータセット $\mathcal{D}_{mid}$ 上で動作する。

コア設計原則

参照解をデモンストレーションとしてポリシーに露出させる（これによりポリシーを模倣へとバイアスさせる）代わりに、ExpRLはポリシーから参照解を隠蔽する。ポリシーは、問題プロンプト $x$ のみから軌跡 $y$ をサンプリングする。その後、LLMジャッジが、サンプリングされた軌跡を隠された参照解 $y^*$ と比較し、**密な報酬（dense rewards）**を割り当てる。これは、「検証と生成のギャップ（verification-generation gap）」、すなわちLLMはゼロから正しい解を生成することよりも、参照解に対して部分的な進捗を検証することに長けているという性質を利用している。

報酬メカニメント

ExpRLは、2つのバリアントの密な報酬を定義する：

ExpRL-Outcome: 参照解との整合性に基づき、ロールアウト全体に対して密な段階的スコアを割り当てる。ジャッジは、最終回答が誤っている場合でも、ルーブリックに従ってトレース全体を評価し、フィードバックを提供する。これにより、部分的な正当性と有用な中間的な簡約（reduction）に対して報酬を与える。
ExpRL-Process: ロールアウトの中間的なプレフィックス（接頭辞）に対して密なスコアを割り当てる。クレジット割り当て（credit assignment）を改善するために、この手法はセグメントレベルのアドバンテージ $A_t$ を計算する。セグメントは、前のプレフィックスに対するジャッジの整合性スコア（ $s_t - s_{t-1}$ ）を向上させた場合にのみ、正のアドバンテージを受け取る。これにより、ポリシーが中間的な進捗の上に構築することを促し、退行を抑制する。

最適化

ポリシー $\pi_\theta$ は、ベースポリシー $\pi_0$ に対するKL正則化項を伴うオンポリシーRL（Outcome報酬にはGRPO、Process報酬にはREINFORCEを使用）を用いて最適化される。目的関数は、到達可能なKL空間内に留まりながら、期待される密な報酬を最大化する：
$\max_\theta \mathbb{E}_{(x, y^*) \sim \mathcal{D}_{mid}} \left[ \mathbb{E}_{y \sim \pi_\theta(\cdot|x)} [R(x, y, y^*)] - \beta \text{KL}(\pi_\theta(\cdot|x) \| \pi_0(\cdot|x)) \right]$

ダウンストリームへの適用

中間学習の後、プライミングされたポリシーは、ダウンストリームのデータセット $\mathcal{D}'$ に対する標準的なステージIIの疎報酬RLの初期値として機能する。このステージでは、すべての参照情報は削除され、モデルはバイナリの最終回答報酬のみを用いて訓練される。

3. 主な貢献

自動化されたカバレッジ構築: ExpRLは、参照解を模倣ターゲットとしてではなく、報酬のスキャフォールドとして用いることで、生産的な推論パスに対するモデルのカバレッジを自動的に広げる手法を提案する。
密な報酬スキャフォールディング: 参照解をLLMジャッジを介して問題固有の密な採点ルーブリックへと変換するメカニズムを導入し、疎な報酬では捉えきれない部分的な進捗や中間的な簡約の強化を可能にする。
プロセスレベルのクレジット割り当て: プレフィックスベースのスコアリングとセグメントレベルのアドバンテージを活用することで、推論ステップの質に関する粒度の高いフィードバックを提供し、分解（decomposition）や自己修正（self-correction）といった振る舞いを促進する。
プライミングの経験的検証: ExpRLが、SFT、疎報酬GRPO、および自己蒸留のベースラインと比較して、ダウンストリームの疎報酬RLに対して優れた初期化を実現することを実証する。

4. 実験結果

実験は、困難な数学的推論タスク（AIME, HMT, IMO-AnswerBench）で実施され、混合ドメイン設定（科学、コーディング）にも拡張された。

ダウンストリームの性能: ExpRLで初期化されたモデルは、ステージIIの疎報酬RLの後、保持されたベンチマークにおいて、すべてのベースラインと比較して高い $pass@1 $および$ pass@k$ を達成した。特にAIME 2026において、ExpRL-Processは63.41%の精度を達成し、最良のベースライン（GRPO）の58.75%を上回った。
ステージIの改善: ダウンストリームRLの前であっても、ExpRLでプライミングされたモデルは、中間学習分布において $pass@1 $および$ pass@16$ の有意な向上を示しており、この手法がモデルがサンプリング可能な解決可能な問題の集合を正常に拡大していることを示している。
行動の変化: 推論行動の分析により、ExpRLはベースモデルと比較して、検証、自己修正、バックトラッキングといった探索指向の振る舞いの頻度を高めることが明らかになった。対照的に、SFTは検証行動を減少させる傾向があった。
混合ドメインとジャッジのスケーラビリティ:
- ExpRL-Outcomeは、数学、科学、コーディングのドメインにおいて、より小さな4Bのジャッジを用いて、より大きな8Bのポリシーを成功裏に改善した。これは、参照条件付きであれば、ジャッジがポリシーのスケールと一致する必要はないことを示唆している。
- コーディングにおける限界: ExpRLはコーディングタスク（LiveCodeBench）において混合した結果を示した。ベースポリシーは改善されたものの、実行ベースの疎GRPOの方が依然として強力であった。著者らは、コーディングの報酬は（参照パスによるスキャフォールディングよりも）機能的な正当性（実行）に強く依存しており、部分的な進捗を定義することがより困難であるためであると考えている。
報酬の信頼性: キャリブレーションテストにより、密な報酬信号は、正しく問題に適合した参照の存在に依存していることが確認された。参照を削除するか、誤った参照を使用すると、ジャックの正しいロールアウトと誤ったロールアウトを識別する能力が著しく低下した。

5. 意義と主張

本論文は、ExpRLが中間学習フェーズに探索の負担を移すことで、LLM RLにおける「探索のボトルネック」に対処すると主張している。参照ガイド付きの密な報酬を通じて部分的な進捗や多様な推論戦略に報酬を与えることで、ExpRLはより強力な「探索の事前分布（exploration prior）」を構築する。

著者らは、このアプローチが模倣ベースの中間学習（SFT）よりも優れていると主張している。なぜなら、SFTはベースモデルが自然に生成しない可能性のあるトレースをクローニングすることによる、分布シフトや不安定性の罠を回避できるからである。代わりに、ExpRLはポリシーを自身の分布内に留めつつ、解決空間内の生産的な領域へと導く。

本研究は、ExpRLを一般的なプライミング・インターフェースとして位置づけ、他の探索戦略（例：プレフィックス誘導生成）と組み合わせることが可能であることを示しており、難解な問題に対するRLのスケーリングの鍵は、疎報酬の最適化を開始する前に、ベースモデルが生産的な推論パスの十分なカバレッジを持っていることを確保することにあると示唆している。なお、本手法は補助的な参照データを必要とすることや、ドメイン（実行フィードバックが利用可能なコーディングなど）によって有効性が異なることなど、限定的な側面についても謙虚に述べている。