Mid-Training with Self-Generated Data Improves Reinforcement Learning in Language Models

技術サマリー：自己生成データを用いた中間学習が言語モデルにおける強化学習を改善する

問題提起
大規模言語モデル（LLM）の最近の進展は、推論時のスケーリングを通じて推論能力を強化する強力な手法として強化学習（RL）を浮き彫りにしました。しかし、RL の有効性は、RL 学習前にモデルに確立された事前分布に大きく依存します。既存の文献は、検証可能な報酬を伴う RL（RLVR）がしばしば「分布の鋭化」を行い、ベースモデルに既に存在する行動を選択的に増幅し、真に新しい能力を誘発するのではなく、と述べています。モデルが単一のタスクに対する多様な問題解決アプローチに触れていない場合、その後の RL 学習は性能向上に苦労するか、特定の評価指標（例：pass@k）の下ではむしろ性能を低下させる可能性があります。ここで扱われる核心的な課題は、RL を適用する前に、ベースモデルに多様な推論戦略の豊富なセットを効果的に備えさせる方法であり、それによって RL プロセスが単に狭い範囲の既存行動を強化するのではなく、これらの戦略を構成し洗練できるようにすることです。

手法
著者らは、事前学習と RL の間に位置する中間ステップとして機能する中間学習フレームワークを提案します。このフェーズは、同じ問題に対する複数の有効な解決軌跡をモデルに曝露させるために、多様な自己生成データを利用します。

1. ヒューリスティック誘導データ生成:

   • このフレームワークは、ジョージ・ポリアの問題解決ヒューリスティック（例：類推、分解と再構成、後方への作業）から着想を得ています。
   • シードデータセット（GSM8K）の各質問に対し、ベースモデルに特定のヒューリスティックの説明と数ショットの例をプロンプトし、複数の候補回答を生成させます。
   • このプロセスはブートストラップされます：モデルは、より強力な教師モデルからの蒸留に依存することなく、自身の学習データを生成します。
   • フィルタリングと選択: 生成された回答は、ルールベースの検証器（例：Math-Verify）を用いて正しさをフィルタリングします。残りの候補は、特定のヒューリスティックへの準拠度に基づき報酬モデル（$R_\phi$）によってスコアリングされます。各質問 - ヒューリスティックのペアに対して、最高スコアの回答が選択されます。
   • 結果として得られるデータセット（$D_{Pólya}$）には、各質問あたり $n$ 個の異なる解決バリエーションが含まれており、ここで $n$ は適用されたヒューリスティックの数を表します。

2. 中間学習（教師あり微調整）:

   • ベースモデルは $D_{Pólya}$ 上で微調整されます。単一の回答を質問にペアリングする標準的な SFT と異なり、このアプローチでは各質問に $n$ 個の多様な軌跡をペアリングします。
   • 目的は、これらの複数の軌跡にわたって負の対数尤度を最小化することであり、これによりモデルは分岐点において様々な次のトークンオプションに無視できない確率を割り当てるよう促され、実質的にN 次モーダルな次のトークン分布を形成します。

3. 強化学習:

   • 中間学習に続き、モデルは別のデータセット（DAPO-Math-17k）上でグループ相対方策最適化（GRPO）を用いて RL 学習を受けます。
   • 本研究は、異なる数のヒューリスティックで初期化されたモデル（$n \in \{1, 2, \dots, 64\}$）を、ゼロショット、バニラ RL（ベースモデルに直接適用）、STaR+RL（自己学習推論者 followed by RL）というベースラインと比較します。

理論的視点
本論文は、中間学習が方策勾配更新にどのように影響するかについての理論的分析を提供します：

• 単一モーダル対 N 次モーダル体制: 単一のトークンに対する高い確信度を持つ単一モーダル体制では、方策勾配更新は無視できる変化（$\propto \epsilon^2$）をもたらします。対照的に、確率質量が $N$ 個の支配的モード間で分割される N 次モーダル体制では、更新は抑制的ながら顕著な変化（$\propto 1/N$）を誘発します。
• 戦略の構成: 著者らは、負のアドバンテージ更新の下では、サンプリングされたトークンから除去された確率質量が、主に残りの $N-1$ 個の支配的モードに再分配されることを証明しています。このメカニズムは、モデルが RL 中に単一の戦略に収束するのではなく、単一の回答内で異なる問題解決アプローチを組み合わせることを学習することを促進します。

主要な結果
実験は、Llama 3.2–3B–Instruct および Qwen2.5–7B–Instruct に対して、6 つの数学的推論ベンチマーク（Math-500、AIME 2024/2025、AMC 2023、HMMT 2025、OlympiadBench）およびドメイン外タスク（HumanEval、MuSR）で行われました。

• 性能向上: 多様な自己生成データを用いた中間学習は、特に高い $k$ 値（pass@64）において RL 性能を一貫して向上させます。
  • Math-500 において、pass@64 はゼロショットの 87.76% から（$n=64$で）88.94% に向上しました。
  • AIME 2025 において、pass@64 は 12.84% から 18.66% に増加しました。
  • 高い推論多様性（$n=64$）で中間学習されたモデルは、すべてのベンチマークにおいてバニラ RL および STaR+RL ベースラインを上回りました。
• 多様性対量: 制御実験により、固定された学習予算の下では、より多くの問題に対して単一のアプローチを学習するよりも、質問ごとに複数のアプローチを学習する（より少ない問題、より多くのアプローチ）方が、RL に対してより大きな利益をもたらすことが示されました。
• 正しさが不可欠: 誤った答えにつながる多様なアプローチを用いた中間学習は RL 性能を向上させず、多様性の恩恵を受けるためには正しさが前提条件であることを示しています。
• 蒸留への優位性: 自己生成データは、より強力な教師モデル（QwQ-32B）から蒸留されたデータ（Vendi スコア 10.95）と比較して、より高い多様性（Vendi スコア 13.81）を示し、より良い下流性能につながりました。
• 一般化: ポリアのヒューリスティックが数学中心であるにもかかわらず、学習された戦略はコード生成（HumanEval）や物語的推論（MuSR）にも一般化し、多段階推論タスクで顕著な向上が見られました。

意義と主張
本論文の主な貢献は、中間学習中の自己生成データを通じた複数の問題解決アプローチへの曝露が、モデルの事前分布を根本的に形成し、その後の RL がこれらの戦略を効果的に構成できるようにすることを実証している点です。

• 改善のメカニズム: 本研究は、RL が必ずしもゼロから「創発的」な推論能力を創造するのではなく、既存の行動を構成するものであると仮説立てています。中間学習は、これらの行動が多様であり、構成のために利用可能であることを保証します。
• 実用性: このアプローチは、人間の注釈やより強力な教師モデルを必要とせずに RL を改善する、シンプルで効果的かつスケーラブルな方法を提供します。
• 理論的洞察: この研究は、RL の経験的成功と理論的理解の間のギャップを埋め、N 次モーダル分布がモード収束を防ぎ、複合推論チェーンの学習を促進する方法を示しています。

著者らは、単一サンプル精度（pass@1）については控えめな見解を示しており、焦点は多様な曝露が RL 行動をどのように形成するかを理解し、複数のサンプリング試行を必要とするシナリオ（pass@k）での性能を向上させることにあると述べています。ヒューリスティックは数学中心であるものの、他のドメインへの結果的な一般化は、この手順がベースモデル内の潜在的な能力を表面化し統合することを示唆していると認めています。