技術的サマリー：オンポリシー蒸留の正体解明

問題定義

オンポリシー蒸留（OPD）は、推論モデルのための主要なポストトレーニング技術として登場し、スパースな報酬に基づく強化学習（RL）を補完する、密なトークン単位の教師信号を提供する。このパラダイムでは、「教師」モデル（より大規模な外部モデル、または特権的コンテキストを持つ学生自身）が、学生のトークン生成を導く。しかし、実務家は重要な設計選択に関する原理的な指針を欠いている：

• 教師の選択: 教師は外部の大規模モデルにするべきか、それとも学生自身（自己蒸留）にするべきか？
• コンテキスト設計: どのような特定のコンテキスト（完全な解決手順、要約された解決策、あるいは誤った回答の例など）が教師信号として機能すべきか？
• 粒度: 最適な構成はタスク、学生の能力、あるいは個々のトークンによって変化するのか？

現在の評価は、高価なトレーニング実行からの集計性能指標に依存しており、個々のトークンレベルでのダイナミクスを不明瞭にしている。教師の信号が有益か、中立か、あるいは有害となる条件は依然として不明である。

手法

著者は、最高解像度（トークンごと、質問ごと、教師構成ごと）で動作するトレーニング不要の診断フレームワークを導入する。このフレームワークは以下の 3 つの主要な構成要素からなる：

1. 理想的なノードごとの勾配

教師の導きを評価するために、著者は正解に到達する学生の確率を最大限に増加させる「理想的」な勾配を導出する。

• 生成木: 生成プロセスを、ノードがトークン位置を表し、エッジが次のトークンの選択を表す木に分解する。
• 経験的成功確率 ($\hat{P}^k_{succ}$): 学生からロールアウトをサンプリングすることで、ノード $u$ においてトークン $k$ が選択された場合に正解に到達する確率を推定する。
• 理想的な目的関数: 理想的な局所目的関数は、期待成功率を最大化することである：$L_{ideal}(u) = \sum_k P^k_\theta P^k_{succ}$。
• 理想的な勾配: この目的関数の学生ログイットに関する勾配は、$g^{ideal}_j = P^j_\theta (P^j_{succ} - \bar{P}_{succ})$ として導出される。この方向は、学生を平均よりも成功に導く頻度の高いトークンへと押しやる。
• Dr. GRPO との関連: 著者は、長さ正規化を行わない GRPO の変種である Dr. GRPO が、期待値においてこの理想的な勾配を回復することを示し、報酬ベースの信号の不偏推定量としてこれを検証する。

2. 蒸留勾配分析

このフレームワークは、各種蒸留アルゴリズム（GKD、単一サンプル推定量、MiniLLM など）によって生成される勾配を分析する。これら手法は共通の局所構造 $\frac{\partial L}{\partial z_j} = P^j_\theta (f_j - \bar{f})$ を共有することを示す。ここで $f_j$ は教師の分布（対数比など）または軌道レベルの報酬から導出される。

3. 勾配整合スコア

特定の教師構成が理想的な信号をどの程度近似しているかを定量化するために、著者は勾配整合スコアを定義する：
$$\text{Align}(u) = \cos(g^{ideal}_u, g^D_u)$$
各トークンにおける理想的な勾配と蒸留勾配との間のこのコサイン類似度は、教師の導きが成功（正の整合）、失敗（負の整合）、あるいは直交/ノイズ（ゼロに近い整合）へと学生を押しやるかどうかを測定する。

4. 対象ロールアウトによるスケーラブルな推定

長い推論チェーン内のすべてのトークンに対して $\hat{P}^k_{succ}$ を計算することは計算量的に不可能である。著者は対象ロールアウトアルゴリズムを提案する：

• 指数関数的深度ウィンドウ: 生成シーケンスをサイズが増加するウィンドウに分割する。
• 優先順位付け: 各ウィンドウ内で、ロールアウトを教師が学生と最も強く異議を唱えるトークン（高い GKD 勾配の大きさまたは確率の差）に割り当てる。
• 効率性: このアプローチはシーケンス長ではなく、ユーザーが選択する予算にスケーリングするため、BoolQ の約 200 トークンから AIME の約 30,000 トークンにわたるトレースに対して実行可能となる。

主要な結果

このフレームワークは、8 つの異なる教師構成を用いて、BoolQ、MMLU、および AIME 2025 データセットにおける Qwen3-0.6B および Qwen3-1.7B モデルに適用された。

1. 蒸留は誤った経路でより効果的

最も一貫した発見は、蒸留の導きは、正しいロールアウトよりも誤ったロールアウトにおいて著しく高い整合性を示すということである。

• 学生が失敗する経路上にある場合、教師は確実に成功に導くトークンへと学生を押しやる。
• 学生がすでに正しい経路上にある場合、学生はすでに良好に機能しているため、教師の信号はノイズとなり、理想的なものと弱く整合する。
• このパターンは、すべての設定、モデル規模、データセットにおいて維持される。

2. コンテキスト設計と学生の能力の相互作用

最適な蒸留コンテキストは普遍的ではなく、学生の能力とタスクの難易度の両方に依存する：

• 小規模モデル（0.6B）: 自身の推論スタイルにおける正解のみのデモンストレーションによる自己蒸留から最も恩恵を受ける。彼らははるかに大規模な外部教師の推論パターンを解析することに苦慮する。要約されたコンテキストは、学生が完全なステップバイステップのトレースを必要とする場合、パフォーマンスを損なう可能性がある。
• 大規模モデル（1.7B）: 外部教師（例：Qwen3-8B）や要約されたコンテキストを効果的に活用でき、これらは生のトレースと比較して整合性をほぼ倍増させる。
• 誤ったデモンストレーション: 誤った例（Self-1C1W）を含めることは、一般的にノイズを導入することで短い推論タスク（BoolQ、MMLU）のパフォーマンスを損なう。しかし、難しい数学問題（AIME）では、誤ったデモンストレーションは有用な対照信号を提供し、困難な質問に対する最良の教師構成となる。

3. 普遍的なレシピの不存在

すべてのタスクで整合性を最大化する単一の教師またはコンテキスト構成は存在しない。

• タスク依存性: 外部教師は、1.7B モデルにおいて BoolQ では自己蒸留を上回るが、MMLU ではそうではない。
• 難易度依存性: 難しい数学では、誤ったデモンストレーションを含めることが整合性を改善するが、より単純なタスクではそれを低下させる。
• 予測の限界: 学生と教師の分布間の発散（KL、JS）は整合性と正の相関を示すが、相関は弱い（$|\rho| < 0.05$）。発散は安価な必要条件フィルターとして機能し得るが、特定の不一致が有益かどうかを予測する信頼できる指標ではない。

意義と主張

本論文は、トークンレベルでの教師導きの質を評価するための、最初の厳密かつトレーニング不要な手法を提供すると主張する。その主な貢献は以下の通りである：

1. 診断フレームワーク: 勾配整合をオフラインで計算するスケーラブルなパイプライン。これにより、教師信号が有益、中立、有害な寄与の不均質な混合物であることが明らかになる。
2. 機械論的洞察: 蒸留は失敗するロールアウトで最も効果的であるという発見は、すべてのトークンを均等に扱う現在のトレーニングパイプラインが、学生がすでに正しいトークンにおいて勾配予算を浪費している可能性を示唆する。
3. 文脈的ニュアンス: 「理解可能性」が鍵要因であることを示す（信号は学生がそれを解析できる場合にのみ有用である）。これは、なぜ小規模モデルがはるかに大規模な外部教師から学習できないのか、そしてなぜコンテキスト設計（要約対生のトレース）がモデルの能力に合わせて調整されなければならないのかを説明する。
4. 将来の方向性: 結果は、タスクごと、トークンごとの診断分析を動機付け、整合性に基づいて蒸留損失を重み付けする（例：失敗する軌道を強調する）または発散をゲーティングメカニズムとして使用する将来のトレーニングアルゴリズムを提案する。

著者は結論として、オンポリシー蒸留は強力なツールであるが、その有効性は非常に条件付きであり、「最適」な構成は、学生の状態、タスクの難易度、および生成されている特定のトークンに基づいて動的に変化すると述べている。