技術的サマリー：選好に基づく自己蒸留（PBSD）

問題定義

方策内蒸留（OPD）は、高密度なトークンレベルの学習信号を提供することで、大規模言語モデル（LLM）の事後学習における強化学習（RL）に対する効率的な代替手段を提供する。しかし、標準的な OPD は、より強力な外部教師モデルに依存しており、別個のアーキテクチャと共有語彙の必要性により、計算効率とスケーラビリティにボトルネックを生じさせている。

これに対処するため、方策内自己蒸留が登場した。これは、同じモデルが教師と学生の両方として機能し、教師は追加の特権的コンテキスト（例：専門家による実演や推論の痕跡）に基づいてモデルを条件付けることでインスタンス化される。その可能性にもかかわらず、既存の自己蒸留手法は2つの決定的な限界に苦しんでいる：

1. 学習の不安定さと性能の低下：現在の手法は、コンテキスト拡張された教師に対する直接的なカルバック・ライブライ（KL）ダイバージェンスの一致に依存している。最近の分析によれば、これは時間経過とともに推論性能を積極的に低下させ、認識論的言語化（不確実性、自己点検）を抑制し、過信的で短い推論の痕跡をもたらす。
2. 探索的多様性の欠如：同じモデルのコンテキスト拡張版を教師として扱うことは、教師が強力なオラクルであると仮定している。しかし、教師と学生が同一のパラメータを共有しているため、監督は、真により強力な外部モデルが提供する多様性や探索的価値を欠くことが多い。

本論文は、単に KL 一致を通じて教師分布をコピーすることは、応答の潜在的な報酬構造を無視しているため、最適ではないと主張している。

手法：選好に基づく自己蒸留（PBSD）

著者は、固定された教師による KL 一致ではなく、報酬正則化の視点を通じて方策内自己蒸留を再構築するフレームワークである**選好に基づく自己蒸留（PBSD）**を提案する。

1. 報酬正則化目的関数

学生 $\pi_\theta$ と教師 $\pi_{\text{teach}}$ 間の反転 KL ダイバージェンスのみを最小化するのではなく、PBSD は KL 一致と報酬最大化のバランスを取る結合目的関数を最適化する：
$$\max_{\pi_\theta} \mathbb{E}_{x \sim \mathcal{D}} \mathbb{E}_{y \sim \pi_\theta(\cdot|x)} [r(x, y)] - \beta D_{\text{KL}}(\pi_\theta(\cdot|x) \parallel \pi_{\text{teach}}(\cdot|x))$$
ここで、$r(x, y)$ は潜在的な目標報酬であり、$\beta$ は正則化の強さを制御する。

理論的洞察：著者は、この目的関数の解析的最適解は教師分布そのものではなく、報酬で傾いた教師分布であることを導出した：
$$\pi^*(y|x) = \frac{\pi_{\text{teach}}(y|x) \exp(r(x, y)/\beta)}{Z(x)}$$
この目標方策は、教師がサポートする応答間で報酬が変化する限り、報酬正則化目的関数のもとで元の教師よりも証明可能に優れている。教師はサポート分布（帰納的バイアス）として機能し、報酬は確率質量をより高価値な行動へと再重み付けする。

2. 選好学習による最適化

潜在的な報酬 $r(x, y)$ は観測されないため、PBSD は選好に基づく学習（DPO に着想を得た）を用いて目的関数を最適化する。

• 教師の構築：教師 $\pi_{\text{teach}}(y|x)$ は、特権的コンテキスト $c$（例：$\pi(y|x, c)$）を条件付けた同じベースモデルとして定義される。
• 選好ペア：各入力 $x$ に対して、教師（より条件付けが良好）によって生成された正のサンプル $y^+$ と、現在の学生（方策内）によって生成された負のサンプル $y^-$ が生成される。
• 損失関数：この手法は、ブラッドリー・テリーモデルを用いて、教師応答が学生応答よりも選好される確率を最大化する：
  $$\max_{\theta} \mathbb{E} \left[ \log \sigma \left( \beta \left( \log \frac{\pi_\theta(y^+|x)}{\pi_{\text{teach}}(y^+|x)} - \log \frac{\pi_\theta(y^-|x)}{\pi_{\text{teach}}(y^-|x)} \right) \right) \right]$$
  この定式化は、明示的な報酬モデルを必要とせずに方策内サンプリングを維持しつつ、教師と学生のサンプル間の「選好ギャップ」を実質的に最適化する。

3. 統計的分析

本論文は、誘発された選好学習問題の統計的分析を提供する。それは、以下の条件が満たされるとき、コンテキスト付き自己蒸留は外部教師からの学習よりも理論的に優れていることを確立している：

• 教師によって生成された正のサンプルが、多様なスコアギャップの方向（学生現在の分布を超えた情報的方向を横断する）を提供する。
• 教師と学生の間の選好マージンが適度に保たれている。
  分析により、局所的なサンプル複雑性は経験情報行列の最小固有値によって支配されることが示された。コンテキスト付き自己蒸留は、純粋な自己コピーよりも豊かな方向を提供しつつ、飽和を回避して適度なマージンを自然に維持するため、よりtightな推定境界をもたらす。

主要な貢献

1. 報酬正則化目的関数：教師への近接性と報酬最大化のバランスを取る自己蒸留目的関数を導入し、最適目標は教師そのものではなく、報酬で再重み付けされた教師分布であることを証明した。
2. PBSD フレームワーク：外部教師や報酬モデルを必要とせずに、教師と学生のサンプル間の選好ギャップを最適化する、新しい選好に基づく方策内自己蒸留フレームワークを提案した。
3. 理論的正当化：スコアギャップの多様性とマージンの適度さのトレードオフに関して、特にコンテキスト付き自己蒸留が外部教師からの蒸留を上回る条件を確立する統計的分析を提供した。
4. 実証的検証：数学的推論とツール使用のベンチマークにおいて、複数のモデル規模（1.7B、4B、8B）で一貫した改善を実証した。

実験結果

著者は、Qwen3 モデルを用いて、数学的推論（OpenThoughts データセット、AIME 2024/2025、HMMT 2025 で評価）およびツール使用（ToolAlpaca ベースのセットアップ）において PBSD を評価した。

• 性能：PBSD は、すべてのモデル規模とタスクにおいて一貫して最強の平均性能を達成した。
  • Qwen3-8Bにおいて、PBSD は数学の平均で65.2に達し、ベースモデル（+3.7）および最強のベースライン OPSD（+1.0）を上回った。
  • Qwen3-4Bおよび1.7Bにおいても、PBSD は GRPO、DAPO、OPSD などのベースラインを上回る最高平均を達成した。
  • ツール使用において、PBSD はすべての規模で最良のトップ 1 精度を達成した（例：8B で 72.0%）。
• 安定性：早期にピークに達し低下することが多い OPSD と異なり、PBSD は 500 ステップの予算全体にわたって安定した学習の進展を示した。
• トークン効率：PBSD は、膨大なトークン予算を必要とする RL ベースの手法（GRPO など）と同等かそれ以上の性能を達成しながら、自己蒸留のトークン効率（プロンプトあたり単一のロールアウト）を維持した。
• アブレーション：
  • 固定教師：教師を初期化時に固定したままにすることが十分かつ効果的であることが判明した。5 ステップごとに教師を更新することには明確な利点は見られなかった。
  • 探索：PBSD は、直接的な KL 一致手法よりも探索的推論行動（適度な完了長さ）をよりよく維持し、過度に短く過信的な痕跡への崩壊を回避した。

意義と主張

本論文は、PBSD が自己蒸留のトークン効率と選好最適化の安定性および報酬認識性を組み合わせることで、事後学習パラダイムにおける根本的なギャップを埋めると主張している。

• KL 一致を超えて：この研究は、自己蒸留が直接的な分布一致問題でなければならないという仮定に挑戦する。教師は有用な行動のサポートを定義すべきであり、最適化は報酬の再重み付けを通じてより高価値な応答を選択的に増幅すべきであると提唱している。
• スケーラビリティ：外部教師モデルや報酬モデルへの依存を排除することで、PBSD は、特に多ターン推論やツール使用のシナリオにおいて、有能なオープンソースエージェントを民主化するためのスケーラブルな道筋を提供する。
• ロバスト性：このフレームワークは、以前の自己蒸留ベースラインと比較して、探索的推論を保持し、より安定した最適化を許容する、よりロバストな目標分布を提供する。

著者は、報酬認識型自己蒸留が、外部依存なしに高密度な監督と報酬最適化の間のギャップを実質的に埋める、推論指向 LLM の安定かつスケーラブルな事後学習のための有望なパラダイムであると結論付けている。