技術的サマリー：vOPD（制御変量ベースラインを備えたオンポリシー蒸留）

1. 問題定義

オンポリシー蒸留（OPD）は、特に推論分野において、大規模言語モデル（LLM）のポストトレーニングパラダイムとして支配的な地位を確立しています。検証可能な報酬を用いた強化学習（RLVR）がスパースな終端報酬に依存するのに対し、OPD は学生モデルと教師モデル間の密なトークンレベルの信号を用いて、逆 Kullback-Leibler（KL）ダイバージェンスを最小化します。これにより、高速なトレーニングと長い Chain-of-Thought（CoT）タスクの効率的な処理が可能になります。

しかし、OPD は実用上、重大な安定性の課題に直面しています。標準的な実装は、勾配を近似するために単一サンプルのモンテカルロ推定量を使用します。このアプローチは高い勾配分散に悩まされ、不安定なトレーニングダイナミクスを引き起こします。既存の安定化手法はこれを緩和しようと試みますが、重大なトレードオフをもたらします。

• 全語彙 OPD（$OPD_{full-V}$）： 全語彙にわたって KL ダイバージェンスを計算します。これは分散を排除しますが、各ステップで全語彙（例：約 15 万トークン）に対する逆伝播を必要とするため、莫大な計算オーバーヘッドを伴います。
• Top-k OPD（$OPD_{top-k}$）： KL 計算を確率最も高い top-$k$ トークンのみに制限します。軽量ですが、サポートを切り捨てることで勾配にバイアスを導入し、実証結果では不安定なベース OPD に対してわずかな性能向上しか示さないことが示されています。

核心的な課題は、単一サンプル推定量の計算効率を犠牲にすることなく、あるいは目的関数にバイアスを導入することなく、OPD トレーニングを安定化させることです。

2. 手法：vOPD

著者は、vOPD（制御変量ベースラインを備えたオンポリシー蒸留）を提案します。これは OPD を方策勾配強化学習（RL）問題として再定義し、標準的な分散低減手法である制御変量ベースラインの減算を適用するものです。

2.1 理論的基盤

方策勾配 RL において、報酬 $r_t$ からベースライン $b_t(c_t)$ を減算すると、アドバンテージ関数 $a_t = r_t - b_t$ が得られます。重要なのは、ベースラインがサンプリングされたアクションに依存しない場合、勾配は不偏でありながら分散が低減されることです。ベースラインの標準的な選択は価値関数 $V^{\pi}(c_t)$ です。

vOPD の鍵となる洞察は、OPD において価値関数が、追加のクリティックモデルや推論を必要としない閉形式解を持つという点です。
$$V^{\pi_\theta}(c_t) = \mathbb{E}_{y_t \sim \pi_\theta} [r_t(c_t, y_t)] = -D_{KL}(\pi_\theta(\cdot|c_t) \parallel \pi_T(\cdot|c_t))$$
ここで、報酬は $r_t = \log \pi_T - \log \pi_\theta$ と定義されます。学生分布下での期待報酬は、そのコンテキストにおける学生と教師間の負の逆 KL ダイバージェンスに他なりません。

2.2 アルゴリズム的実装

vOPD の勾配推定量は以下のように定式化されます。
$$\nabla_\theta J_{vOPD} = \mathbb{E} \left[ \sum_{t} \left( r_t(c_t, y_t) + D_{KL}(\pi_\theta \parallel \pi_T) \right) \nabla_\theta \log \pi_\theta(y_t|c_t) \right]$$

• 不偏性： ベースライン（KL 項）は分布 $\pi_\theta$ と $\pi_T$ に基づいて計算されますが、サンプリングされたトークン $y_t$ に関する勾配フローからは切り離されています。したがって、勾配は不偏のままです。
• 効率性： KL ベースラインは、報酬計算に既に必要なフォワードパス中に計算されます。バックワードパスは依然としてサンプリングされた単一のトークンのみに触れるため、ベース OPD の計算効率を維持します。
• 分散低減メカニズム： ベースラインは正則化剤として機能します。学生と教師の分布が強く不一致（高 KL）の場合、報酬 $r_t$ は大きく負になります。一方、ベースライン $D_{KL}$ は大きく正であり、実質的に負の報酬を相殺し、不安定化を引き起こす重尾型の勾配を減衰させます。

2.3 Top-k 近似（$vOPD_{top-k}$）

全語彙 KL の計算に伴うフォワードパスのコストをさらに削減するため、著者は学生モデルの top-$k$ トークンのみを用いてベースラインを近似することを提案します。

• 損失目的関数を置き換えることでバイアスを導入する $OPD_{top-k}$ と異なり、$vOPD_{top-k}$ は top-$k$ 近似をベースラインのみに使用します。
• ベースラインはサンプリングされたトークンから切り離されているため、$k$ の値に関わらず勾配は不偏のままです。
• 実証的に、小さな $k$（例：$k=5$）であっても、トレーニングを安定化させるのに十分な分散低減を提供します。

3. 主要な貢献

1. 閉形式の価値ベースライン： 本論文は、OPD の価値関数が負の逆 KL ダイバージェンスと完全に一致することを示し、追加のモデルなしでフォワードパスから直接利用可能であることを実証しました。
2. 不偏な安定化： vOPD は、バイアスを導入する top-k 変種とは異なり、単一サンプルモンテカルロ推定量の不偏性を維持しつつ勾配分散を低減することでトレーニングを安定化させます。
3. 計算効率： vOPD はベース OPD の単一トークンバックワードパスを維持します。$vOPD_{top-k}$ 変種はさらにフォワードパスのコストを削減し、全語彙手法と比較して優れた精度と計算量のトレードオフを提供します。
4. 理論的解析： 著者は分散低減が KL ダイバージェンスの二乗に比例することを導出により示し、この手法が不安定化の原因となる不一致の大きいトークンを具体的に標的としていることを確認しました。

4. 実験結果

著者は、Qwen3-1.7B、4B、および Olmo-3-7B の 4 つのモデルに対し、MATH500、Minerva Math、AMC23、AIME24/25、SciKnowEval、GPQA-Diamond の 6 つの推論ベンチマークで vOPD を評価しました。

• 性能向上： vOPD はベース OPD を一貫して上回りました。
  • MATH500 において、vOPD はベース OPD に対して最大 +6.2% の絶対的な改善を達成しました。
  • すべてのベンチマークにおいて、vOPD 変種はベース OPD に対して平均 +3% の改善を示しました。
  • vOPD の性能は、最も高価な手法である $OPD_{full-V}$ と同等か、わずかに上回りましたが、はるかに高速でした。
• 安定化変種との比較：
  • $OPD_{top-k}$ はベース OPD に対してわずかな改善（平均 +0.4% など）しか示さず、バイアス問題を確認させました。
  • vOPD 変種は $OPD_{top-k}$ を大幅に上回り、$OPD_{full-V}$ と同等の性能を示しました。
• 効率性：
  • vOPD は $OPD_{full-V}$ と比較して、ウォールクロック時間を最大 57.7% 削減しました。
  • $vOPD_{top-k}$ が最も効率的であり、最高の精度と計算量のトレードオフを提供しました。
• 安定性指標：
  • 勾配ノルム： vOPD は、ベース OPD よりも 1〜2 桁低い勾配ノルムを維持し、ノイズの多い不安定化勾配の抑制を確認しました。
  • ハイパーパラメータ感度： 性能は $k$ の値（5 から 100）全体で安定しており、粗い近似（$k=5$）であっても十分な安定化を提供しました。

5. 意義と主張

本論文は、vOPD が原理的かつ効率的な安定したオンポリシー蒸留のアプローチを提供することで、強化学習と知識蒸留の間のギャップを埋めると主張しています。

• メカニズム： 単一サンプル推定量からの高い勾配分散を OPD 不安定化の根本原因として特定し、問題の構造（KL ダイバージェンス）から導出された制御変量ベースラインを用いてこれを解決します。
• 実用的影響： 追加のモデル（クリティック）や高価なバックワードパスを必要としない、ベース OPD のドロップイン代替手段を提供し、計算効率が最優先される産業規模のポストトレーニングに適しています。
• 汎用性： この手法は、異なるモデル規模、アーキテクチャ（Qwen、Olmo）、および推論分野（数学と科学）全体で堅牢であることが示されました。

著者は結論として、vOPD は不安定化させる報酬トークンに対する原理的な正則化剤として機能し、OPD を不安定なヒューリスティックから、当初から魅力的であった効率性を損なうことなく信頼性の高いトレーニングパラダイムへと変容させると述べています。