技術的概要：非対称オンポリシー蒸留（AOPD）

1. 問題定義

オンポリシー蒸留（OPD）は、教師モデルから学生モデルが生成した軌道に対するトークンレベルのフィードバックを活用することで、学生大規模言語モデル（LLM）の学習を可能にする強力な技術として登場しました。暴露バイアスに悩まされるオフポリシー蒸留とは異なり、OPD は推論時のロールアウト中に学生を教師の分布に整合させます。しかし、著者らは、利得重み付けの方策勾配に依存する標準的な OPD が、非正の利得領域において 3 つの決定的な構造的弱点を有していることを特定しました。

1. 高バリアンス更新: 学生モデルの確率が教師モデルの確率よりも著しく低い領域（負の利得）において、利得定式化の対数的性質は、有界ではないスカラー値を生成します。これにより、重たい裾を持つ勾配分布と不安定な最適化が生じます。
2. 勾配の消失: 生成されたトークンの大部分は、しばしばゼロの利得の周りにクラスター化します。これらの「中立」領域では、標準的な利得重み付け更新が消失し、教師が提供する代替推論経路に関する豊富な条件付き分布情報が破棄されます。
3. 探索のボトルネック（ブラックホール）: 学生が誤り（負の利得）を犯した場合、標準的な更新はサンプリングされたトークンを抑制しますが、確率質量を学生モデルの現在の事前確率に厳密に従って再分配します。正しいトークンが学生モデルにおいて事前確率がほぼゼロである場合、修正更新は無視できるほど小さくなります。これにより、モデルは「探索のブラックホール」に閉じ込められ、外部のガイダンスなしに正しい代替案を発見することができなくなります。

2. 手法：非対称オンポリシー蒸留（AOPD）

これらの限界に対処するため、著者らは**非対称オンポリシー蒸留（AOPD）**を提案します。このフレームワークは、トークンレベルで利得信号に基づいて学習モードを動的に切り替えることで、強化学習（利用）と教師あり学習（模倣）を架橋します。

中核メカニズム

AOPD は、学習目的を 2 つの異なる領域に分解します。

• 正の利得領域（利用）: 学生トークンが正の利得（$A_t > 0$）を受け取った場合、標準的な方策勾配更新を維持します。これにより、学生の推論が教師の選好と整合するか、それを上回る成功した探索が強化されます。
• 非正の利得領域（模倣）: 利得がゼロまたは負（$A_t \le 0$）の場合、AOPD は非効率的な方策勾配を局所的な発散最小化に置き換えます。

介入目的

スカラー利得に依存するのではなく、AOPD は教師と学生の分布間の前方 KL 発散を最小化しますが、これは教師定義のサポートに制限されます。

• 教師サポート（$S_t$）: 教師分布 $P_T(\cdot | c_t)$ 下で最も高い確率を持つトップ-$K$ トークンとして定義されます。
• 損失関数: このサポート上において、損失は以下のように定式化されます：
  $$L_{FKL}^t = \frac{1}{K} \sum_{v \in S_t} P_T(v | c_t) (\log P_T(v | c_t) - \log P_S(v | c_t))$$
• 一般化された目的関数: 総 AOPD 損失は、正の領域に対する強化項（$L_{Pos}$）と、非正の領域に対する前方 KL ガイダンスを組み合わせます。介入をトリガーする閾値パラメータ $\tau$ を使用でき、デフォルト設定である $\tau=0$ は正確に非正領域をターゲットにします。

理論的根拠

• 有界更新: 有界サポート上で前方 KL に切り替えることで、更新の大きさは確率単体（$P_T - P_S$）によって制約され、有界ではない対数確率の差に起因する重たい裾のバリアンスが排除されます。
• 勾配の回復: ゼロ利得領域において、前方 KL 項は教師の完全な条件付き分布を利用し、スカラー利得がゼロであっても意味のある修正信号を提供します。
• ブラックホールからの脱出: サポート上で教師の分布に明示的に一致させることで、AOPD は教師に好まれているが学生によって過小評価されているトークンへの方向性信号を注入し、効果的に探索のボトルネックを打破します。

3. 主要な貢献

1. OPD の限界の分析: 本論文は、標準的な利得ベース更新が、高バリアンス、勾配の消失、および探索のボトルネックにより、負およびゼロ利得領域で失敗することを理論的および実証的に分析して示しています。
2. AOPD フレームワーク: 利得重み付けの方策勾配から局所的な教師分布マッチングへ適応的に移行する非対称学習フレームワークの提案。この設計は、RL ベースの利用の利点を維持しつつ、最適化のボトルネックにおいて強力かつ指向性のある教師信号を適用します。
3. 実証的検証: 複数のモデルスケールおよび初期化設定にわたる包括的な実験により、AOPD が標準的な OPD や他のベースライン（SeqKD、GKD、ExOPD）を一貫して上回ることを示しています。

4. 実験結果

著者らは、Qwen3 モデル（4B および 8B）を用い、さまざまな SFT ウォームアップステップで、競技レベルの数学的推論ベンチマーク（AIME 2024、AIME 2025、HMMT 2025）において AOPD を評価しました。

• 性能向上: AOPD は一貫して最高の全体的性能を達成しました。
  • 強力な初期化（3K SFT ウォームアップ）下では、AOPD は標準的な OPD よりも平均 Pass@1 を**4.09%**向上させました。
  • 弱い初期化（1K SFT ウォームアップ）下では、その向上は**8.34%**とさらに顕著であり、学生モデルがより弱い基礎的能力から開始する場合でも AOPD が堅牢であることを示しています。
• 学習ダイナミクス: AOPD は、OPD や ExOPD において観察された初期性能の低下なしに、安定した学習曲線を示しました。学習全体を通じてより高い方策エントロピーを維持し、より集中していない方策空間を示唆しています。
• 継続的学習: 逐次的なツール使用適応タスクにおいて、AOPD は優れた能力保持を示しました。他の手法が新しいツールを学習した後、数学的推論の性能低下を被ったのに対し、AOPD はツール使用の成功率を競争力のある水準に保ちながら、数学的保持能力を向上させました（Pass@4 で 67.43 から 68.04）。

5. 意義と主張

本論文は、標準的なオンポリシー蒸留の構造的非効率性を解決することにより、推論能力の蒸留において重要な前進を遂げたと主張しています。著者らは以下のように論じています。

• 非対称性が鍵: 正および非正の利得領域を異なって扱うことが不可欠です。正の領域は RL スタイルの探索の恩恵を受け、非正の領域は最適化の停滞を避けるために、教師あり模倣による直接的かつ高忠実度のガイダンスを必要とします。
• 初期化に対する堅牢性: この手法は、標準的な OPD が初期最適化の低下から回復できないことが多い、より弱い初期能力を持つモデルに対して特に効果的です。
• 能力の保持: 教師の介入を困難な位置に局所化し、全体の方策を再構成するのではなく、AOPD は継続的学習中に以前獲得した推論スキルをよりよく保持します。

著者らは、トークンレベルで利用（RL）と模倣（教師あり学習）を組み合わせることが、複雑な推論タスクにおいて、特に学習効率と学生モデルの最終的な能力の両方を向上させるための原理的な道筋を提供すると結論付けています。