技術的サマリー：LLM 推論のための方向適応型自己蒸留

1. 問題定義

本論文は、大規模言語モデル（LLM）のポストトレーニングパラダイムとして台頭しているオンポリシー自己蒸留（OPSD）における重大な失敗モードに対処する。OPSD において、モデルは学生と教師の両方の役割を担う。「学生」はロールアウトを生成し、同じモデルの「特権的」バージョン（参照トレース、ヒント、またはフィードバックに条件付けられたもの）が教師として機能し、密なトークンレベルの監督を提供する。

OPSD は、検証可能な報酬からの強化学習（RLVR）の結果監督と微細なガイダンスを組み合わせることを目指しているが、最近の研究では、それが複雑な推論を劣化させることが示されている。著者らは、この劣化を方向的不整合と診断する：

• 均一な引力： 標準的な OPSD は、学生を特権的教師の分布へと引き寄せる均一な「引力」を適用する。
• 結果： これにより、探索、仮説の修正、自己修正に不可欠な予測的不確実性（「待て」、「うーん」、あるいは「あるいは」などの認識論的マーカー）が抑制される。
• パラドックス： 不確実性を回復するために方向を単純に逆転させる（学生を教師から押し遠ざける）試みは、低エントロピーの足場トークン（ルーチン実行ステップ）を損なうため失敗し、実行エラーを引き起こす。

核心的な問題は、単一の監督方向（引力または斥力のいずれか）では、高エントロピーの意思決定点における探索を維持しつつ、低エントロピーのルーチンステップにおける実行を安定化させることができないことである。

2. 手法：方向適応型自己蒸留（DASD）

著者らは、均一な模倣からエントロピー経路型方向監督へと特権的自己蒸留を再定義する**方向適応型自己蒸留（DASD）**を提案する。この手法は、各トークンにおける学生の予測エントロピー（$H_t$）に基づいて、教師の圧力の方向を動的に切り替える。

中核メカニズム

DASD は、自己蒸留目的関数に符号付き係数 $\omega_t \in [-1, 1]$ を導入する。この係数は、学生が特権的教師へと引き寄せられる（引力）か、押し遠ざけられる（斥力）かを決定する。

1. エントロピー経路制御：

   • 高エントロピートークン（分岐点）： 学生が不確実である（$H_t$ が高い）意思決定点において、特権的教師のガイダンスは、代替の推論経路を早期に崩壊させる可能性のある制約として扱われる。DASD は斥力（負の $\omega_t$）を適用して学生を教師から押し遠ざけ、探索と仮説の修正能力を維持する。
   • 低エントロピートークン（足場）： 学生が確信を持っている（$H_t$ が低い）ルーチン実行ステップにおいて、特権的教師は安定した正しいガイダンスを提供する。DASD は引力（正の $\omega_t$）を適用して学生を教師へと引き寄せ、ステップレベルの実行を安定化させ、局所的なエラーを防ぐ。

2. 数学的定式化：
   目的関数は、グローバルな検証者アンカーと、局所的な符号付き蒸留項を組み合わせる。トークン $t$ に対する符号付き損失は以下の通りである：
   $$\tilde{D}_t^{(i)}(\theta) = \omega_t^{(i)} \cdot \text{KL}\left( \pi_\theta(\cdot | x, o_{<t}^{(i)}) \parallel \text{sg}[\pi_\theta(\cdot | x, r, o_{<t}^{(i)})] \right)$$
   ここで：

   • $\omega_t^{(i)}$ は、現在のトークンのエントロピーと軌道のエントロピー分位点との偏差に基づいてtanh ルーターを用いて計算される。
   • ギャップゲート（シグモイド関数）は、学生と特権的教師間の対数尤度ギャップに基づいて大きさを調節し、信頼できる不一致のみが更新に影響を与えるようにする。
   • グローバルな検証者（例えば、プログラム的な報酬）は軌道レベルの正しさを維持するアンカーとして機能し、自己教師は局所的な方向シグナルを提供する。

3. トレーニングダイナミクス：
   この手法は、バックボーンとしてグループ相対方策最適化（GRPO）を使用する。アドバンテージ項には方向補正が含まれるように調整される：$\hat{A}_t = A_G + \beta \omega_t \bar{\delta}_t$。これにより、モデルは推論時にそのトレースを必要とすることなく、トレーニング中に特権的トレースから学習することができる。

3. 主要な貢献

本論文は、以下の 3 つの主要な貢献を行う：

1. トークンレベルの方向不整合の診断： 著者らは、OPSD の劣化が、不均質なトークン集団に対して均一の監督方向を適用することに起因することを特定する。プローブを通じて、同調が高エントロピーの分岐点を害し（探索を抑制）、乖離が低エントロピーの足場を害すること（実行を損なう）を実証する。
2. DASD の提案： 特権的自己教師シグナルを動的に経路制御するエントロピー経路型目的関数を導入する。すなわち、探索を維持するために高エントロピーの分岐点では斥力とし、安定性を確保するために低エントロピーの足場では引力とする。
3. 実証的検証： 広範な実験を通じて、DASD が推論プロセスの「健全性」を維持することにより推論性能を向上させることを示す。すなわち、厳密なステップ実行と柔軟な自己修正を同時に達成する。

4. 実験結果

著者らは、3 つのモデル規模（Qwen3-1.7B、4B、8B） across 6 つの数学的推論ベンチマーク（MATH500、Minerva、HMMT25、OlympiadBench、AIME24、AIME25）で DASD を評価した。

• 性能： DASD は、すべての規模とベンチマークにおいて最高のマクロ Avg@16を達成した。その改善は、複数の妥当な解決経路を維持する必要がある、より困難なコンペティションスタイルのベンチマーク（例：HMMT25、AIME25）で最も顕著であった。
• ベースラインとの比較： DASD は、GRPO、HEPO、および各種の自己蒸留手法（OPSD、SDPO、RLSD、SRPO）を含む強力なベースラインを上回った。特に、標準的な OPSD はベースモデルと同等かそれ以下の性能を示すことが多かったのに対し、DASD は RLVR ベースラインを一貫して改善した。
• Pass@k スケーリング： DASD は優れたPass@kスケーリングを示し、この手法が単一の決定論的予測を鋭くするだけでなく、到達可能な解決経路のセット（多様性）を拡大することを示している。
• 推論の健全性： 診断指標により、DASD がステップ精度（実行の質）と探索密度（認識論的マーカーの頻度と修正率）の両方を維持することが確認された。一方、OPSD は探索を崩壊させ、GRPO はしばしば十分な自己修正を欠いていた。
• 汎化性： この手法は、クロスドメイン（コード、科学的推論、ツール使用）およびクロスファミリー（Olmo、Llama）の評価で一貫した改善を示し、このメカニズムが Qwen3 アーキテクチャや数学ドメインに限定されないことを示唆している。

5. 意義と主張

本論文は、自己蒸留された推論における生産的なレバーは、その強度や大きさではなく、監督の方向であると主張する。

• メカニズムの洞察： この研究は、エントロピーが単に更新の重み付けを調整するための大きさのノブ（以前のエントロピー誘導法におけるように）ではなく、特権的教師の圧力に対する符号選択器であることを確立する。
• パラダイムシフト： 自己蒸留は純粋に引力でなければならないという仮定に挑戦する。重要な意思決定点においてモデルに特権的教師から「押し遠ざかる」ことを可能にすることで、DASD は、特権的情報が欠如した際に失敗する、解決策に条件付けられたスタイルを学習してしまうというトレーニングと推論の不整合を解決する。
• 実用的影響： DASD は、外部の教師を必要とせず、複雑な問題を解決するために必要な探索行動を犠牲にすることなく、トレーニング中に特権的情報（検証済みトレースなど）を活用して推論の堅牢性を向上させる方法を提供する。

著者らは、この手法が特権的自己蒸留パラダイムの性質上、トレーニング中に検証済みトレースを必要とする要件を継承しつつも、推論時に特権的コンテキストの必要性を成功裡に分離し、推論能力を大幅に強化することを結論付けている。