技術サマリー: DASH - 推論モデルのオンポリシー自己蒸留のためのダイバージェンス適応型スーパービジョン・ホライゾン

1. 問題提起

検証可能な報酬（RLVR: Reinforcement Learning with Verifiable Rewards）は、自動的に検証可能な信号（例：回答の正誤）を利用することで、大規模言語モデル（LLM）の推論能力を向上させてきました。しかし、標準的なRLVRは疎なシーケンスレベルの報酬に依存しているため、「時間的クレジット割り当て（temporal credit assignment）」という課題が生じます。これは、最終的な結果に対する個々のトークンレベルの決定の寄与度を区別することが困難であることを意味します。

これを緩和するために、**オンポリシー自己蒸馏（OPSD: On-Policy Self-Distillation）**が導入されました。OPSDでは、学生モデルがレスポンスを生成し、一方で、特権情報（参照解など）を条件付けられた同一のモデルが教師として機能し、高密度なトークンレベルの分布的スーパービジョンを提供します。

核心的な限界: OPSDは信号の疎性を緩和しますが、本論文は、標準的な（「バニラ」の）OPSDがロールアウトの時間的構造を十分に活用できていないことを指摘しています。バニラOPSDは、トークンの位置や、そのトークンに至るまでの不一致の履歴に関わらず、すべてのトークンに対して一様な係数（$1/T$）を用いて局所的な分布の乖離（ダイバージェンス）を集計します。

著者らは、自己回帰的な生成において、同じ大きさの局所的なダイバージェンスであっても、全く異なる時間的コンテキスト（例：長い正しい推論の履歴の後か、あるいは一連のエラーの後か）で発生し得ることを主張しています。局所的なスカラー値だけではこれらのコンテキストを区別できないため、一様な重みを割り当てることは、実現された不一致シーケンスに対してスーパービジョン信号を適応させることを妨げてしまいます。

2. 手法: ダイバージェンス適応型スーパービジョン・ホライゾン（DASH）

バニラOPSDが、ダイバージェンスの時間的プロファイルに適応できないという問題を解決するために、著者らはDASHを提案しています。この手法は、生成中の局所的なダイバージェンスがどのように進化するかに基づいて、トークンレベルのスーパービジョン重みを動的に調整するメカニズムを導入します。

主要構成要素

1. シーケンス相対的ダイバージェンス・ギャップ:
   生の局所ダイバージェンス値（$d_t$）を直接使用する代わりに、DASHは局所的な蒸留信号とシーケンスレベルの平均（$\bar{r}$）との間のギャップを計算します：
   $$g_t = r_t - \bar{r}$$
   ここで、$r_t$ はステップ $t$ におけるクリップされた局所KLダイバージェンスです。

2. 適応型伝播ゲート ($\lambda_t$):
   これらのギャップは、感度パラメータ $\kappa$ を持つシグモイド関数を用いて、適応型伝播ゲートへとマッピングされます：
   $$\lambda_t = \text{sg}[\sigma(-\kappa g_t)]$$

   • ロジック: 局所的なダイバージェンスがシーケンス平均よりも低い場合（$g_t < 0$）、ゲート $\lambda_t$ は大きくなり、将来の信号がより遠くまで遡って伝播することを許容します。ダイバージェンスが平均より高い場合（$g_t > 0$）、ゲートは小さくなり、伝播を制限します。これにより、シーケンスに適応する「スーパービジョン・ホライゾン（監督の地平線）」が形成されます。

3. 後方マルチステップ集計:
   DASHは、バニラOPSDの一様な集計を、パス依存型の集計信号（$A_t$）を構築する後方再帰に置き換えます：
   $$A_T = r_T$$
   $$A_t = r_t + \lambda_t A_{t+1} \quad (\text{for } t = T-1, \dots, 1)$$
   最終的な損失は、これらの集計された信号の平均となります：
   $$L_{\text{DASH}} = \frac{1}{T} \sum_{t=1}^T A_t$$

構造的洞察

著者らは、期待される目的関数の固定ホライゾン勾配分解を導出し、正確な勾配には、係数が将来のダイバージェンスに依存する軌跡項が含まれることを示しています。DASHは、将来のダイバージェンスを明示的に推定したりスコア関数勾配を使用したりすることはありませんが、実現された不一致シーケンスを用いて直接的な蒸留項の重みを条件付けることで、この順序依存の構造を模倣しています。

3. 主な貢献

本論文は、主に以下の3つの貢献を挙げています。

1. 時間的ギャップの特定: 著者らは、局所的なダイバージェンスに一様な重みを割り当てることが、ダイバージェンス値の異なる時間的配置に対して目的関数を不変にしてしまい、時間的構造への適応を妨げるという、バニラOPSDの限界を特徴付けています。
2. DASHの提案: シーケンス相対的なダイバージェンス・ギャップを用いて適応型伝播ゲートを構築する新しい手法を提案しています。これにより、マルチステップ集計を通じて、高密度な蒸留スーパービジョンが局所的な不一致の時間的進化を活用することを可能にします。
3. 実証的検証: 3つの数学的推論ベンチマーク（AIME 2024, AIME 2025, HMMT 2025）および3つのモデルスケール（Qwen3-1.7B, 4B, 8B）にわたる包括的な実験により、DASHが一致するバニラOPSDの再実行および他の最新の蒸留ベースラインを一貫して上回ることを示しています。

4. 実験結果

著者らは、数学的推論タスクに対してQwen3 Instructモデル（1.7B, 4B, 8B）を用いた実験を行いました。

• 性能向上: DASHは、9つのベンチマーク–モデル設定すべてにおいて、ベースライン（Base, SFT, GRPO, OPSD, EOPD, AVSD, PW-OPSD）と比較して最高のスコアを達成しました。
  • Qwen3-1.7Bにおいて、DASHは平均精度を 41.87% (OPSD) から 45.07% (+3.20ポイント) へ向上させました。
  • Qwen3-4Bにおいて、63.60% から 65.00% (+1.40ポイント) へ向上させました。
  • Qwen3-8Bにおいて、64.80% から 66.40% (+1.60ポイント) へ向上させました。
• アブレーション研究:
  • 適応型 vs. 固定型: 適応型ゲートを固定係数（$\lambda$）に置き換えると、バニラOPSDよりは性能が向上しましたが、依然としてDASHには及びませんでした。これは、特定の不一致シーケンスに適応することの重要性を裏付けています。
  • ゲートの方向: ゲート関数の符号を反転させた場合（逆ギャップ）、性能が悪化しました。これは、小さな不一致の後は伝播を開放し、大きな不一致の後は制限するという設計仮説を検証しています。
  • 係数割り当て vs. スケール: 相対的な係数プロファイルを平均スケールから分離した結果、主な利得は単なる全体的なスーパービジョン・スケールの増加ではなく、不一致に基づいた条件付き割り当てから来ていることが示されました。
• 設計上の選択:
  • 感度 ($\kappa$): 中程度の感度（$\kappa=5$）が、不十分な適応と過度に鋭い反応のバランスが取れた最適な結果をもたらしました。
  • ダイバージェンス指標: 前方KLダイバージェンスが、対称JSDおよび逆KLよりも優れた性能を示しました。
  • 語彙サポート: フル語彙サポートが最適であり、トップ1トークンへの圧縮は大幅な性能低下を招きました。

5. 意義と主張

本論文は、追加の計算オーバーヘッドを必要とせずに、時間的構造を活用することで、オンポリシー自己蒸留における大幅な改善を提供すると主張しています。

• 効率性: DASHは、標準的なOPSDですでに計算されている教師および学生の分布を再利用します。追加の教師または学生のフォワードパスを必要としないため、得られる利得は計算効率が高いものです。
• 汎用性: 性能の向上は異なるモデルスケールおよびベンチマーク間で一貫しており、この手法が特定のモデル容量やデータセットに限定されないことを示唆しています。
• 洞察: 本研究は、一様な重み付けを超えて、シーケンス認識型の適応的ホライゾンを用いることで、長期間の推論における高密度なスーパービジョンをどのように割り当てるべきかについて、新たな知見を提供します。

著者らは、トークンレベルの重みを実現されたダイバージェンス・シーケンスに適応させることにより、DASHが標準的なRLVRおよびOPSDのアプローチに内在する時間的クレジット割り当ての課題を効果的に解決していると結論付けています。