技術的サマリー：LLM 推論における自己蒸留のための適応型教師露出 (ATESD)

1. 問題定義：教師側の露出ミスマッチ

オンポリシー自己蒸留 (OPSD) は、学生の自身のロールアウトと監督を整合させることで大規模言語モデル (LLM) の推論能力を向上させる主要な手法として浮上してきましたが、本論文はこれまで未検討であった重要なボトルネック、すなわち教師側の露出ミスマッチを特定しました。

標準的な OPSD において、「教師」（モデルの凍結コピー）は、トークンレベルの監督を提供する際に完全な参照解（特権的な思考連鎖）を条件付けます。著者らは、より特権的な情報があればあるほど常に優れた監督となるというこのデフォルト仮定に欠陥があると主張します。

• ミスマッチ: 完全な参照推論が学生の現在の能力を大幅に上回る場合（難問で一般的）、結果として生じるトークンターゲットは吸収するには強すぎます。教師の予測分布は過度に鋭くなり、学生がまだ生成できないトークンに集中するため、情報量は豊富だが学習不可能な監督信号が生成されます。
• 実証的証拠: AIME 2024 における固定露出レベル ($\alpha \in [0, 1]$) の制御されたスイープにより、2 つの主要なパターンが明らかになりました：
  1. 完全露出の非最適性: 中間的な露出レベル（例：$\alpha=0.5$）は、しばしば完全露出 ($\alpha=1.0$) よりも優れた性能を示します。
  2. 単調なミスマッチの増大: 教師 - 学生分布のミスマッチ（オンポリシー KL 発散とトップ 1 不一致で測定）は、教師がより多くの特権的推論を目にするにつれて単調に増大します。
  3. 領域依存性: 最適な露出レベルは問題の難易度によって異なります（易しい問題は完全露出を好み、難しい問題は低い露出を好む）ため、単一の固定デフォルトでは不十分であることを示唆しています。

2. 手法：ATESD

これに対処するため、著者らは自己蒸留のための適応型教師露出 (ATESD) を提案します。このフレームワークは、教師露出を固定ハイパーパラメータではなく、学習状態に条件付けられた学習可能な制御変数として扱います。

コアコンポーネント

1. 露出変調型教師:

   • 完全な参照 $y^*$ を条件付ける代わりに、教師は切り詰められたプレフィックス $truncate(y^*, \alpha_t)$ を条件付けます。ここで $\alpha_t \in [0, 1]$ は露出比率です。
   • 切り詰めは推論プレフィックスにのみ適用され、最終的なボックス付き回答は常に保持され、タスク制約を維持します。
   • 学生のロールアウトプロトコルは変更されず（問題のみのプロンプトからのオンポリシーサンプリング）、比較が教師のコンテキストの影響のみを分離していることを保証します。

2. ベータ露出コントローラー ($\pi_\phi$):

   • 軽量なマルチレイヤーパーセプトロン (MLP) が、コンパクトな学習状態統計（例：直近の損失、ミスマッチの指数移動平均、学生の自己信頼度）をベータ分布の集中度パラメータ $(a_t, b_t)$ にマッピングします。
   • コントローラーは、ホールドウィンドウ $H$ 個の学生更新に対してグローバル露出比率 $\alpha_t$ をサンプリングします。これにより、単一の決定が短いエピソードを支配し、安定したクレジット割り当てを可能にします。
   • ベータ分布は単峰性 ($a, b > 1$) に制約され、ポリシーが異なる信頼度で好ましい露出レベルを学習することを可能にします。

3. 遅延クレジットを伴うクローズドループ学習:

   • 課題: 露出の決定は、直近の損失だけでなく、学生の将来の学習進度にも影響を与えます。高い露出の決定は、一時的な損失のスパイクを引き起こす場合でも、長期的には有益である可能性があります。
   • 解決策: コントローラーは、割引学習進度報酬を用いたREINFORCEによって訓練されます。
   • 報酬信号 ($R$): 2 つの部分で構成されます：
     • $G_{lp}$: 先見ウィンドウ（$L$ ステップ）にわたる正の損失改善の割引和。
     • $G_{gt}$: 検証済みの参照トークンの対数確率に基づく教師に基づくクレジットスコア。これにより、選択された露出が依然としてグランドトゥルースと整合していることを保証します。
   • このアプローチは、オンポリシー蒸留に固有の遅延クレジット割り当て問題に対処し、1 ステップ損失代理の近視眼的バイアスを回避します。

3. 主要な貢献

1. 教師側露出ミスマッチの特定: 完全な特権的推論が普遍的に最適ではなく、露出に伴ってミスマッチが増大するという観察を形式化し、固定デフォルトから適応制御への移行を動機付けました。
2. ATESD フレームワーク: ベータポリシーコントローラーを通じて露出を連続的な学習可能変数としてモデル化する新規手法。2 時間スケールスケジュール（高速な学生更新、低速なコントローラー更新）と遅延報酬信号を用いて訓練されます。
3. 実証的検証: モデルスケールおよび推論ベンチマーク全体で、適応型露出が固定露出および標準的なベースラインを一貫して上回ることを示す包括的な実験。

4. 実験結果

この手法は、Qwen3モデル（1.7B、4B、8B）を用いて、AIME 2024、AIME 2025、HMMT 2025で評価されました。

• 性能向上: ATESD は、OPSD ベースラインおよび他の RL/蒸留ベースライン（SFT、GRPO）を一貫して上回りました。
  • Qwen3-1.7B: OPSD に対して平均@12 で +0.95 ポイント。
  • Qwen3-4B: OPSD に対して平均@12 で +2.05 ポイント（平均@12 で 65.65 に到達）。
  • Qwen3-8B: OPSD に対して平均@12 で +2.33 ポイント。
• アブレーション調査:
  • 遅延クレジット: 遅延先見報酬を除去し（即時 1 ステップフィードバックを使用）、性能が大幅に低下しました（52.22 vs. 59.17）。これは長期的クレジット割り当ての必要性を確認しました。
  • 学習済み vs 固定: 学習済みポリシー（59.17）は、最良の固定露出設定（57.44）および制御されていない確率的露出（54.94）を上回り、コントローラーが単に静的な最適定数を選択するのではなく、動的な戦略を学習することを証明しました。
  • ミスマッチの低減: 固定された正の軌跡において、適応型露出はトークンレベルの教師 - 学生 KL 発散を（0.0136 から 0.0061 に）低減し、教師が学生を過度に制約することを防いでいることを示しました。

5. 意義と主張

本論文は、適応型教師露出が推論用自己蒸留のための効果的な新たな軸であると主張します。教師の特権的情報へのアクセスを固定仮定ではなく制御可能な変数として扱うことで、ATESD はロールアウトミスマッチの監督側のアナログを解決します。

著者らは、彼らの貢献が単なる新しいカリキュラムや異なる学生訓練分布ではなく、教師が参照解を条件付ける方法における根本的な転換であると強調します。この手法は以下のことを確立します：

• 完全露出は非最適なデフォルトである。
• 露出は学生の現在の学習領域に一致しなければならない。
• この露出を学習するには、強化学習で使用されるような遅延クレジット割り当てメカニズムが必要である。

論文は、ATESD が特にモデル容量が増加するにつれて、ポストトレーニング推論モデルに対する堅牢でスケーラブルな改善を提供すると結論付け、今後の研究としてサンプルごとの難易度条件付けの検討や、数学コンテストを超えたより広範な推論領域への応用を探求できる可能性に言及しています。