技術的概要：すべての不一致が学習可能とは限らない：オンポリシー蒸留におけるトークンの教授可能性

問題定義

オンポリシー蒸留（OPD）は、教師ポリシーからのトークンレベルの監督を用いて、学生言語モデルを自身のロールアウトで訓練する。最近の選択的 OPD 手法は、エントロピーが高いトークンや教師 - 学生間の不一致（KL 発散）が高いトークンといった「顕著な」トークンを優先することで効率化を図ろうとしているが、これらのアプローチは「高い不一致＝高い学習価値」という仮定に依存している。

本論文は、この仮定に決定的な欠陥があることを指摘している：生（raw）の KL 不一致は、学習の粗い代理指標に過ぎない。それは、質的に異なる 2 つのシナリオを混同している。

1. 学習可能な不一致（Learnable Disagreement）： 教師が、学生が既に現在のトップ-$K$予測サポート内にあるトークンに対して、修正的な確率質量を割り当てる場合。
2. 非互換的な不一致（Incompatible Disagreement）： 教師が、学生が現在のサポートから遠く離れたトークンに質量を割り当てる場合。これは大きな KL ギャップを生むが、学生はこの修正を容易に吸収できず、局所的な学習効果は弱いか、あるいは負となる。

核心的な問題は、どのトークンレベルの教師信号が実際に学習可能（すなわち、局所的な改善を引き起こす能力がある）であり、単に顕著か、あるいは非互換的なのかを区別することである。

手法

1. 固定コンテキスト診断

ロールアウトノイズや下流のコンテキストシフトから特定のトークンの学習価値を分離するために、著者は固定コンテキスト診断を導入する。

• プロトコル： 学生が生成したプレフィックスを収集し、コンテキストバンクとして凍結する。初期（更新前）と訓練済みの学生モデルの両方を、これらの固定コンテキストに対して同一の教師分布で再スコアリングする。
• 指標： 固定コンテキストトークンゲイン（$G^{\text{fix}}_{i,t}$）は、同一のプレフィックス上で測定された、訓練後の教師と学生間の KL 発散の減少として定義される。
• 目的： これにより、サンプリング分散を制御しつつ、更新前の信号（生 KL など）と実際の局所的改善との相関を明らかにできる。

2. トークン教授可能性の定式化

この診断を用いて、著者は不一致を局所サポート互換性に基づいて 2 つの成分に分解する。

• 局所サポート（$S^S_t(K)$）： 学生のトップ-$K$トークンの集合。
• 互換性質量（$C_t$）： 教師が学生の局所サポート $S^S_t(K)$ に割り当てる総確率質量。
• 分解：
  • 学習可能な不一致（$D^L_t$）： 教師の修正が学生のサポートと整合している高い不一致（高い $C_t$）。
  • 非互換的な不一致（$D^I_t$）： 教師の修正が学生のサポートから外れている高い不一致（低い $C_t$）。

教授可能性スコアは、正規化された不一致と互換性の積として定義される：
$$s^{\text{teach}}_t = \tilde{D}_t \cdot \tilde{C}_t$$
ここで、$\tilde{D}_t$ は正規化された不一致、$\tilde{C}_t$ は正規化された互換性質量である。

3. 教授可能性感知 OPD（TA-OPD）

$D^L_t$ が生 KL よりも固定コンテキストゲインをよりよく予測するという発見に基づき、著者はTA-OPDを提案する。これは軽量なトークン位置選択手法である。

• 選択： 与えられた予算（例：トークンの 5% または 10%）に対して、TA-OPD は最も高い教授可能性スコア（$s^{\text{teach}}_t$）を持つ上位-$N$の位置を選択する。
• 実装： 標準的な OPD 中に利用可能な教師と学生のトークン確率（具体的にはトップ-$K$の対数確率）のみを必要とする。報酬モデル、検証器、または追加のラベルは不要である。
• 対比： 従来の手法がエントロピーや生発散に基づいて選択する（TIP）のに対し、TA-OPD は明示的に「サポート整合型」の修正をフィルタリングする。

主要な貢献

1. 固定コンテキスト診断： ロールアウトノイズを交絡要因とすることなく、更新前のトークン信号と局所的な OPD 改善を結びつける、同一コンテキストでの KL 減少を測定する手法。
2. トークン教授可能性の定式化： 生 KL 不一致が学習可能な信号と非互換的な信号を混同していることを実証。本論文は、サポート整合型不一致が有用な学習の信頼できる予測因子であることを証明する。
3. TA-OPD アルゴリズム： 外部ツールなしで効率を向上させながら、高教授可能性の位置にのみ OPD 損失を適用する、実用的で軽量な選択手法。
4. 実証的検証： 顕著性のために選択するよりも教授可能性のために選択する方が、トークン予算を大幅に削減しても下流の性能が向上することを示す、広範な実験。

実験結果

著者は、Qwen3（4B、8B、14B）および Qwen2.5（3B）モデルを含む 4 つの教師 - 学生設定において TA-OPD を評価し、AIME、GPQA-Diamond、HumanEval、MATH-500 などのベンチマークを使用した。

• 完全 OPD に対する性能： 多くの設定において、TA-OPD はトークンの 5%のみを使用しながら、完全トークン OPD と同等かそれ以上の性能を達成した。例えば、Qwen3-4B $\to$ 1.7B の設定では、TA-OPD は 10% の予算を使用しながらも、完全 OPD の42.37に対して平均スコア44.89を達成し（特定の指標では完全 OPD を上回る）、高い性能を示した。
• ベースラインとの比較： TA-OPD は、エントロピーベース、発散ベース、および TIP（Token Importance in OPD）のベースラインを一貫して上回った。
  • クロスバックボーン設定（DeepSeek-R1-Distill-Qwen-14B $\to$ Qwen2.5-3B）において、TA-OPD は平均スコアを30.62に向上させ、ベースモデル（29.98）および完全 OPD（28.76）を大幅に上回った。
• 予算感応性： 結果は、OPD の性能が純粋な予算制限ではなく、トークンの品質制限であることを示している。10% を超えてトークン予算を増加させても、さらなる向上は得られず、場合によっては性能が低下することもあった。これは、すべての追加監督が有益であるわけではないことを裏付けている。
• ロバスト性： 正の「高サポートゲインギャップ」（高教授可能性トークンと低教授可能性トークンの間の性能差）は、異なるコンテキスト（数学、GSM8K-COT）、教師の規模（8B、14B）、サポートサイズ（$K=8, 16, 32$） across 一貫して維持された。

意義と主張

本論文は、選択的オンポリシー蒸留を「顕著な」または「不確実な」トークンを選択する問題としてではなく、局所的に学習可能な教師信号を特定する問題として再定義する。

• 核心的な主張： OPD からの利益は、教師の修正と学生の現在の予測サポートとの互換性に依存する。高い KL 発散だけでは不十分であり、教師は学生が既に妥当だと考えているトークンに質量を割り当てる必要がある。
• 実用的影響： TA-OPD は、（非互換的なトークンをフィルタリングすることによって）蒸留の計算コストを劇的に削減しつつ、モデル性能を維持または向上させる方法を提供する。これは報酬モデルや検証器のオーバーヘッドなしで達成されるため、標準的なトレーニングパイプラインに適用可能である。
• 限界： 著者は、分析が数学中心の推論と Qwen ファミリーモデルに焦点を当てていると指摘している。診断はモデル非依存であるが、一般化性を確認するためには、対話、コード、および非 Qwen バックボーンにおけるより広範な検証が必要である。さらに、「トークン予算」とは監督密度を指し、必ずしもウォールクロック時間の高速化を意味するものではない。なぜなら、この手法はトランスフォーマーの計算を剪定するのではなく、位置を選択するからである。

結論として、この研究は、効果的な蒸留には互換性を意識した監督戦略が必要であることを示唆しており、学生は修正的かつ局所的に到達可能な教師信号から最もよく学習することを示している。