技術要約：オンポリシー推論蒸留におけるエビデンスの発見

1. 問題提起

オンポリシー蒸留（OPD）は、教師モデルからトークンレベルの稠密な監督を提供することで、小規模モデルに推論を教える支配的なパラダイムとして台頭しています。しかし、現在のOPD手法は、推論チェーン内の異なる種類の知識を区別できないという決定的な限界に直面しています。すべてのトークンに対して学習を行うと学習信号が希薄化し、一方で、最近のエントロピーに基づく選択手法（例：Wang et al., 2026）は、「決定トークン（decision tokens）」のみを捉え、「エビデンス・トークン（evidence tokens）」を見落としてしまいます。

本論文は、既存の手法における構造的な盲点を特定しています：

• 決定トークン（Decision Tokens）： 学生モデルが真の不確実性に直面する箇所（例：分岐点、戦略の選択）。これらは高い学生エントロピーによって自然に特定されます。
• エビデンス・トークン（Evidence Tokens）： 決定を正当化する中間ステップ（例：導出、変数の代入）。これらは、学生が自信を持っているにもかかわらず間違っている箇所に現れることがよくあります。学生は自信を持っているため、エントロピーは低くなり、エントロピーベースのセレクターからは不可視となります。その結果、実質的な推論知識が転送されず、学生は「いつ」分岐すべきかは理解できても、「どのように」分岐を正しく実行するかを理解できないという状態に陥ります。

2. 手法：DEAR (Decision-Evidence Aware Reasoning Distillation)

著者らは、OPDトレーニングのために決定トークンとエビデンス・トークンの両方を回収するように設計された、2段階のトークン選択メカニズムであるDEARを提案しています。

ステージ1：決定の特定

この手法は、まず学生エントロピー（$H^S_t$）を用いて決定トークンを特定します。最も高いエントロピーを持つ上位$p\%$のトークンが決定セット（$D$）として選択されます。これらのトークンは、学生が選択を行わなければならない推論プロセスの「骨格」を示します。

ステージ2：エビデンスの発見

エントロピーが見落とす支持的エビデンス・トークンを見つけるために、DEARは決定とその周囲のコンテキストとの関係を利用します：

1. コンテキストの類似性： 手法は、最も深いTransformerレイヤーから学生の隠れ状態（$h^L_t$）を抽出します。すべての非決定トークンに対して、最も近い決定アンカー（集合$D$内のいずれかのトークン）へのコサイン類似度を計算します。高い類似性は、そのトークンが同じ推論コンテキストに参加していること（すなわち、決定を支持する導出の一部であること）を示します。
2. 知識ギャップによるブースト： コンテキスト的に類似しているすべてのトークンが修正を必要とするわけではありません。知識が不足しているトークンを優先するために、手法は教師と学生のダイバージェンス（$\delta_t = |\log \pi_\theta(y_t) - \log \pi_T(y_t)|$）を組み込みます。
3. スコアリング： 非決定トークンに対して、エビデンス・サリエンス・スコア（$s_j$）が計算されます：
   $$s_j = \hat{a}_j \times (1 + \hat{\delta}_j)$$
   ここで、$\hat{a}_j$は正規化されたコサイン類似度（ノイズをフィルタリングするためのゲートとして機能）、$\hat{\delta}_j$は正規化されたダイバージェンス（知識ギャップが大きいトークンをブースト）です。
4. 選択： 最も高いスコアを持つ上位$q\%$の非決定トークンがエビデンス・セット（$E$）を形成します。

最終的な学習目的

最終的な学習セット$S$は、決定とエビデンスの和集合です（$S = D \cup E$）。OPDロスは、選択されたこれらのトークンに対してのみ計算され、モデルが分岐戦略と実質的な中間ステップの両方を学習することを保証します。

3. 主な貢献

1. 推論チェーンの分解： 本論文は、推論チェーンが異なる2種類の知識タイプ（決定：高エントロピー、およびエビデンス：低エントロピー・高ダイバージェンス）で構成されていることを経験的に示しています。
2. 発見メカニズム： 隠れ状態のコサイン類似度（トークンを決定に結びつけるため）とダイバージェンス・ブースティング（知識ギャップを優先するため）を組み合わせることで、「自信を持って間違っている」エビデンス・トークンを発見する手法を導入しました。これにより、エントロピーベースの選択では不可能であった構造的な課題を克服しています。
3. 性能向上： DEARは、複数のベンチマークにおいて標準的なOPDおよびオフライン知識蒸留を一貫して上回っています。

4. 実験結果

著者らは、3つの学生・教師構成（モデルファミリーとサイズを変化させたもの）を用いて、6つの数学的推論ベンチマークと3つのコード生成ベンチマークでDEARを評価しました。

• 数学的推論：
  • DEARは、競技レベルの数学（例：AIME）において、標準的なOPDと比較して最大**2.5パーセントポイント（pp）**の向上を達成しました。
  • 向上は「クロスファミリー」蒸留（設定B：Qwen2.5-1.5B学生、Qwen3-4B教師）において最も顕著であり、これは知識ギャップが最大になる場合です。
  • AIME 2024（設定A）において、DEARは4.58%の精度を達成し、標準的なOPDの2.08%に対し、2.2倍の改善を実現しました。
• コード生成：
  • DEARは、MBPPで**+5.74pp**、HumanEvalで+2.13pp、APPSで+2.56ppのパス率を向上させました。
  • 特筆すべきは、標準的なOPDがMBPPにおいてベースモデルと比較して性能を低下させたのに対し、DEARはこれを解決したことです。これは、DEARがコード生成におけるノイズを効果的にフィルタリングしていることを示唆しています。
• シグナル分析：
  • エントロピーのみの選択は、全グラジエント質（gradient mass）の約39%しか捉えていませんでした。
  • DEARによるエビデンス・トークンの包含により、グラジエント質の捕捉率は**約76%**に増加し、実効的な学習信号をほぼ倍増させました。
  • 分析により、エビデンス・トークンが「低エントロピー・高ダイバージェンス」領域に集中していることが確認されました。これは、エントロピーベースの手法が系統的に無視してしまう領域です。

5. 意義と主張

本論文は、完全な推論蒸留には、単に「どこで」決定するかだけでなく、「その決定を正当化する知識」を転送する必要があると主張しています。

• エントロピーを超えて： 本研究は、高エントロピーのトークンが推論能力の唯一の担い手であるという従来の仮定に異議を唱えています。それは、「自信を持った誤り」の中に、転送されるべき重要な知識が含まれていることを示しています。
• 構造的洞察： エビデンス・トークンが隠れ状態空間において決定の周囲にクラスター化していることを特定することで、本論文は、従来の選択アルゴリズムでは不可視であった実質的な推論ステップを回収するメカニメントを提供しています。
• スケーラビリティ： 性能向上は問題の難易度とともにスケールします。長いエビデンス・チェーンを持つ困難な問題ほど、エビデンス発見メカニズムの恩恵を最も多く受けます。

著者らは、決定・エビデンス構造が主に数学とコードで検証されていること、および現在のトークン分類が因果的介入ではなく表面的なヒューリスティックに基づいていることを挙げ、控えめな姿勢を維持しています。彼らは、今後の課題として、学習の進行に伴う選択比率（$p, q$）の適応的なスケジューリングの探索を挙げています。