Prefix Teach, Suffix Fade: Local Teachability Collapse in Strong-to-Weak On-Policy Distillation

技術的サマリー：プレフィスク・ティーチ、サフィックス・フェード：ストロング・トゥ・ウィークなオンポリシー蒸留におけるローカル・ティーチャビリティの崩壊

1. 問題定義

本論文は、オンポリシー蒸留（OPD）における特定の失敗モード、特に著しく大きな教師モデルが小さな学生モデルを監督するストロング・トゥ・ウィークな設定における問題を取り扱っている。先行研究は、教師フィードバックが利用可能であれば、生成された軌跡全体にわたる密な監督が一様に有益であると仮定しているが、著者らはこの仮定が過度に粗であると主張する。

特定された核心的な問題はローカル・ティーチャビリティの崩壊である。ストロング・トゥ・ウィークな OPD において、応答全体を通じて非ゼロの教師 - 学生アドバンテージが存在する場合でも、教師フィードバックのローカルコントラストは後続のセグメントでしばしば減衰する。具体的には：

• 教師はグローバルな選好シグナル（非ゼロの平均アドバンテージ）の提供を継続する可能性がある。
• しかし、このシグナルの識別力は減衰する。教師は、ローカル領域における学生のトップ候補アクションを鋭く区別できなくなる。
• これらの低コントラスト領域に密な監督を適用することは、学生にとって意味のある優先順位付けを提供するのではなく、「低情報ノイズ」を最適化する結果となり、パフォーマンスを低下させたり、ドメイン外能力の維持に失敗したりする可能性がある。

2. 手法

著者らは、ローカル・ティーチャビリティの崩壊を緩和するために軌跡固有のリリースルールを提案する。均一な監督を適用したり、固定されたグローバルなプレフィックス長を使用したりするのではなく、この手法は教師シグナルのローカル有用性に基づいて、密な監督をどこで打ち切るかを動的に決定する。

手法の主要コンポーネント：

1. 状態ローカル教師マージン：

   • 不安定になり得るサンプリングされたトークンアドバンテージ（$A_t$）の分散に依存するのではなく、この手法は学生の到達可能なアクション間の教師の識別能力を評価する。
   • 各プレフィックスにおいて、学生のトップ-$K$候補集合（$C_t$）が構築される。
   • 教師の最接近競合マージン（$M_t$）は、$C_t$内の教師のトップ 1 とトップ 2 の候補間の対数確率差として計算される：
     $$M_t = \log p_T(a^{(1)}_t) - \log p_T(a^{(2)}_t)$$
   • $M_t$の持続的な低下は、教師のガイダンスが局所的に平坦化（実行可能性の低下）したことを示す。

2. 文レベル集約：

   • トークンレベルのアーティファクトを緩和するため、マージンは NLTK でトークン化された文セグメント（$B_i$）上で集約される。
   • セグメントレベルシグナル $S_i$ は以下のように定義される：
     $$S_i = \log \left(1 + \frac{1}{|B_i|} \sum_{t \in B_i} M_t \right)$$

3. BIC スタイルのチェンジポイント検出：

   • セグメントシグナルの系列 $\{S_i\}$ が分析され、下方へのシフトが検出される。
   • この手法は、「変化なし」モデル（$H_0$）と、シグナルの平均が低下する（$\mu_{pre} > \mu_{post}$）ようなチェンジポイント $\tau$ が存在する「ワンドロップ」モデル（$H_1$）を比較する。
   • プロファイル化された RSS-BIC基準が、最適なチェンジポイント $\tau^*$ を選択するために用いられ、モデルの複雑さを罰則化することで、ランダムな変動による偽陽性を回避する。
   • 有意な下方変化が検出された場合、検出されたセグメント境界以降のすべてのトークンに対して密な監督がマスクされる。

4. ロス質量の再スケーリング：

   • 打ち切りにもかかわらず勾配の大きさを一貫したままにするため、保持されたプレフィックスアドバンテージは再スケーリングされる：
     $$A'_t = A_t \cdot q_t \cdot \frac{\sum l_t}{\sum l_t q_t}$$
   • ここで、$q_t$ はプレフィックスマスク（カット前は 1、後は 0）であり、$l_t$ は元のロスマスクである。

3. 主要な貢献

本論文は 3 つの主要な貢献を行う：

1. ローカル・ティーチャビリティの崩壊の特定： 著者らは、ストロング・トゥ・ウィークな OPD において、教師 - 学生アドバンテージが非ゼロのままでも、ローカル識別力（コントラスト）が減衰することを診断する。これは、軌跡全体に対する密な監督が常に最適ではないことを明らかにする。
2. 軌跡固有のリリースルール： 教師フィードバックが局所的に実行可能かどうかを決定するメカニズムを導入する。このルールは、学生のトップ-$K$候補に対する教師のトップ 1/トップ 2 マージンを使用し、それを文セグメント上で集約し、統計的な下方チェンジポイント後に監督を終了する。
3. 実証的検証： この手法は、さまざまな Qwen3 ストロング・トゥ・ウィーク蒸留設定（1.7B、4B、8B の学生）で検証された。リリースルールは、ドメイン内ベンチマークにおいて標準的な全軌跡 OPD および固定プレフィックスベースラインを一貫して上回り、ドメイン外能力の維持もより良好に行う。

4. 実験結果

実験は、Qwen3 モデルファミリー（教師：Qwen3-30B-A3B-Instruct-2507；学生：1.7B、4B、8B）を用いて行われ、5 つのドメイン内数学ベンチマーク（AIME25、HMMT25、MATH500、Minerva）と 1 つのドメイン外ベンチマーク（GPQA）で評価された。

• パフォーマンス向上： 1.7B 学生において、提案手法は 5 つの数学ベンチマークで平均 40.1% のスコアを達成し、標準的な全 OPD の 36.8% および最良の固定プレフィックスベースライン（2048 トークン）の 39.3% を上回った。
• ドメイン外能力の維持： この手法は GPQA スコアを 42.4% に向上させ、全 OPD の 40.7% と比較して、汎用能力のより良い維持を示唆した。
• スケーリング： 恩恵はより大きな学生（4B および 8B）においても持続し、リリースルールは全 OPD や他のベースライン（例：8B で 55.2% AVG 対 全 OPD の 53.1%）を一貫して上回った。
• アブレーション： 「ランダムリリース」制御（サンプル間でリリースポイントを順列置換）は低いパフォーマンス（38.0% AVG）をもたらした。これは、リリースポイントが特定の軌跡のローカル・ティーチャビリティシグナルと結合されなければならないことを確認する。
• サポートサイズ感度： この手法は学生のトップ-$K$サポートサイズ（$K \in \{2, 4, 16, 32\}$）の変動に対して頑健であり、$K=4$ が最良の結果をもたらした。

5. 意義と主張

本論文は、効果的なストロング・トゥ・ウィークなオンポリシー蒸留には、教師ガイダンスの利用可能性だけでなく、そのローカル有用性も評価する必要があると主張する。

• 核心的洞察： 密な監督は、教師フィードバックが識別力を保っている軌跡領域に集中すべきである。教師のローカルコントラストが崩壊（平坦化）した後、密な監督を継続しても学習シグナルはほとんど提供されず、ノイズを導入する可能性がある。
• 実用的含意： 提案されたリリースルールは、基礎となる OPD 目的を変更することなく、監督を「フェード」させる（プレフィスク・ティーチ、サフィックス・フェード）原理的な方法を提供する。これにより、生成されたフィードバックが学生にとって「教えられる状態」であることを保証する。
• 謙虚さ： 著者らは、現在の実装が完全なロールアウト生成後に診断パスを実行しており、FastOPD のように生成プロセスを本質的に短縮するものではないと指摘している。つまり、効率性の向上は、ティーチャビリティシグナルの検証に次ぐ二次的な考慮事項である。彼らは明示的に、このルールがリリース後のすべてのトークンが有害であるという理論的保証ではなく、中心的な主張を検証するための実用的なヒューリスティックであると述べている。