🤖 machine learning

On the Position Bias of On-Policy Distillation

本論文は、分布のドリフトによって後続のトークンが提供する教師信号が劣化するという、オンポリシー蒸留における位置バイアスを特定し、これらの後続トークンの重みを動的に減少させるImportance-Weighted On-Policy Distillation（IW-OPD）を提案しており、その結果、様々な設定においてより速い収束と優れた性能を実現している。

原著者： Yan Xie, Sijie Zhu, Tiansheng Wen, Bo Chen, Yifei Wang

公開日 2026-06-23

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Yan Xie, Sijie Zhu, Tiansheng Wen, Bo Chen, Yifei Wang

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは、若い弟子（生徒）に、熟練の達人（教師）が問題を解く様子を見せることで、複雑な数学の問題を解く方法を教えようとしていると想像してください。

この論文で説明されている標準的な手法は、**オンポリシー蒸留（On-Policy Distillation: OPD）**と呼ばれます。この手法では、弟子に自力で問題を解かせます。弟子がステップ・バイ・ステップで解答を書き進めていく間、教師はその一文字一文字を観察し、修正を加えます。目的は、弟子がその修正から学ぶことにあります。

しかし、著者らは、この教え方には隠れた欠陥があることを発見しました。彼らはこれを**「位置バイアス（Position Bias）」**と呼んでいます。

問題点：「脱線する列車」の比喩

弟子の解答を、列車の旅として想像してみてください。

旅の始まり（プレフィックス/接頭辞）: 列車が駅を出発した直後、弟子はまだ明晰に思考しており、教師が辿るであろう一般的な経路を辿っています。ここでの教師による修正は非常に価値があります。正確で、役に立ち、列車を正しい軌道上に留めてくれます。
旅の中盤から終盤（サフィックス/接尾辞）: 旅が進むにつれ、弟子は小さなミスを犯し始めます。弟子は未熟であるため、これらの小さなエラーは積み重なっていきます。突然、列車は全く別の線路へと逸脱し、教師が決して行くことのない遠く離れた場所へと到達してしまいます。

ここで問題となるのは、標準的な教え方では、弟子が書くすべての言葉を等しく重要だと見なしている点です。最初の単語に対しても、100番目の単語に対しても、同じ量の「注意」を払うのです。

この論文は、100番目の単語に到達する頃には、弟子はコースから大きく外れてしまっており、教師のアドバイスは役に立たなくなっていることを示しています。実際、教師は、自分自身の世界ではあり得ないような経路を修正しようとして、混乱してしまうことさえあります。研究の結果、もし解答の最初の30%の修正のみを使用した場合、学生は解答全体を使用した場合と同等の学習ができていることが分かりました。しかし、もし最後の3割のみを使用した場合、学生はほとんど何も学べませんでした。

解決策：「賢い家庭教師」（IW-OPD）

この問題を解決するために、著者らは**重要度重み付けオンポリシー蒸教（Importance-Weighted On-Policy Distillation: IW-OPD）**と呼ばれる新しい手法を考案しました。

IW-OPDを、列車の脱線を察知する**「賢い家庭教師」**と考えてみてください。列車が脱線していくことを理解している家庭教師は、旅の間中、同じ音量で修正を叫ぶのではなく、声の大きさを調整します。

旅の初期: 弟子がまだ正しい経路を辿っている間は、価値の高い修正を与えるために、家庭教師は大きな声で、明瞭に話します。
旅の後半: 弟子の経路が教師のスタイルから逸脱し始めると、家庭教師はボリュームを下げます。教師が決して辿らないような経路に対して、修正にエネルギーを浪費することをやめるのです。

この賢い家庭教師は、これまでの旅で弟子の経路が教師の経路からどれだけ逸脱したかに基づいて、この「音量」を計算します。逸脱が小さければ修正は強く、逸脱が大きければ、修正は静かになるか、あるいは無視されます。

ななぜこれが重要なのか

この論文は、さまざまなサイズの生徒と教師（小さなAIモデルから巨大なものまで）を用いて、この「賢い家庭教師」の手法をテストしました。結果は明白でした。

学習の高速化: 学生はより速く学習しました。自分たちの解答の後半部分にある「質の低いアドバイス」に時間を浪費することがなかったため、より少ない訓練ステップで高いパフォーマンスレベルに到達しました。
より優れた結果: 訓練が終わった後でも、この手法を用いた学生は、標準的な手法を用いた学生よりも問題（具体的には数学やコーディングの課題）を解く能力が高かったのです。
あらゆるケースに対応: この手法は、生徒が教師よりもはるかに小さい場合（スキルの格差が非常に大きい場合）、つまり「脱線」の問題が最も深刻に起こる状況において、最も効果を発揮しました。

要約

この論文は、AIのトレーニングにおいて、**「すべての瞬間が等しく価値を持つわけではない」**と主張しています。AIが犯すすべてのミスから学ぼうとすることは非効率的です。なぜなら、最終的にAIは迷走してしまい、教師のアドバイスが無意味になってしまうからです。高品質な解答が得られる序盤の部分に学習のリソースを集中させ、脱線した後半部分を無視することで、よりスマートに、より速く、より効果的に学習できるのです。

技術要約：On-Policy Distillationにおける位置バイアスについて

問題提起

On-Policy Distillation (OPD) は、教師モデルから生徒モデルに対して、生徒自身が生成したロールアウト（展開）からの高密度なトークンレベルの教師信号を提供することで、大規模言語モデル（LLM）の強化学習（RL）における学習効率を向上させます。しかし、標準的なOPDの目的関数は、通常、KLダイバージェンスを介してトークンレベルの損失を一様に平均化しており、これはシーケンス内のすべてのトークンが等しい価値を持つという暗黙の仮定に基づいています。

著者らは、このアプローチにおける決定的な**位置バイアス（Position Bias）**を特定しました。生徒のロールアウトが長くなるにつれ、生成された軌跡は教師の分布から次第に逸脱していきます。その結果、後半のポジションにおける教師による指導の質が低下します。経験的な観察により、以下のことが明らかになりました：

指導価値の非対称性： 最初の30%のトークン（プレフィックス）のみを使用して学習した場合、全トークンを使用した場合と同等、あるいはそれ以上の性能が得られます。一方で、最後の30%（サフィックス）を使用して学習しても、学習上のメリットはほとんど得られません。
持続的な乖離： 収束後であっても、教師と生徒の間のKLダイバージェンスは依然として有意な値を示しており、これはOPDがポリシー空間内の非常に小さな局所領域内でのみ生徒を最適化していることを示唆しています。
非効率性： すべてのトークンを一様に重み付けすることは、生徒が教師に対して分布外（OOD）領域へと既に逸脱してしまった後半のトークンに対して、限られた勾配更新予算を浪費することになり、結果として教師信号をノイズが多く役に立たないものにしてしまいます。

手法：重要度重み付きオンポリシー・ディスティレーション（IW-OPD）

このバイアスに対処するため、著者らは、生徒と教師の分布間の累積的な不一致に基づいてトークンの重みを動的に調整する手法である、**重要度重み付きオンポリシー・ディスティレーション（IW-OPD）**を提案しています。

理論的基礎

著者らは、OPDを、生徒のポリシーがKLダイバージェンスの予算 $\rho$ によって定義される信頼領域内で更新される制約付き最適化問題（局所的な投影）として定式化しています。

最適ポリシーの導出： $D_{KL}(q \| \pi_T)$ を $D_{KL}(q \| \pi_\theta) \leq \rho$ という制約の下で最小化する問題を解くと、閉形式の最適ポリシー $q^\star$ が得られます。
尤度比による再重み付け： 解 $q^\star$ は、尤度比 $(\pi_T / \pi_\theta)^\alpha$ によって生徒のポリシー $\pi_\theta$ を再重み付けします。これは、教師の確率が生徒よりも著しく高い（適合性が高い）トークンには高い重みを割り当て、生徒が逸脱した（比率が低い）トークンには重みを低くすべきであることを意味します。

実装の詳細

生の尤度比を直接使用することは、シーケンス全体にわたる確率の指数的な累積により数値的に不安定になるため、IW-OPDでは、重要度重みのプロキシとして、安定した**符号なし累積プレフィックス不一致（unsigned cumulative prefix discrepancy）**を導入しています。

累積不一致： 生の比率の代わりに、シーケンスの開始から現在のトークン $t$ までの絶対的なトークンレベルのアドバンテージ（ $|A^{OPD}_k|$ ）を合計します。これにより、教師が好む経路からの総体的な「ドリフト」を捉えます。
正規化： 累積不一致は各サンプル内で $[0, 1]$ の範囲に標準化され、安定したスケーリングを保証します。
補間： 逸脱したトークンに対する指導を完全に排除してしまうのを防ぐため、最終的な重みは、標準的なOPDの信号（重み1）と、不一致から導出された重要度重みとの間の補間となります。
- 式： $\tilde{r}^{IW-OPD}_t = 1 + \gamma \cdot (1 - \frac{\sum_{k<t} |A^{OPD}_k|}{\sum_{k<T} |A^{OPD}_k|})$
- ここで、 $\gamma$ は重要度重み付けの寄与度を制御します。

このアプローチは、初期のトークン（プレフィックスが教師と適合している部分）を自然にアップウェイトし、後半のトークン（累積ドリフトが大きい部分）をダウンウェイトすることで、勾配予算を最も情報量の多い軌跡の部分へと効果的に再配分します。

主な貢献

位置バイアスの特定： 本論文は、分布のドリフトにより、初期のトークンが後半のトークンよりも大幅に価値の高い指導を提供するという、OPDが位置バイアスに苦しんでいることを経験的かつ理論的に実証しました。
制約付き最適化の観点： 著者らは、OPDを制約付きの局所投影として捉える原理的な理解を提供し、最適な更新戦略には本質的に比率ベースの再重み付けが必要であることを導き出しました。
IW-OPDアルゴリズム： 符号なし累積プレフィックス不一致を用いてトークンの重要度を推定する、実用的で安定したアルゴリズムであるIW-OPDを提案しました。これには、標準的なOPD以外の追加の教師評価は必要ありません。
経験的検証： 広範な実験により、様々なモデルスケールおよび教師・生徒の構成において、IW-OPDが標準的なOPDよりも速く収束し、より高い最終性能を達成することが示されました。

実験結果

著者らは、数学的推論（AIME-2024, AIME-2025, HMMT-2025）およびコード生成（HumanEval+, MBPP+）のベンチマークにおいて、Qwen3モデル（0.6B, 1.7B, 4B, 30B, 235B）を教師および生徒として用いてIW-OPDを評価しました。

性能向上： IW-OPDは一貫して標準的なOPDを上回ります。
- Qwen3-30Bを教師とし、Qwen3-1.7Bを生徒とする設定において、IW-CPDはステップ10においてAIME-2025の精度を**+6.9ポイント**、収束時に**+1.7ポイント**向上させました。
- すべての生徒のスケール（0.6Bから30B）および教師の設定において、IW-OPDは平均的な性能スコアを向上させました。
サンプル効率： IW-CPDは大幅に速く収束します。いくつかのケースでは、ステップ10時点のIW-CPDのチェックポイントが、標準的なOPDの最終的な性能に匹敵するか、それを上回りました。
スケーリング効果：
- 強力な教師： IW-CPDは、より強力な教師をよりサンプル効率的に活用できるようにします。標準的なOPDは、教師と生徒の差が大きい場合（強力な教師の恩恵を受けるために多くのステップを必要とする）に初期段階で苦戦しますが、IW-CPDは即座に強力な教師の信号を活用できます。
- 小さな生徒： IW-CPDの相対的な利得は、生徒モデルが小さくなるほど大きくなります（例：4Bの生徒に対する+1.8%に対し、0.6Bの生徒では+9.5%の相対利得）。これは、ドリフトがより深刻になるクロススケール蒸留において、本手法が特に効果的であることを示しています。

意義と主張

本論文は、効果的なオンポリシーの指導は、単なるトークンレベルの不一致だけでなく、軌跡のコンテキスト（文脈）を考慮しなければならないと主張しています。教師による指導は、生徒が生成した軌跡に沿って一様に信頼できるわけではないことを認識することで、IW-CPDは有限の勾配予算を「教師と適合する」プレフィックスへと再配分します。

著者らは、生徒の分布から逸脱したトークンの重みを下げるというこの単純な修正が、オンポリシー・ディスティレーションのサンプル効率と最終性能の両方を大幅に向上させるという結論を下しています。この知見は、将来のオンポリシー手法が、軌跡内のすべてのトークンを独立して等しく価値のあるものとして扱うのではなく、ロールアウトの累積的な履歴（プレフィックス）を考慮して、クレジットや指導の重みを割り当てるべきであることを示唆しています。