🤖 machine learning

On the Geometry of On-Policy Distillation

本論文は、オンポリシー蒸留（OPD）の学習ダイナミクスを、教師あり微調整や強化学習とは異なる独自の幾何学的レジームとして特徴付け、OPDの更新が、その性能に対して機能的に十分な特定の低次元部分空間へと急速に固定されることを明らかにしている。

原著者： Zhennan Shen, Yanshu Li, Qingyu Yin, Chak Tou Leong, Zhilin Wang, Yanxu Chen, Rongduo Han, Sunbowen Lee, Yi R. Fung

公開日 2026-06-08

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Zhennan Shen, Yanshu Li, Qingyu Yin, Chak Tou Leong, Zhilin Wang, Yanxu Chen, Rongduo Han, Sunbowen Lee, Yi R. Fung

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは、ある学生（大規模AIモデル）に複雑な数学の問題を解く方法を教えようとしていると想像してください。あなたには主に3つの方法があり、この論文は、それぞれの方法で学生の「脳」が具体的にどのように変化していくのかを解き明かす、まるで探偵小説のような物語です。

3つの手法は以下の通りです：

SFT (教師あり微調整): 教師が完璧な解答が載った教科書を与え、学生はそれを暗記します。
RLVR (強化学習): 学生は自力で問題を解こうとし、最後に「正解！」または「不正解！」という単純なフィードバックを得て、その結果から学びます。
OPD (オンポリシー蒸留): これは新しく、興味深い手法です。学生が問題を解こうとすると、超優秀な教師が学生のあらゆるステップを監視し、少しでも軌道から外れそうになると即座に修正を加えます。

この論文は、この新しいOPD法を用いたとき、学生の「脳」（数学的な重み）の中で何が起きているのか？ という問いを投げかけています。

以下に、シンプルな比喩を用いた研究結果の解説をまとめます。

1. 「リラックスしたオフ・プリンシパル」ゾーン

学生の脳を、巨大で多次元的な風景（ランドスケープ）だと想像してください。

SFT はブルドーザーのようです。風景を突き進み、ほぼすべてを直線的かつ予測可能な形で変えてしまいます。非常に力強く、脳の「主要な道路（主成分方向）」さえも変えてしまいます。
RLVR は忍者のようです。静かで隠れた「裏路地（オフ・プリンシパル方向）」にのみ、非常に小さく精密な変化を加えます。主要な道路には一切手を触れません。
OPD は熟練のハイカーです。ブルドーザーのように風景を破壊することはありませんが、忍者ほど静かに忍び寄くこともありません。中間の道を歩みます。ブルドーザーほど多くのものを変えませんが、忍者ほど厳格に制限されることもありません。主要な道路を避けつつも、極端に制限されない「リラックスした」ゾーンに留まります。

2. 「サブスペース・ロック」（秘密のトンネル）

これがこの論文の最大の発見です。

ブルドーザー (SFT) が機能するとき、それは常に進路を広げ続け、トレーニング全体を通して脳のより広く新しい領域を探索し続けます。
忍者 (RLVR) が機能するとき、最初は広く始まりますが、最終的には非常に小さく特定の場所に縮小していきます。
ハイカー (OPD) が動き出すと、すぐに狭い秘密のトンネル（低次元のチャネル）を見つけ出し、残りの旅の間はその中に留まり続けます。

「アハ体験（気づき）」の瞬間: 研究者たちは、このトンネルが単なる偶然なのか、それとも本当に必要なものなのかをテストしました。彼らは、学習の初期段階で見つかったその狭いトンネルの中だけで学習するように、学生に強制してみました。

結果: OPDの学生は問題なく学習できました！そのトンネルがあれば十分だったのです。
対照的な結果: このことをブルドーザー (SFT) で試したところ、学生は無残に失敗しました。ブルドーザーには広い空間が必要であり、トンネルはあまりにも狭すぎたのです。
結論: OPDには独自の「スーパーパワー」があります。それは、学習の非常に早い段階で、解決策への最も効率的で狭い経路を見つけ出し、そこに定着（ロック）する能力です。

3. 何が「ロック」を制御しているのか？

研究者たちは、「もし〜だったら」というゲームを行い、何がハイカーをトンネルの中に留まらせるのかを探りました。

地形を変える (実行時/Runtime): 学生にいくつかのステップをスキップさせたり、少し異なる例から学ばせたり（オフポリシー）しました。結果: ハイカーは依然として同じトンネルを見つけ出しました。この経路は堅牢（ロバスト）です。
ルールを変える (目的関数/Objective): OPDの手法にRLVRの手法を混ぜ合わせました（報酬信号を変更）。結果: トンネルは消えました！ハイカーは道に迷い、彷徨い始めました。

テイクアウェイ（要点）: 「ロック」されて効率的なトンネルに入ることは、学生が見ているもの（データ）や、その動き方（ロールアウト）によって決まるのではありません。それは完全に、**教師が学生にどのように報酬を与えるか（目的関数）**によって決まります。もしゲームのルールを変えてしまうと、学生は効率的なトンネルを使うことをやめてしまうのです。

まとめ

本論文は、OPDが単なるブルドーザーと忍者の混合物ではないと結論付けています。それは独自の幾何学構造を持つ、明確に異なる手法です。それは脳の構造の中に、効率的で狭い「秘密のトンネル」を素早く見つけ出し、そこに留まります。このトンネルは強力で効率的ですが、脆い性質も持っています。もしトレーニングの根本的なルール（目的関数）を変更してしまえば、そのトンネルは消えてしまうのです。

技術要約：On-Policy Distillationの幾何学について

問題提起

大規模推論モデル（LRM）は、事後学習パラダイム、主に教師あり微調整（SFT）と検証可能な報酬を用いた強化学習（RLVR）を通じて著しく進歩してきた。近年、オンポリシー蒸留（OPD）が、より強力な教師による高密度なトークンレベルのガイダンスを用いて、自身のサンプリングされた軌跡に対して学生モデルを訓練する補完的なアプローチとして浮上している。OPDは経験的な有用性を示す一方で、そのパラメータ空間におけるダイナミクスについては十分に理解されていない。具体的には、OPDがSFTとRLVRの幾何学的フットプリント間の単純な補間を表しているのか、それとも独自の最適化軌跡を誘導しているのかが不明である。本論文では、以下の3つの核心的な問いに取り組む：

OPDは、パラメータ空間のスペクトルにおいて、SFTとRLVRのどちらに位置するのか？
OPDは、訓練中にどのような固有の更新軌跡を辿るのか？
OPDの目的関数のどの構成要素が、この軌跡を制御しているのか？

手法

著者らは、Qwen3ファミリー（具体的にはQwen3-8B）のチェックポイントに適用される一連のパラメータ空間診断を用いて、OPDの更新の幾何学を分析している。実験セットアップでは、共通のSFTアンカー（OPDおよびRLVR用）または事前学習済みベース（SFT用）から初期化された3つのパラダイムを比較する：

SFT: オフラインのデモンストレーションに対する標準的な教師あり微調整。
RLVR: 疎なアウトカムレベルの報酬（GRPO）を用いた方策最適化。
OPD: 高密度なトークンレベルの教師監督を用いたオンポリシー蒸留。

分析では、更新（ $\Delta W = W_+ - W_0$ ）を特徴付けるために、4つの主要な診断手法を用いている：

更新のスパース性（Update Sparsity）: bfloat16精度において変化していない重みの割合を測定。
主角回転（Principal-Angle Rotation）: 初期重みと最終重みの間の主要な特異部分空間（ $U, V$ ）の回転を定量化。
スペクトル・ドリフト（Spectral Drift）: 特異値の正規化スペクトルシフト（NSS）を測定。
更新マスクの重複（Update-Mask Overlap）: 可視的な更新が、主要な（高曲率の）重みに集中しているか、あるいは低マグニチュードの重みに集中しているかを判定。

訓練ダイナミクスを調査するため、著者らは安定ランク（stable rank）、フロベニウスノルム、および**ヒル・テイル推定（Hill tail estimates）**を用いて、チェックポイント間の累積更新（ $\Delta W_t$ ）を追跡する。さらに、3つの要因（トークン監督の密度（スパース化）、ロールアウト方策（オフポリシー生成）、および目的関数の構成（OPDとRLVRの補間））を摂動させる制御実験を実施した。

主な貢献と結果

1. OPDは「緩和されたオフ・プリンシパル」領域を占める

本研究は、OPDをSFTとRLVRの中間、ただしRLVR側に偏った明確な領域に位置づけている。

スパース性: OPDは中間的な更新スパース性（51.6%の重みが不変）を示し、SFTの密な更新（8.1%が不変）とRLVRの疎な更新（77.2%が不変）の中間に位置する。
幾何学: OPDは、SFTよりも少なく、RLVRよりも多い部分空間回転とスペクトル・ドリフトを誘発する。
局在化: OPDの更新は、RLVRと同様に、主要な重みから離れて低マグニチュードの領域へとシフトするが、可視的なサポート（支持範囲）はより大きい（選択性が低い）。
解釈: 著者らは「緩和された3つのゲート（Relaxed Three-Gate）」という見解を提案している。OPDは、RLVRの幾何学的保存バイアス（ゲートII：モデルの幾何学を主要な方向から遠ざける更新）を保持しているが、高密度なトークンレベルの監督により選択性を緩和しており（ゲートI：分布のアンカー）、より多くの座標が精度実現閾値を越えることを許容している（ゲートIII）。

2. 部分空間のロック（Subspace Locking）

OPDは、部分空間のロックによって特徴付けられる独自の軌跡を辿る。

早期収束: 更新部分空間を拡大するSFTや、後半に収縮するRLVRとは異なり、OPDは訓練の早い段階で、狭く低次元な更新バンドへと急速に進入する。
安定性: この低次元チャネルは訓練の初期（最初の測定されたチェックポイント内）に現れ、訓練を通じて持続する。
機能的十分性: OPD訓練の初期に形成された低次元部分空間（ランク16）に後続の訓練を制約しても、性能が維持される。対照的に、同じ制約をSFTに適用すると性能が大幅に低下する。これは、ロックされた部分空間が、OPDの学習にとって機能的に十分であることを示している。
マグニチュード: OPDは、RLVRと同等の安定ランクを維持しながら、RLVRよりも大幅に大きな累積更新ノルムを蓄積する。これにより、低次元性が単に無視できるほどのパラメータ移動によるアーティファクトである可能性を排除している。

3. 目的関数の構成が軌跡を制御する

制御実験により、部分空間のロック機構は実行時の摂動に対しては頑健であるが、目的関数の構成には敏感であることが明らかになった。

頑健性: トークンのスパース化（監督密度の減少）およびオフポリシー・ロールアウト（教師生成データの使用）は、OPDの安定ランクの軌跡を維持し、更新のスケールのみに影響を与える。
感度: OPDの目的関数をRLVRのアドバンテージ信号と補間すると、ランクのダイナミクスが変化する。OPD成分が弱まると、軌跡はロックされた領域から逸脱する。
メカニズム: 著者らは、トークンのスパース化とオフポリシー・ロールアウトは、単に勾配共分散のスケールを変更するだけであり、支配的なスペクトル方向は維持されると主張している。対照的に、目的関数の混合は勾配のソース自体を変化させ、支配的な共分散の幾何学を変え、ロックされた軌跡を崩壊させる。

意義と主張

本論文は、OPDが単にSFTとRLVRの間の中間的な終着点ではなく、独自の更新幾何学を誘導するものであると主張している。主な意義は、部分空間のロックを、OPD訓練の基本的な特性として特定したことにある。

著者らは、今後のOPDアルゴリズムは、トークンレベルの監督密度を主要な設計軸として扱うのではなく、幾何学制御を念頭に置いて設計されるべきであると示唆している。効果的なレシピは以下を備えるべきである：

初期に現れる持続的な低次元更新チャネルを監視し、活用すること。
更新幾何学を制御するための主要なレバーとして、目的関数の構成を用いること。
トークン選択とロールアウト方策を、根本的なスペクトル構造ではなく、更新スケールに影響を与える二次的な要因として扱うこと。

結論として、本論文はこれらの診断手法が、OPDに関するパラメータ空間の記述を提供し、より安定し、解釈可能で、転移可能な幾何学認識型最適化戦略の基礎となることを示している。著者らは、制御されたQwen3推論設定への焦点と、形式的な因果理論ではなくチェックポイントベースの診断に依存しているという限界についても言及している。