🤖 machine learning

Near-Policy: Accelerating On-Policy Distillation via Asynchronous Generation and Selective Packing

本論文は、生成と学習を分離し、 $\Delta$ -IFD フィルタリングを用いてポリシーの遅延を軽減することでオンポリシー知識蒸留を加速する非同期フレームワークであるニアポリシー蒸留（NPD）を提案し、標準的な SFT やより大規模なモデルと比較して 8.1 倍の高速化と優れた性能を実現することを示している。

原著者： Miao Rang, Zhenni Bi, Hang Zhou, Kai Han, Xuechun Wang, An Xiao, Xinghao Chen, Yunhe Wang, Hanting Chen

公開日 2026-05-08

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Miao Rang, Zhenni Bi, Hang Zhou, Kai Han, Xuechun Wang, An Xiao, Xinghao Chen, Yunhe Wang, Hanting Chen

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

「ニアポリシー蒸留（Near-Policy Distillation）」という論文を、平易な言葉と創造的な比喩を用いて解説します。

大きな問題：「教師と生徒」のミスマッチ

あなたが、巨大大規模 AI モデルという「マスター教師」が書いたエッセイを、小規模 AI モデルという「生徒」にコピーさせることで、エッセイの書き方を教えたと想像してください。

従来の方法（標準的な蒸留）： 生徒には、教師が「すでに書いた」エッセイのリストを与え、それを暗記させます。しかし、生徒がテストを受けるとき、ゼロから書き上げなければなりません。完璧な教師の答えだけを暗記しているため、生徒は自分自身の文章を生成する際に混乱します。これは、台本を暗唱できる生徒が、即興を求められたときに凍りついてしまうようなものです。
「オンポリシー」方式（高価な解決策）： これを解決するため、まず生徒に自分のエッセイを書かせ、その後で教師に添削させます。生徒が自分の間違いから学ぶため、これは非常に効果的です。しかし、これは信じられないほど遅いです。生徒が一文書くたびに、教師は停止し、それを読み、評価し、次の文章を書く前にフィードバックを与えなければなりません。これは、前の文章を評価するまで、生徒に一語も書かせてもらえないチューターのようなものです。

解決策：ニアポリシー蒸留（NPD）

著者たちは、ニアポリシー蒸留という新しい手法を提案します。これは、遅さの欠点を残さずに「オンポリシー」方式のメリットを維持する、高速アセンブリラインのようなものです。

その仕組みを 3 つのパートに分けて解説します。

1. 非同期アセンブリライン（分離）

教師と生徒が、遅い一対一の会話で作業するのではなく、NPD では両者を分離します。

生徒の仕事： 生徒モデルはコンピュータ上で高速に動作し、教師を待たずに、まるで工場で製品を量産するかのように、一度に数千のエッセイ（応答）を生成します。
教師の仕事： 生徒が大量のエッセイの山を作り終えると、教師モデルはそれらを一度に確認します。教師は生徒がタイプするのを待たないため、「パック」単位で処理できます（まるで 1 ページずつではなく、1 章まるごと読むように）。
結果： コンピュータがフィードバックを待って遊んでいる時間がなくなるため、この方法は従来の遅い方法よりも8.1 倍高速になります。

2. 「安全フィルター」（∆-IFD メカニズム）

ここには落とし穴があります。生徒が教師の採点を待つ前にエッセイを生成するため、生徒は自分の考えに少し「酔い」始めてしまう可能性があります。その「ポリシー（思考のあり方）」が教師から逸脱し、無意味な文章や完全に間違ったことを書き始めてしまうのです。

これを修正するため、論文では**∆-IFDと呼ばれるスマートフィルター**を導入しています。

比喩： 生徒を初心者のシェフ、教師をミシュラン三つ星のシェフだと想像してください。生徒がいくつかの料理を作ります。
- ゾーン 1（退化的）： 生徒が、水の入ったボウルのような、シンプルすぎて奇妙な料理を作ります。教師でさえ「簡単すぎる」と思い、生徒は混乱しています。フィルターはこれを捨てます。
- ゾーン 2（認知的断絶）： 生徒が非常に自信を持って作った料理ですが、ミシュランのシェフはそれをゴミだと考えます。生徒が頑なに間違っているため、これは危険です。フィルターはこれを捨てます。
- ゾーン 3（近接学習ゾーン）： 生徒が自分のスキルレベルをわずかに超えた料理を作り、教師もそれを良く、有益だと認めます。生徒が学ぶのはこのゾーンだけです。

このフィルターにより、生徒は「易しすぎず、難しすぎず、危険なほど間違ってもしない」ゴールドilocks（ジャスト・ミート）な例からのみ学ぶことになります。これにより、生徒と教師がリアルタイムで会話していなくても、トレーニングを安定して行えます。

3. 「スパース更新」（時折のリセット）

通常、このような高速アセンブリラインでは、時間の経過とともに生徒の考えが教師のスタイルから遠ざかりすぎる可能性があります。

解決策： 毎秒ごとに工場全体を停止して同期させる（これは遅い）のではなく、NPD は時折ラインを停止し、生徒の脳を教師の現在のスタイルに合わせるためにリセットします。
結果： 論文によると、トレーニング全体を通じてこの「リセット」を 1 回か 2 回行うだけで、すべてが軌道に乗るのに十分であり、膨大な時間を節約できます。

大団円：スーパー生徒

この論文は、この方法が単に生徒を速く訓練するだけでなく、生徒を賢くするのだと示しています。

結果： 彼らは 10 億パラメータのモデル（「小さな」AI）を取り、この方法で訓練しました。
比較： この小さなモデルは、NPD と少しの追加強化学習で訓練された後、難しい推論テストで**68.73%**のスコアを記録しました。
衝撃： これは、17 億パラメータを持つより大きく有名なモデル（Qwen3-1.7B）を凌駕しました。そのモデルは**63.69%**のスコアでした。

まとめ

ニアポリシー蒸留とは、生徒が教師のフィードバックを待ちながら列に並ぶことなく、高速工場で学ぶような仕組みです。これは、悪い例を排除するスマートフィルターと、生徒を正しい軌道に保つための時折のリセットを使用します。その結果、より速く、安価に学習し、はるかに大きなモデルよりも賢くなる小さな AI が生まれます。

技術概要：ニアポリシー蒸留（NPD）

1. 問題定義

自己回帰型大規模言語モデル（LLM）に対する標準的な知識蒸留（KD）は、根本的な分布の不一致に直面している。学生モデルは教師強制シーケンスで訓練されるが、推論時には自己回帰シーケンスを生成する。一方、オンポリシー手法（例：GKD、DistiLLM）は、学生生成出力（SGO）を用いた訓練によってこれを緩和するが、計算集約的な強化学習（RL）に似たフレームワークに依存している。これらのフレームワークは同期された教師 - 学生推論を必要とするため、シーケンスパッキングの利用を妨げ、トークン利用率の低下と訓練スループットの遅延を招く。対照的に、標準的な**教師あり微調整（SFT）**はシーケンスパッキングをサポートするが、推論時の分布シフトを修正できず、露出バイアスと誤りの蓄積を招く。

2. 手法：ニアポリシー蒸留（NPD）

著者らは、学生生成を訓練ループから分離するように設計された非同期フレームワークである**ニアポリシー蒸留（NPD）**を提案する。この再定式化により、システムはオンポリシー蒸留の分布一致の恩恵を近似しつつ、オフポリシー SFT の高いスループットを維持できる。

コアアーキテクチャ

NPD パイプラインは、3 つの非同期フェーズで構成される：

学生駆動生成：現在の学生モデルがプロンプトデータセットに対して応答を生成する。これらのシーケンスは、高スループットバッチ（例：vLLM の使用）で生成される。
パacked 並列プレフィルによる教師アノテーション：同期された自己回帰デコーディングを必要とするオンポリシー手法とは異なり、NPD は複数の学生応答を固定長シーケンスに連結する。教師モデルは、これらのシーケンスを並列プレフィルステップで処理してログオスを生成する。ストレージと監督の質のバランスを取るため、上位 $k$ 個のログオスのみが記録される。
複合最適化：学生は、複合損失関数を持つ標準的な SFT アーキテクチャを用いて更新される：
$L_{total} = (1 - \lambda) \cdot L_{CE} + \lambda \cdot L_{KD}$
ここで、 $L_{KD}$ は教師の高信頼度予測のみに基づいて計算された上位 $k$ 個の KL 発散である。

ポリシーラグへの対応： $\Delta$ -IFD とスパース更新

NPD の非同期性は、データ生成ポリシーが現在の訓練ポリシーから乖離し、ノイズを導入する可能性があるポリシーラグをもたらす。NPD は 2 つのメカニズムでこれに対抗する：

$\Delta$ -IFD フィルタリング：**指示追従難易度（IFD）**指標に基づくヒューリスティックなサンプル選択メカニズム。これは差分難易度 $\Delta IFD = IFD_{Teacher} - IFD_{Student}$ $Δ I F D = I F D_{T e a c h er} - I F D_{S t u d e n t}$ を計算する。
- 退行ゾーン（ $\Delta IFD < 0$ ）：教師が学生よりも自信を持っているサンプル（多くの場合、自明または無意味なパターン）は拒否される。
- 認知断絶ゾーン（ $\Delta IFD > \tau$ ）：学生が自信を持っているが教師が非常に不確実であるサンプル（深刻な誤りを示唆）は拒否される。
- 近接学習ゾーン（ $0 \le \Delta IFD \le \tau$ ）：教師が基礎的な品質を確認し、難易度のギャップが中程度であるサンプルのみが保持される。これにより、更新が「安全な近接学習ゾーン」内に留まることを保証する。
スパース学生更新：生成ポリシーが大幅に逸脱するのを防ぐため、学生モデルは連続的ではなく、定期的（例：10 エポックに 1 回）にのみ更新される。これにより、ポリシー同期の計算コストを最小化しつつ、「ニアポリシー」状態を維持する。

強化学習（RL）との相乗効果

NPD は、後続の RL（例：GRPO）のための優れた初期化として機能する。高品質でフィルタリングされたデータのみで訓練することにより、学生の確率質量は論理的に正しい軌道の多様体に集中する。これは、後続の RL 段階における探索空間を効果的に狭め、非効率な確率的探索を回避し、微細な最適化に集中することを可能にする。

3. 主要な貢献

NPD フレームワーク：生成を訓練から分離する非同期蒸留フレームワークであり、シーケンスパッキングを可能にし、オンポリシーベースラインに対して8.1 倍の高速化を達成しながら、その性能上の恩恵を維持する。
安定化メカニズム：スパース更新と $\Delta$ -IFD フィルタリングメカニズムの統合により、ポリシーラグとサンプルノイズが効果的に緩和される。これにより、ノイズ支配的な勾配を防ぎ、KL 発散を 0.10 未満に抑えながら、経験的に最適化軌道を安定させる。
RL 初期化：この手法は、NPD 訓練モデルが RL にとって著しく優れた出発点を提供し、探索空間を狭め、より高い漸近的性能を可能にすることを示している。

4. 実験結果

実験は、教師としてopenPangu-Embedded-7B、学生としてopenPangu-Embedded-1Bを使用し、Qwen2.5-Math モデルとの比較も行った。

蒸留性能：大規模産業データセット（120 万サンプル）において、NPD は標準的な SFT より8.09%、標準的な SeqKD アプローチより 4.83% 上回った。
効率性：最先端のオンポリシー手法DistiLLM-2と比較して、NPD は GSM8K および MATH-500 ベンチマークで優れた精度を達成し、訓練時間を8.1 倍削減した（エポックあたり 1.48 NPU 時間対 12.00 NPU 時間）。
RL 相乗効果：GRPO の初期化として使用された場合、NPD モデルは 11 のベンチマークで最終平均スコア**68.73%**を達成した。
最先端との比較：最終的なopenPangu-Embedded-1B-RLモデル（10 億パラメータ）は、はるかに大きなQwen3-1.7B（63.69%）を**68.73%**のスコアで上回った。また、GSM8K（87.60%）および MATH-500（84.76%）でも最高スコアを獲得した。

5. 意義と主張

本論文は、NPD が高性能 AI とエッジ制約を調和させることで、どこでも利用可能なオンデバイス知能へのスケーラブルな道筋を提供すると主張している。後続の RL における探索空間を効果的に狭め、効率的なシーケンスパッキングを可能にすることで、このフレームワークは、単にモデルサイズを拡大するよりも、高度な訓練とアライメント手法の方がより大きな影響を与えることを示している。著者らは、このアプローチが、より整合性の取れた小規模モデルの訓練・展開コストを下げ、低遅延とプライバシー保護を必要とする実世界の展開シナリオにおいて、高機能 LLM をよりアクセスしやすくすると強調している。

本研究は、NPD が教師の分布によって制約されるものの、 $\Delta$ -IFD によるシステム誤りのフィルタリングと、スパース更新による訓練の安定化を通じて、自己回帰モデルにおける効率的な知識転送のための堅牢な解決策であることを結論付けている。