🤖 machine learning

Self-Distilled Policy Gradient

本論文は、全語彙を用いた逆KLダイバージェンス損失によるオンポリシー自己蒸留、グループ相対的な検証器アドバンテージ、およびリファレンス・ポリシー正則化を統合することで、疎な報酬を持つ強化学習の安定性と性能を向上させる自己蒸留方策勾配フレームワークであるSDPGを提案する。

原著者： Yifeng Liu, Shiyuan Zhang, Yifan Zhang, Quanquan Gu

公開日 2026-06-04

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Yifeng Liu, Shiyuan Zhang, Yifan Zhang, Quanquan Gu

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

ビッグピクチャー：より良く考えるための学生への指導

あなたは、非常に優秀だが経験の浅い学生（AIモデル）に、難しい数学の問題を解く方法を教えていると考えてください。その学生は賢いのですが、自分自身の推論ステップの中で迷子になってしまうことがよくあります。

現在、これらの学生を訓練する標準的な方法は、**検証可能な報酬を用いた強化学習（RLVR）**です。これは「合格／不合格」の試験のようなものです。学生は解答全体を書き上げ、厳格な試験監督（検証器：Verifier）が最終的な答えをチェックします。

正解の場合： 学生には金メダル（+1）が与えられます。
不正解の場合： 赤い×印（0）がつけられます。

問題点： この「合格／不合格」システムは、あまりにも情報が乏しすぎます。もし学生が間違った答えを出した場合、どの特定のステップがエラーを引き起こしたのかが分かりません。ステップ3の代数計算でミスをしたのでしょうか？それともステップ7の論理展開でしょうか？フィードバックが（最後にしか得られないため）非常に希薄であるため、学生の学習は遅くなり、時には混乱を招いて学習が不安定になります。

解決策：「自己蒸留（Self-Distilled）」された家庭教師

著者らは、SDPGと呼ばれる新しい手法を提案しています。単に最終的な成績を待つのではなく、学生が解答を書き進めている最中に、その解法の「カンニングペーパー」や「特権的な視点（privileged view）」を与える方法です。

SDPGがどのように機能するかを、3つのパートに分けて説明します。

1. 二つの帽子：学生と教師

従来の教育では、小さな学生を教えるために、大きくて高価な教授（教師）が必要です。しかし、これには2つの巨大なコンピュータを同時に動かさなければならないため、困難が伴います。
**自己蒸留（Self-Distillation）**では、学生は二つの帽子を使い分けます。

学生の帽子： モデルは、ヒントなし（問題のみ）で問題を解こうとします。
教師の帽子： 同じモデルが、今度は「特権的なコンテキスト」（Geminiのような強力なAIによって生成されたヒント、解法パス、または推論ガイド）を持って、再び問題に取り組みます。

モデルは、「学生の帽子」による予測を、「教師の帽子」による予測に一致させるように学習します。これは、ミュージシャンが曲の練習をする様子に似ています。彼らは完璧なレコーディング（教師）を聴き、自分の演奏（学生）を音符一つひとつレベルで一致させようとします。これにより、単なる最終的な成績ではなく、密度の高いステップ・バイ・ステップのフィードバックが得られるのです。

2. セーフティネット：「良いアイデア」フィルター

ここにはリスクがあります。もし学生が完全に間違った軌道に乗っている場合（例：全く別の問題を解いている場合）、「教師の帽子」は依然として間違った問題に対する完璧な解答を提示する可能性があります。もし学生がこれを盲目的にコピーしてしまうと、単に「間違った方向に上手くなる」だけになってしまいます。

SDPGは、**ポジティブ・アドバンテージ・ゲーティング（Positive Advantage Gating）**によってこれを解決します。

比喩： コーチが学生を見守っていると考えてください。もし学生がフィールドから外れて迷走している場合（検証器から悪いスコアを得ている場合）、コーチはこう言います。「ストップ！まだ完璧な解答を聞いてはいけません。なぜなら、あなたは間違った問題を解いているからです」。
システムは、「学生の帽子」がすでに検証器にとって有望と思われるパス（ポジティブな報酬）を生み出している場合にのみ、学生が「教師の帽子」から学ぶことを許可します。これにより、学生が「悪い問いに対する完璧な答え」を吸収してしまうのではなく、「正しい推論」のみを内面化するように保証します。

3. ウォーミングアップとクールダウン

著者らはまた、学生にすぐに教師の言うことを聞かせたり、永遠に聞かせ続けたりすることはできないということも気づきました。

ウォーミングアップ： 学習の開始時、学生は教師から学ぶにはまだ混乱しすぎています。そのため、最初は単なる「合格／不合格」の試験から始めます。いくつかの答えが正しくなり始めると、徐々に「教師の帽子」によるレッスンをオンにしていきます。
クールダウン： 学習の終盤、学生はレッスンを内面化しています。もし教師の指示を聞きすぎると、自分で考えなくなってしまう（モード崩壊と呼ばれる問題）可能性があります。そのため、システムは教師の声を徐々にオフにし、学生が自分自身のスキルに頼れるようにします。

結果

「最終的な成績」（検証器によるもの）と「ステップ・バイ・ステップのガイダンス」（自己教師によるもの）を組み合わせ、さらに学生が正しい軌道に乗っている時のみ学ぶようにフィルタリングすることで、AIは以下のようになります。

より安定している： 学習中にクラッシュしたり混乱したりすることがありません。
より賢い： 終着点だけでなく、あらゆるステップに対してフィードバックが得られるため、推論能力が向上します。
より速い： 従来の手法よりも少ない学習ステップで、高いパフォーマンスレベルに到達します。

要するに、SDPGは、学生が正しい軌道に乗っている時にだけ口を開く家庭教師を与え、その後、学生が内容をマスターしたら、一人でテストを受けられるように段階的に見守っていくような仕組みなのです。

技術要約：自己蒸留方策勾配（Self-Distilled Policy Gradient: SDPG）

問題提起
数学やコード生成といった推論タスクにおける大規模言語モデル（LLM）のポストトレーニングにおいて、検証可能な報酬を用いた強化学習（RLVR）は標準的な手法となっています。GRPO（Group Relative Policy Optimization）のようなアルゴリズムは、ルールベースの成果報酬（例：正解/不正解）に対して最適化を行いますが、人間による好みの注釈を必要としません。しかし、RLVRには主に2つの制限があります：

疎な報酬（Sparse Rewards）: 報酬信号がシーケンスレベルで適用されるため、特定の推論ステップ（トークン）へのクレジット割り当てが困難であり、効率的な探索を妨げます。
学習の不安定性: 学習の初期段階では負のアドバンテージが発生しやすく、基礎的な言語能力の低下や不安定性を引き起こす可能性があります。

On-Policy Distillation（OPD）は、高密度なトークンレベルの監督を提供するために提案されていますが、従来の手法は外部のより大きな教師モデルに依存しており、高いメモリコストと分布のミスマッチを伴います。モデル自身が特権的なコンテキスト（例：正解の解法）を用いて学生かつ教師の両方の役割を果たす「自己蒸留」手法は、メモリの問題を解決しますが、適切に制約をかけないと、グローバルに誤った軌道上にある局所的に妥当なトークンを強化してしまうリスクがあります。さらに、純粋な自己蒸留はモード崩壊や探索の減少を招く可能性があります。

手法：SDPGフレームワーク
本論文は、完全な語彙を用いた正確なオンポリシー自己蒸留と、KL正則化方策最適化を統合したフレームワークである**Self-Distilled Policy Gradient (SDPG)**を提案しています。コアとなる目的関数は、以下の3つのコンポーネントで構成されます：

成果ベースの方策勾配 ( $L_{out}$ ):
SDPGは、検証器からの疎なバイナリ報酬信号を保持します。GRPOと同様に、グループ内のロールアウト内で正規化されたグループ相対アドバンテージ（ $A_{out}$ ）を利用して学習を安定させますが、これはPPOスタイルの重要度比クリッピングのない、直接的なREINFORCE形式のサロゲート損失として定式化されています。
正確な全語彙オンポリシー蒸留 ( $L_{OPD}$ ):
教師信号を近似するためにトークンをサンプリングする代わりに、SDPGは、追加のコンテキスト $c$ （例：解法や推論パス）を条件とした、学生の分布（ $p_t$ ）と特権的な教師の分布（ $q_t$ ）の間の正確な逆KLダイバージェンスを計算します。

勾配の恒等性: 著者らは重要な理論的結果（命題3.1）を導出しています。すなわち、フル語彙の逆KL損失の学生方策に対する勾配は、デタッチされたサンプリング方策勾配の更新と局所的に同一です。この更新における「アドバンテージ」は、教師と学生の確率の、中心化された対数比となります。
ゲーティング機構: 特権的な教師が誤った軌道を強化することを防ぐため、蒸留損失は成果アドバンテージによってゲート制御されます。蒸留は、ロールアウトが正しいと検証された場合（ $A_{out} > 0$ ）にのみ適用されます。

参照方策の正則化 ( $L_K$ ):
方策が初期の能力から離れたり崩壊したりするのを防ぐため、SDPGは更新された方策を固定された参照方策（ $\pi_{ref}$ ）にアンカーします。本論文では、標準的な正規化KLと比較して、特に非正規化された尺度を扱う際に、よりエレガントで対称的な勾配を提供するUnnormalized KL (UKL) ダイバージェンス（前方または逆）を採用しています。

安定化戦略
特権信号のノイズと、探索と利用のトレードオフを管理するために、SDPGは2つの安定化手法を導入しています：

正のアドバンテージ・ゲーティング: 蒸留が検証器によって支持された軌跡に対してのみ行われることを保証します。
ウォームアップ・減衰スケジュール ( $\beta(k)$ ): 蒸留係数 $\beta$ を徐々に増加（ウォームアップ）させることで、モデルが蒸留に依存する前に正しい軌跡を見つけられるようにし、その後、学習の終盤に向けて減少（減衰）させます。これにより、モデルが必要な知識を内面化した後に、特権的な信号がモデルを過度に制約することを防ぎ、最終段階の探索を促進します。

主な貢献

理論的導出: 逆KLフル語彙オンポリシー蒸留の正確な局所方策勾配形式を導出し、それが中心化された対数比アドバンテージを持つデタッチされたサンプリング更新と等価であることを示しました。
新しい目的関数: バイナリ成果報酬、ゲート付きフル語彙特権蒸留、および固定された参照に対する非正規化KL正則化を組み合わせた統一された目的関数を提案しました。
安定化技術: 密な監督と探索のバランスをとるための、正のアドバンテージ・ゲーティングと蒸留係数のウォームアップ・減衰スケジュールの導入。

実験結果
著者らは、Qwen3-4Bを用いて数学的推論ベンチマーク（AIME2024, AIME2025, AMC23）でSDPGを評価しました。

性能: SDPGの各バリアント（Unnormalized Forward KLおよびUnnormalized Reverse KLを使用）は、すべてのベンチマークにおいてベースラインであるGRPOおよび自己蒸留ベースラインのRLSDを上回りました。
安定性: SDPGのバリアントは、GRPOよりも大幅に早く高報酬のプラトーに到達しました。特筆すべきは、SDPGは学習を通じて高いアクター・エントロピーを維持した一方で、RLSDはステップ250付近でエントロピーの崩壊（モード崩壊の兆候）を示したことです。
効率性: SDPGの手法は、多段階の推論に十分な長さでありながら、GRPOの冗長な出力よりも簡潔な応答を生成しました。

意義
本論文は、SDPGが疎な報酬のRLVRと、密な監督を行う自己蒸留の間のギャップをうまく埋めるものであると主張しています。自己蒸馏を方策勾配の更新として扱い、ゲーティングとスケジューリングを通じて特権的な信号を厳密に制御することにより、SDPGは優れた安定性と性能を達成しました。これは、モデル自身の特権的なコンテキストから派生した密なトークンレベルの監督が、外部の教師によるメモリオーバーヘッドや、純粋な自己蒸留による不安定性を伴うことなく、推論モデルを効果的にガイドできることを実証しています。