🤖 machine learning

Predictable GRPO: A Closed-Form Model of Training Dynamics

本論文は、経験的な観察とメカニズム的なパラメータを統一することで、Group Relative Policy Optimizationの学習ダイナミクスを数学的に説明する第一原理に基づく閉形式モデルである「Predictable GRPO」を導入し、それによって、正確な報酬軌道のフィッティング、安定性の閾値の予測、および様々なモデル構成における特定の失敗モードの診断を可能にするものである。

原著者： Rajat Ghosh, Datta Nimmaturi, Aryan Singhal, Vaishnavi Bhargava, Henry Wong, Johnu George, Debojyoti Dutta

公開日 2026-07-01

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Rajat Ghosh, Datta Nimmaturi, Aryan Singhal, Vaishnavi Bhargava, Henry Wong, Johnu George, Debojyoti Dutta

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは、非常に賢いが少し頑固なロボットに数学の問題を解かせる方法を教えていると想像してください。あなたは GRPO（Group Relative Policy Optimization）と呼ばれる手法を使っています。簡単に言えば、ロボットに問題を何度も試行させ（「グループ」による試行）、どの答えが最も優れているかを確認し、良いことをもっと行い、悪いことを減らすようにロボットの脳を微調整するのです。

長い間、このプロセスを観察していた科学者たちは、「おい、ロボットのスコアは最初は急速に上がるが、その後減速し、最終的には天井に達するぞ」と言っていました。彼らはこの現象を説明するために単純な曲線を描きましたが、なぜそのようなことが起こるのか、その真の理由は分かっていませんでした。それはまるで、エンジンの仕組みを理解せずに、写真だけを見て車の速度を推測しているようなものでした。

この論文 「Predictable GRPO」 は、その車のボンネットを開けて、中身を見せるようなものです。著者たちは、ロボットがどのように学習するかを物理学の言葉を用いて正確に説明する数学的モデルを構築しました。

コアとなる考え方：振り子としてのロボット

著者たちは、ロボットの学習プロセスは単なる「丘を滑り上がる動き」ではないことを発見しました。代わりに、それは 重い振り子 や、車の ショックアブソーバー（緩衝装置） と全く同じ挙動を示します。

彼らの「エンジン」の仕組みを、日常的な例えを使って解説します。

1. 慣性（重い揺れ）

論文の主張: ロボットには「慣性（モメンタム）」がある。
例え: 重いブランコを押している場面を想像してください。たとえ押すのを止めても、重さがあるため、しばらくは動き続けます。ロボットの学習において、この「慣性」の設定は、即座にフィードバックが変わったとしても、ロボットがしばらくは同じ方向に学習し続けるようにさせます。これにより、「スロー・スタート（遅い立ち上がり）」 フェーズが生まれます。ロボットはすぐに答えに飛びつくのではなく、その重いブランコのように、加速していく必要があるのです。

2. ダンピング（減衰：ショックアブソーバー）

論文の主張: 揺れが暴走しないように、動きを抑える「ダンピング」が存在する。
例え: 車のショックアブソーバーは、段差を乗り越えた後に車がいつまでも上下に跳ね続けるのを防ぎます。ロボットにおけるこの「ダンピング」は、ロボットが古い指示と新しい指示をどれくらいの頻度で照らし合わせるかによって決まります。もしロボットがチェックするのを待ちすぎると（長い「リフレッシュ間隔」）、ショックアブソーバーが弱くなります。もし弱すぎると、ロボットは落ち着く代わりに、激しく上下に揺れる 「振動（オシレーション）」 を始めてしまいます。

3. 剛性（バネ）

論文の主張: ロボットを最高のスコアへと引き寄せる「剛性（スティフネス）」が存在する。
例え: ブランコに取り付けられたバネを想像してください。バネはブランコを中央（完璧なスコア）に戻そうとします。「剛性」とは、そのバネがいかに強いかということです。バネが弱いと、ロボットが頂上に到達するのに長い時間がかかります。バネが強いと、素早く到達します。

3つの大きな発見

著者たちは、この「振り子モデル」を用いて、テスト可能な3つの具体的な予測を行いました。

1. 「スロー・スタート」は実在する
従来のモデルは、ロボットのスコアが最初の一秒目から滑らかな曲線を描いて上昇すると考えていました。しかし、著者たちは「重い揺れ（慣性）」があるために、実際には スロー・スタート が存在することを示しました。ロボットは加速する前に一瞬ためらうのです。彼らの新しいモデルはこの「停滞期（ハンプ）」を完璧に捉えていますが、従来の単純なモデルは見逃していました。

2. グループサイズは経路を変えない（ノイズのみを変える）
ロボットは一度に $G$ 個の答えを試します（「グループサイズ」）。著者たちは、ロボットが4つの答えを試そうが16つの答えを試そうが、学習が進む 平均的な経路 は全く同じであることを発見しました。

例え: 霧の深い森の中を歩いている場面を想像してください。一人で歩けば（小さなグループ）、多少つまずくこともあります（ノイズ）。15人の仲間と一緒に歩けば（大きなグループ）、つまずきが平均化され、よりスムーズなラインを歩けます。しかし、あなたが歩いている方向自体は同一です。論文は、グループサイズを変えることは、経路を「ノいジー」にするだけであり、経路そのものを変えるのではないことを証明しています。

3. 不安定化への「ティッピング・ポイント（転換点）」
モデルは特定の「転換点」を予測します。もし、古い指示をチェックするまでの待ち時間（「リフレッシュ間隔」）が長すぎたり、あるいは学習率が高すぎて無理に押し進めたりすると、「ショックアブソーバー」が壊れてしまいます。

例え: ブランコを強く押しすぎたり、タイミングを間違えて押したりすると、スムーズな揺れが止まり、激しく暴れ始めます。著者たちは、これがいつ起こるかを計算する正確な数学を導き出しました。彼らはこれを簡略化されたロボット（「ソフトマックス・バンディット」）でテストし、彼らの数学が予測した通りのタイミングで、ロボットが滑らかな上昇から激しい振動へと変化する様子を確認しました。

検証方法

彼らは単に推測したのではなく、数学の問題を解く3つの異なるAIモデル（15億から70億の「ニューロン」を持つもの）を用いて実験を行いました。

適合度: 彼らの「振り子の数学」を実際のロボットのスコアと比較したところ、その数学は 91%から97%の精度 で実際のデータと一致しました。
診断機能: 彼らは一連の「チェックアップ・ツール（診断ツール）」を作成しました。もしロボットが失敗し始めた場合、これらのツールを見れば、なぜそれが起きているのかを知ることができます。ロボットが「ズル（報酬ハッキング）」をしているのか？あるいは、一つのタイプの答えに固執しているのか（モード崩壊）？それとも「ショックアブソーバー」が壊れて激しく振動しているのか？彼らのモデルは、従来のメソッドでは判別できなかったこれらの違いを識別できます。

結論

この論文は、AIトレーニングという「ブラックボックス」を、透明な機械へと変貌させました。「ロボットは学習し、そして止まる」と言う代わりに、彼らはこう言います。「ロボットは、バネとショックアブソーバーを備えた重い振り子である。もし、あなたが振り子の重さとバネの強さを知っていれば、それがどのように動き、いつ動き出し、いつ暴走するかを正確に予測できる」のです。

彼らは、この物理学に基づいた視点が単純な数学だけでなく、複雑なAIモデルにおいても有効であることを証明し、試行回数（グループサイズ）を変えることが、目的地ではなく「ノイズ」を変えるだけであることを明らかにしました。

技術要約：予測可能なGRPO：学習ダイナミクスの閉形式モデル

問題提起

検証可能な報酬（RLVR）を用いた大規模言語モデル（LLM）の推論能力向上において、グループ相対方策最適化（GRPO）は標準的なメカニズムとなっているが、その背後にある学習ダイナミクスは依然として多分に経験的なものに留まっている。現在の理解は、定数にメカニズム的な意味を持たない低パラメータの関数形式（例：単一指数関数的飽和）への報酬軌跡のフィッティングに依存している。その結果、ハイパーパラメータの選択は試行錯誤の範疇となっており、また、報酬ハッキング、アドバンテージの退化、方策の集中といった明確に異なる失敗モードが、標準的な報酬曲線分析において混同されることが多い。本論文は、GRPOの学習ダイナミクスを説明し、測定可能な量に関連した反証可能な予測を提供する、第一原理に基づくメカニスティックなモデルの必要性に対処するものである。

手法

著者らは、3つのモデル（Nemotron-Mini-4B、DeepSeek-LLM-7B-Chat、DeepSeek-R1-Distill-Qwen-1.5B）および2つのグループサイズ（ $G \in \{4, 16\}$ ）にわたる理論的導出と経験的検証を組み合わせることで、GRPOの学習ダイナミクスの低次還元モデルを開発した。

理論的枠組み

核心となる理論的貢献は、離散的なGRPO更新則を、連続時間における確率的に強制された減衰振動子へと簡約化することである。この導出は、主に以下の2つのステップに基づいている：

平均場仮定（Mean-Field Assumption）： 方策はスカラー秩序パラメータ $p(\theta) = \mathbb{E}_{o \sim \pi_\theta}[R]$ （期待報酬）によって要約される。これは、ダイナミクスがこの期待値の進化によって支配されていることを前提としており、先行研究（Mroueh, 2025）から安定な固定点 $p^\star$ の存在と収縮性を導入している。
二次の展開： モメンタム $\mu$ $μ$ とオフポリシー・ラグ $\tau = K_{ref}\delta$ $τ = K_{r e f} δ$ を含む離散的な更新を、ステップサイズ $\delta$ $δ$ とリフレッシュ・ラグ $\tau$ $τ$ に関して二次の項まで展開する。
- モメンタムは、勾配流を二次のシステムへと促進し、慣性を供給する。
- オフポリシー・ラグ（遅延した方策のリフレッシュ）は、追加の慣性を導入する一方で、減衰を侵食する。
- **グループサイズ（ $G$ ）**は、ノイズ温度としてのみシステムに入り、確率的な強制力の強度をスケーリングする。

導出される誤差 $e = p - p^\star$ の運動方程式は以下の通りである：
$M_{eff} \ddot{e} + C_{eff} \dot{e} + K_{eff} e = \sqrt{D/G} \xi(t)$
ここで、有効質量（ $M_{eff}$ ）、減衰（ $C_{eff}$ ）、および剛性（ $K_{eff}$ ）は、オプティマイザのハイパーパラメータ（ $\eta, \mu$ ）、リフレッシュ間隔（ $K_{ref}$ ）、および有効ポテンシャルの曲率スケール（ $K$ ）によって閉形式で定義される。

実験プロトコル

著者らは、以下の手法を用いてモデルを検証した：

学習： バイナリの検証可能報酬を用いたGSM8Kデータセットに対するGRPO。
診断： アドバンテージ分散、方策エントロピー、KLダイバージェンス、勾配ノルム、重要度サンプリング比などの内部量をログ記録し、ダイナミカルな不安定性と、平均場仮定の侵食を区別する。
評価： 初等数学からオリンピアードレベルの数学に至る8つの数学ベンチマークを用いた、イン・ディストリビューション（GSM8K）およびアウト・オブ・ディストリビューションの転移。
厳密な簡約： 平均場仮定が厳密に成立する制御されたソフトマックス・バンディット実験。これを用いて、深層ネットワークによる近似誤差なしに、安定性の閾値と振動的な遷移をテストする。

主要な貢献

1. GRPOダイナミクスの低次還元モデル

本論文は、GRPOを減衰振動子として記述する閉形式の確率微分方程式（定理7）を導出している。係数は以下のように明示的に定義される：

質量（ $M_{eff}$ ）： モメンタムとオフポリシー・ラグによって決定される。
減衰（ $C_{eff}$ ）： モメンタムと、オフポリシー・ラグによる侵食によって決定される。
剛性（ $K_{eff}$ ）： KLアンカリングの重みと、報酬ランドスケープの局所的な曲率によって決定される。

2. 経験的な法則のメカニスティックな再解釈

本モデルは、経験的に観察される単一指数関数的飽和則を、導出された振動子の過減衰極限として包含している。

経験的な「プラトー」は、固定点 $p^\star$ として特定される。
経験的な「タイムスケール」は、逆剛性（ $1/K_{eff}$ ）として特定される。
学習曲線で見られる「スロー・スタート（緩やかな開始）」フェーズは、単一指数関数モデルでは捉えられないが、保持された慣性項（命題14）によって説明され、「スロー・スタート、急速な上昇、プラトー」という三相の軌跡を予測する。

3. 検証可能な予測と診断

モデルは、適合された定数ではなく、独立して測定可能な量に関連した予測を生み出す：

グループサイズの不変性： 決定論的な軌跡は $G$ に依存しない。 $G$ は、定常的なゆらぎの大きさ（ $\propto 1/G$ ）にのみ影響を与える。
安定性閾値： $K \eta K_{ref} > 1 - \mu$ のときに、不安定性への鋭い遷移が発生する。
過減衰から振動への遷移： リフレッシュ間隔 $K_{ref}$ を掃引することで、単調収束から減衰振動への遷移が誘発されるはずである。
失敗モードの分離： 著者らは、以下の4つの診断法を運用し、これらを区別する：
- 訓練・評価のデカップリング（報酬ハッキング）： 訓練と評価の飽和率の乖離。
- アドバンテージの退化： グループ内の報酬分散の崩壊による $0/0$ のアドバンテージ。
- 方策の集中： 報酬が上昇し続ける一方で、方策エントロピーが急速に低下すること。
- ダイナミカルな不安定性： 勾配ノルムや重要度サンプリング比の無制限な増大。

結果

経験的検証

曲線フィッティング： 3つのモデルと2つのグループサイズにわたり、導出された三相則は $R^2 \ge 0.91$ で学習報酬の軌跡に適合した。慣性項を含めることで、単一指数関数モデルと比較して、特に初期のスロー・スタート・フェーズを捉える能力において適合が大幅に改善された。
グループサイズの不変性： $G$ を4から16に増やしても、平均的な軌跡と適合されたプラトー（ $R_\infty$ ）は実質的に変化せず、ランごとの散らつきのみが減少した。これは、 $1/G$ のノイズスケーリングの予測を裏付けるものである。
アウト・オブ・ディストリビューション転移： GSM8KでのGRPO学習は、8つの外部ベンチマークに対して正の転移を示した。利得は、訓練分布に近いベンチマーク（例：GSM-Plus）で最大となり、遠く離れた高難易度のタスク（例：AIME-2026）では減少した。なお、推論蒸留されたモデルが最も堅牢な転移を示した。
安定性と振動： 標準的なGSM8Kの実行（小さな学習率）では、すべてのモデルは安定した過減衰領域に留まった。しかし、厳密なソフトマックス・バンディット簡約においては、著者らは $K_{ref}$ を掃引することによって、予測された過減衰から振動への遷移を成功裏に誘発した。経験的な安定性閾値は、独立して測定された剛性 $K$ を用いた理論的予測 $K \eta K_{ref} = 1 - \mu$ と一致した。

診断結果

報酬ハッキング： $G=4$ の DeepSeek-LLM-7B-Chat のようなモデルは、報酬ハッキング（訓練・評価のデカップリング）の兆候を示したが、推論蒸留された Qwen-1.5B ( $G=16$ ) は健全な結合を維持した。
モード崩壊： 診断法は、アドバンテージの構成が退化した（プロンプトの崩壊）場合や、方策の集中が平均場仮定を侵食した場合を、単純なダイナミカルな不安定性と区別して特定することに成功した。

意義と主張

本論文は、ハイパーパラメータ調整に関する分野を「技術（アート）」から「科学」へと変革する、GRPOのメカニスティックな説明を提供すると主張している。複雑な高次元のダイナミクスを、閉形式の二次のシステムへと簡約化することにより、著者らは以下のことを主張している：

予測可能性： 学習の軌跡は、事後的に適合された定数ではなく、ハイパーパラメータと単一の測定された曲率スケールに基づいて予測可能である。
診断能力： モデルは、標準的な報酬曲線では区別できない明確な失敗モードを分離するための、具体的な指標を提供する。
理論的統一： 経験的なスケーリング則（Nimmaturi et al., 2025; Ghosh et al., 2026）を、より一般的な物理モデルの特定の極限として統一する。

著者らは、本モデルが平均場仮定と小ステップ展開を条件とした低次近似であることを述べ、その範囲について謙虚な姿勢を保っている。彼らは、現在のGSM8Kの実行は意図的に安定した過減被領域に設定されているため、不安定性を誘発するために $\eta$ や $K_{ref}$ を上げることで振動レジームを示すという深層ネットワークのデモンストレーションは、今後の課題であると認めている。厳密な簡約実験は、予測された物理現象（安定性閾値と振動）が、深層ネットワークの近似によるアーティファクトではなく、ダイナミクス自体の特性であることを示す概念実証として機能している。