🤖 AI

GRPO is Secretly a Process Reward Model

本論文は、結果報酬モデルを用いたグループ相対方策最適化（GRPO）がプロセス報酬モデルと理論的に等価であることを証明し、不均衡なステップの扱いにおける欠陥を特定するとともに、明示的なプロセス報酬モデルを必要とせずに推論性能と訓練効率を大幅に向上させる単純な修正（ $\lambda$ -GRPO）を提案する。

原著者： Michael Sullivan, Alexander Koller

公開日 2026-05-29

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Michael Sullivan, Alexander Koller

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

「GRPO は実はプロセス報酬モデルである」という論文の説明を、日常の比喩を用いた簡単な概念に分解して以下に示します。

大きなアイデア：レシピの「秘密の調味料」

複雑な数学の問題を解くロボットを教える場面を想像してください。ロボットにプロンプトを与えると、それは解答をステップごとに書き出そうとします。

通常、ロボットを評価する方法は 2 つあります。

最終評価（結果報酬）： 最後の部分だけを見ます。正解でしたか？もしそうなら +10 点、そうでなければ 0 点です。これは、教師が生徒の取り組み過程を無視して、最終試験の点数だけを見るようなものです。
ステップごとの評価（プロセス報酬）： 各ステップをすべて評価します。「方程式の立て方は素晴らしい」「おっと、ここで符号が間違っています」などです。これは、人間（または賢い AI）が各行をチェックする必要があるため、実行が難しいものです。

論文の発見：
著者らは、GRPO（Group Relative Policy Optimization：グループ相対方策最適化）と呼ばれる人気のある学習手法が、本来は最初のもの（最終評価）だけを行うはずなのに、実際には偶然にも 2 番目のもの（ステップごとの評価）を行っていることを発見しました。

彼らはこれを「プロセス報酬モデル（PRM）」と呼びますが、GRPO は「秘密裡に」それを行っていると言います。まるで、ケーキを焼いているだけだと思っているシェフが、自分が気づいていない秘密の材料を使って、完璧に膨らんだケーキを作っているようなものです。

「秘密」の仕組み：グループチャットの比喩

GRPO がどのようにして秘密裡にステップを評価するかを理解するために、同じなぞなぞを解こうとする生徒たち（「グループ」）の教室を想像してください。

設定： 教師が質問を出します。5 人の生徒がそれぞれの答えを書き出します。
重複：
- 生徒 A は書きます：「まず、2 を足して…」
- 生徒 B は書きます：「まず、2 を足して…」
- 生徒 C は書きます：「まず、2 を足して…」
- 生徒 D は書きます：「まず、5 を掛けて…」
- 生徒 E は書きます：「まず、5 を掛けて…」
生徒 A、B、C は同じ最初のステップ（「2 を足す」）を共有していることに気づきます。生徒 D と E は異なる最初のステップを共有しています。
秘密の評価：
- グループの最終答えが良い場合、教師はグループ全体に高いスコアを与えます。
- A、B、C が同じ最初のステップを共有していたため、アルゴリズムは次のように気づきます：「おい、この特定のステップ（『2 を足す』）は、この 3 人にとって良い結果につながっているようだ」。
- すると、それを使った全員に対して、その特定のステップに「ボーナス」を与えます。
- 逆に、グループが失敗し、D と E の両方が「5 を掛ける」で始めた場合、アルゴリズムはそのステップがリスクが高いと気づき、それにペナルティを与えます。

結果： 教師は最終答えだけを見ていたにもかかわらず、アルゴリズムは成功したグループにどのステップが一緒に現れたかを見るだけで、どのステップが良く、どのステップが悪かったかを効果的に突き止めました。

問題点：「不公平な群衆」

著者らは、この秘密のメカニズムに欠陥があることを発見しました。群衆がバランスが取れているときはうまく機能しますが、バランスが崩れると破綻します。

比喩：
特定のアイデアに投票した人数を数える投票システムを想像してください。

シナリオ： 90% の生徒が「2 を足す」で始め、10% の生徒だけが「5 を掛ける」で始めます。
欠陥： 「2 を足す」グループが平均よりわずかに低いスコアを得た場合、アルゴリズムは「5 を掛ける」ステップを罰するよりも、単にそれを行う人が多いため、「2 を足す」ステップを90 倍も強く罰します。
結果： ロボットは、たとえそれが実際には良い道であっても、単に「群衆」が大きすぎてわずかに悪いスコアを得たという理由だけで、「2 を足す」経路を完全にやめてしまうかもしれません。数値が偏っていると、新しい経路を探求したり、良い経路に固執したりするのが怖くなってしまうのです。

解決策： $\lambda$ -GRPO（「公平性フィルター」）

著者らは、 $\lambda$ -GRPOと呼ばれる簡単な解決策を提案しました。

比喩：
すべての投票を均等に数える代わりに、「公平性フィルター」を追加します。

ステップが非常に人気がある場合（多くの生徒がそれを行った場合）、フィルターは「よし、スコアを人数で割ろう」と言います。
ステップが稀な場合、フィルターは「よし、これに重み付けをしよう」と言います。

これにより、ステップが、その特定のグループで偶然に何人がそれを行ったかではなく、その独自の実績に基づいて評価されるようになります。アルゴリズムが群衆のサイズに押されっぱなしになるのを防ぎます。

結果：より速く、より賢く

著者らは、この解決策を実際の数学の問題でテストしました。

パフォーマンスの向上： 修正版（ $\lambda$ -GRPO）を使用したモデルは、標準的なモデルよりも数学的推論タスクで良いスコアを獲得しました。
学習の高速化： 彼らは半分の時間（トレーニングステップ数が少ない）でピークパフォーマンスに達しました。
追加コストなし： 各行を評価するために高価な人間を雇う必要はありませんでした。既存のアルゴリズムの数学を微調整しただけです。

まとめ

この論文は、人気のある AI 学習手法（GRPO）が、実は最初からステップごとの評価者として秘密裡に機能していたことを明らかにしています。しかし、バランスの取れないグループに混乱するというバグを持っていました。著者らは、単純な数学的な微調整（ $\lambda$ -GRPO）でこのバグを修正し、追加の高価なツールを必要とせずに、AI が推論タスクをより速く、より良く学習できるようにしました。

技術的サマリー：GRPO は秘密裏にプロセス報酬モデルである

問題提起

大規模言語モデル（LLM）に対する強化学習（RL）は、しばしば、完全な軌道に対して単一のスカラー報酬を割り当てる結果報酬モデル（ORM）に依存している。プロセス報酬モデル（PRM）は中間ステップに対して報酬を与えることで、より微細なクレジット割り当てを提供するが、明示的なニューラル PRM の訓練には高コストなステップレベルの人間によるアノテーションが必要であり、報酬ハッキングのリスクに晒される。その結果、数学的推論における多くの成功した RL 応用は、従来の PPO で用いられるクリティックモデルと一般化アドバンテージ推定（GAE）を排除するグループ相対方策最適化（GRPO）を利用している。

しかし、GRPO がステップレベルの信号をどのように処理するかについての理解には、重要なギャップが存在する。GRPO は通常、結果レベルのアルゴリズムと見なされているが、それが暗黙的にプロセスレベルのクレジット割り当てを実行するかどうかは不明である。さらに、そのような暗黙的な割り当てが存在する場合、プロセスステップの頻度や報酬が不均衡である際に、標準的な GRPO の目的関数が探索と利用に悪影響を及ぼす内在的な欠陥を含んでいるかどうかは未知である。

手法

理論的同等性

著者は、ORM を備えた標準的な GRPO が、非自明なモンテカルロベースの PRM を備えた PRM 対応の RL 目的関数と数学的に同等であることを理論的に証明する。

暗黙のプロセスステップ: 著者は、トレーニンググループ $G$ 内の軌道の部分集合であり、同一の接頭辞を共有する「プロセス集合」( $\lambda$ ) を定義する。これらの共有接頭辞は、自然にプロセスステップ（部分軌道）を定義する。
暗黙的 PRM の構築: 彼らは、各軌道をプロセスステップの列にマッピングする関数 $f$ を構築する。特定のプロセスステップに割り当てられる報酬は、その特定の接頭辞を共有するグループ内のすべての軌道の結果報酬の平均（モンテカルロ推定値）である。
同等性の証明: 穏やかな仮定（具体的には、トークンレベルの方策勾配目的関数とバッチあたりの単一更新イテレーションを使用する）の下で、著者は標準的な GRPO 損失関数 ( $L_{GRPO}$ ) が、これらの暗黙的なステップレベルの報酬に対してアドバンテージを計算する PRM 対応の損失関数 ( $L_{PRM}$ ) と同一であることを証明する。

欠陥の特定

分析は、不均衡なプロセスステップの頻度に関連する標準的な GRPO 目的関数の欠陥を明らかにする。

標準的な定式化では、プロセスステップの総損失への寄与は、そのステップを共有する軌道の数 ( $|\lambda|$ ) によってスケーリングされる。
プロセスステップが負のアドバンテージを持つ場合（つまり、その平均報酬がグループ平均を下回る場合）、そのステップを多くの軌道が共有している場合、ペナルティは $|\lambda|$ によって増幅される。これは、そのステップを生成する確率を不均衡に抑制し、他の軌道と低報酬の接頭辞を共有する偶然のことがあっても、高報酬の軌道の探索を妨げる可能性がある。
逆に、ステップが正のアドバンテージを持つ場合、報酬信号が増幅され、代替経路の探索を妨げる可能性がある。

提案される解決策： $\lambda$ -GRPO

この欠陥を緩和するため、著者は GRPO 損失関数の単純な修正である $\lambda$ -GRPOを提案する。

メカニズム: トークン $y^{(i)}_t$ に対するトークンレベルの損失は、そのプロセス集合のサイズの逆数、 $|\lambda(i,t)|^{-1}$ によってスケーリングされる。
効果: この正規化により、標準的な目的関数に見られる頻度スケーリング因子 $|\lambda|$ が相殺される。その結果、各プロセス集合は、どの程度の数の軌道がその接頭辞を共有するかに関係なく、与えられたインデックスにおいて損失に均等に寄与する。これにより、アルゴリズムがグループ内での頻度のみを理由にステップを過剰に罰したり過剰に報酬したりすることを防ぐ。

主要な結果

暗黙的 PRM の実証的検証

著者は、実世界の設定において「隠れた」PRM 構造が非自明であることを実証的に検証した。

OpenRS 数学推論データセットを用いて、トレーニング中に軌道接頭辞によって形成される木構造 ( $B(G)$ ) を分析した。
結果、グループサイズが 6 と 36 の場合、生成されたグループの 99% 以上が非自明なプロセス報酬（つまり、接頭辞が著しく重複する）を誘発することが示された。
トレーニングが進みモデルが収束するにつれて、これらの接頭辞構造の複雑さ（経路の深さ）と、中間ステップに関与するトークンの割合が劇的に増加した。

合成タスクにおける性能

「反探索」仮説をテストするために設計された合成の二分木環境において：

標準的な GRPO は、その経路が低報酬の経路と接頭辞を共有する場合（増幅された負のアドバンテージのため）、最大報酬のターゲット経路への収束に苦労した。
$\lambda$ -GRPO は、接頭辞の長さや負の報酬値のさまざまな構成において、ターゲット経路への収束を標準的な GRPO よりも一貫して頻繁に達成した。

下流の推論ベンチマーク

著者は、OpenRS データセット上で DeepSeek-R1-Distill-Qwen-1.5B および Llama-3.2-1B-Instruct モデルをファインチューニングし、5 つの推論ベンチマーク（AIME24、MATH-500、AMC23、Minerva、OlympiadBench）で評価した。

精度: $\lambda$ -GRPO モデルは、20 の特定のタスク/モデル構成のうち 15 で、標準的な GRPO モデルを上回った。
効率性: $\lambda$ -GRPO モデルは、標準的な GRPO が必要とするトレーニングステップ数の半分未満で、ピーク検証精度に到達した。
高速化: 著者は、ピークパフォーマンスまでのステップ数という点で、正規化計算の計算オーバーヘッドは無視できる程度であるにもかかわらず、約 2 倍のトレーニング速度向上を報告している。

意義と主張

本論文は、標準的な GRPO アルゴリズムが、結果レベルの報酬と軌道の重複から導き出される、豊かで組み込み型の PRM 構造をすでに有していると主張する。この研究の意義は、主に 3 つの領域にある。

理論的洞察: GRPO の謎を解き明かし、それが単なる結果レベルのアルゴリズムではなく、モンテカルロ推定を通じて構造化されたステップレベルの報酬を暗黙的に最適化するものであることを証明する。
アルゴリズム的改善: 頻度の不均衡に関する標準的な目的関数の特定の数学的欠陥を特定し、パフォーマンスを大幅に向上させる計算コストの低い解決策（ $\lambda$ -GRPO）を提供する。
実用的影響: 明示的なニューラル PRM の訓練やステップレベルの人間によるアノテーションの収集のコストなしに、高品質なステップレベルのクレジット割り当てを達成できることを実証する。暗黙的な構造を活用することで、実務家は追加コストをほとんどかけずに推論能力とトレーニング効率を向上させることができる。

著者は、今後の研究は高価で明示的な PRM のみに依存するのではなく、これらの暗黙的なステップレベルの信号を活用すべきであると結論付けている。