Stepwise Guided Policy Optimization: Coloring your Incorrect Reasoning in GRPO

本論文は、GRPO における「すべてが不正解なグループ」からの学習欠如を解消するため、ステップごとの評価モデルを用いて回答の多様性を確保し、誤った推論からも学習可能にする「Stepwise Guided Policy Optimization（SGPO）」を提案し、その有効性を理論的および実証的に検証したものです。

要約

🍳 料理の練習：「焦げても、全部捨てちゃダメ！」

想像してください。あなたが料理の修行生だとします。
ある日、先生（今の AI の学習方法「GRPO」）が「この料理を作ってみて」と言います。

• 成功した料理：「お見事！正解だ！」と褒められます。
• 失敗した料理：「全然ダメだ！全部捨てて、最初からやり直し！」と言われます。

ここが問題なんです。
もし、あなたが「卵を割る」までは完璧で、「炒める」段階で火が強すぎて焦がしてしまった場合、先生は**「最初から全部捨てて、次はまたゼロから作って」と言います。
でも、人間なら「卵を割る手順は正しかったから、そこは覚えておこう」と考えますよね？
今の AI は、「答えが間違っていれば、その過程で正しかった部分もすべて無視して、学習信号をゼロにする」という癖があります。これを論文では「全ネガティブ・グループ（すべてが間違っているグループ）」の問題**と呼んでいます。

🧭 新しい方法「SGPO」：「どこで間違えたか」を詳しくチェックする

この論文が提案する新しい方法（SGPO）は、**「ステップごとのジャッジ（審査員）」**を導入します。

1. 審査員が登場：
   料理が焦げて失敗しても、審査員が「あ、卵を割る手順は完璧！野菜を切るのも OK！でも、炒める時に火が強すぎたね」とどこで間違えたかを詳しくチェックします。
2. 部分点をあげる：
   「全部 0 点」ではなく、「卵と野菜の部分は 80 点、炒め方が 0 点」というように、正しかった部分に「部分点」を与えます。
3. AI が学ぶ：
   AI は「あ、卵を割る手順は間違っていなかったから、次もその手順を守ろう」と学びます。結果として、「失敗した経験」からも、より多くのことを学べるようになります。

🚀 なぜこれがすごいのか？（3 つのポイント）

1. 迷路の探索：「壁にぶつかる」ことも重要

AI が問題を解くとき、まるで迷路を歩いているようなものです。

• 古い方法（GRPO）：出口（正解）にたどり着けなければ、「その道は死に道だ」として、その道で歩いたすべてのステップを無視します。
• 新しい方法（SGPO）：「出口にはたどり着けなかったけど、この分岐点までは正解だったね！ここから先が間違ってたんだ」と教えてくれます。
  これにより、「間違った道」も、次のために「正しい道」を見つけるためのヒントとして使えます。

2. 先生は「正解」を知らなくてもいい

この方法のすごいところは、審査員（ジャッジモデル）が「正解の料理」を作れる必要がないことです。
審査員は**「どこで間違えたか」だけを見れば OK**です。

• 例：「この計算式は合ってるけど、最後の足し算で間違ってるね」
  これなら、非常に賢い AI（審査員）がなくても、少し賢い AI でも審査員になれるので、コストが安く済みます。

3. 早期の成長を加速

AI がまだ未熟な時期（学習の初期・中期）は、正解を出すのが難しいです。この時期に「全否定」ばかりされると、AI は何も学べずに停滞してしまいます。
SGPO は、**「未熟な AI が間違えたときこそ、その「半分正解」の部分を大切に育てる」**ので、学習がぐんぐん速くなります。

🎯 まとめ

この論文が言いたいことはシンプルです。

「AI に『間違えたから全部捨てろ』と言うのは、人間の子供に『テストで 100 点取れなかったら、勉強した時間全部無駄だ』と言うのと同じ。
instead（代わりに）、『どこが正解で、どこが間違えたか』を丁寧に教えてあげれば、AI はもっと早く、もっと賢くなれるよ！」

この新しい方法（SGPO）を使えば、AI は失敗からより効果的に学び、複雑な問題（数学や論理パズルなど）を解く力が飛躍的に向上することが実験で証明されました。

まるで、**「失敗を『ゴミ』ではなく『宝の地図』に変える」**ような魔法の技術なのです。

技術概要

論文「Stepwise Guided Policy Optimization: Coloring your Incorrect Reasoning in GRPO」の技術的サマリー

本論文は、大規模言語モデル（LLM）の推論能力を強化するための強化学習（RL）手法、特に**グループ相対方策最適化（GRPO）の限界を克服し、学習効率を向上させる新しいフレームワーク「Stepwise Guided Policy Optimization (SGPO)」**を提案するものです。

1. 背景と課題 (Problem)

近年、OpenAI-o1 や DeepSeek-R1 などの推論特化型 LLM の台頭により、複雑なタスク（数学的推論など）において、中間ステップを踏む「思考の連鎖（Chain-of-Thought）」を用いたアプローチが主流となっています。これらのモデルの学習には、正解/不正解という結果に基づいた報酬を用いる結果ベースの強化学習（RLVR）、特に GRPO が広く採用されています。

しかし、GRPO には以下の重大な欠点があります。

• 全負サンプルグループ（All-Negative-Sample Groups）の学習信号欠如:
  GRPO では、同じプロンプトに対して複数の回答（グループ）を生成し、その相対的な優劣に基づいて方策を更新します。報酬は通常「正解なら 1、不正解なら 0」という二値です。
  もし、あるグループ内のすべての回答が不正解であった場合、すべての回答の報酬が 0 になり、グループ内での平均報酬も 0 となります。その結果、利得（Advantage）がすべて 0 となり、方策の更新が全く行われなくなります。
• 人間の学習とのギャップ:
  人間は失敗から学び、部分的な正解や誤りの位置を特定することで推論能力を向上させます。しかし、従来の GRPO は「全不正解」のグループを単に破棄（学習信号なし）として扱っており、この貴重な学習機会を捨ててしまっています。

2. 提案手法：SGPO (Methodology)

著者らは、全負サンプルグループにおいても学習信号を抽出し、GRPO の学習ダイナミクスを加速させるために、ステップごとの判定モデル（Step-wise Judge Model）を利用したSGPOを提案しました。

2.1 核心的なアイデア

SGPO は、単に最終回答の正誤だけでなく、推論プロセスのどのステップで初めて誤りが発生したかを特定し、その情報に基づいて報酬を再設計します。

1. ステップごとの判定モデル:
   既存の LLM（閉源・オープンソース問わず）を「判定モデル」として適応させます。このモデルは、回答の各ステップを順に検証し、**「最初の誤り（First Error）」**が発生する位置を特定します。

   • 参照解答（Gold Solution）を提示することで、誤りの位置を正確に特定させます。
   • 信頼性を高めるため、複数の独立した評価を行い、多数決で誤りの位置を決定する戦略を採用しています。

2. 新しい報酬関数 $r_{SGPO}(y)$:
   最終回答が正解の場合は 1 ですが、不正解の場合は「正解だったステップの割合」に基づいた連続的な報酬を付与します。
   $$r_{SGPO}(y) = \begin{cases} 1 & \text{if final answer is correct} \\ \frac{1}{1 + \exp(-\beta(\text{RTS}(y) - \gamma))} & \text{otherwise} \end{cases}$$

   • RTS (Reasoning Trajectory Score): 推論軌道のスコア。全ステップ数に対する、誤り以前に正しかったステップ数の比率です（例：5 ステップ中 3 ステップが正しければ $3/5$）。
   • パラメータ $\beta, \gamma$: スケールと閾値を調整するハイパーパラメータ。これにより、ノイズの多い信号を抑制し、学習の安定性を確保します。

3. GRPO への統合:
   SGPO は GRPO のパイプラインを大きく変更するのではなく、グループ内の利得（Advantage）計算に用いる報酬 $r(x, y)$ を、上記の $r_{SGPO}(y)$ に置き換えるだけで動作します。これにより、計算コストの増加は最小限に抑えられます。

2.2 理論的保証

著者らは、簡略化された設定（2 ステップの推論タスク）において、SGPO が GRPO よりも学習ダイナミクスが加速されることを理論的に証明しました。

• GRPO では「最初のステップで正解し、2 番目で失敗」した場合も報酬 0 となり学習信号が得られませんが、SGPO では部分的な正解に対して適切な報酬が与えられ、方策がより早く最適解に収束することが示されました。

3. 主要な貢献 (Key Contributions)

1. SGPO フレームワークの提案:
   全負サンプルグループにおいても、ステップごとの判定モデルを用いて回答の多様性を生かし、学習信号を有効活用する新しい手法を提案しました。
2. 理論的解析:
   簡略化されたモデルにおいて、SGPO が GRPO よりも効率的に学習し、最適方策へ収束する速度が速いことを証明しました。
3. 大規模な実証実験:
   • モデルサイズ: 7B, 14B, 32B の各種モデルで検証。
   • 学習設定: オフライン学習とオンライン学習の両方。
   • ベンチマーク: 9 つの推論ベンチマーク（AMC23, AIME24, MATH500, Gaokao など）およびベースラインと蒸留モデルの両方。
   • 判定モデルの多様性: 高性能な閉源モデル（o4-mini, Claude 3.7）から、オープンソースモデル（DeepSeek-V3, Qwen3, QwQ-32B）まで、多様なモデルを判定器として使用し、SGPO の有効性を確認しました。

4. 実験結果 (Results)

• 全体的な性能向上:
  SGPO は、平均して GRPO よりも高い性能を達成しました。特に、学習の初期〜中期段階で「全負サンプルグループ」が多く発生する時期において、その効果が顕著でした。
• ハードな問題への対応:
  正解率が低い難しい問題（All-Negative-Sample Groups が多いケース）において、SGPO は GRPO が学習を停止してしまう局面でも、部分的な正解を評価することで学習を継続させ、より多くの問題を解けるようにしました。
• 判定モデルへの依存度:
  最先端の超大規模モデルでなくても、QwQ-32B や DeepSeek-V3 などのオープンソースモデルを判定器として使用しても、SGPO は GRPO を上回る性能を示しました。これは、SGPO が「判定モデルが問題を解けること」を要求せず、「誤りを特定すること」のみを要求する点に起因します。
• エントロピーの減少:
  学習中の方策エントロピー（Policy Entropy）を分析した結果、SGPO は GRPO よりも速やかにエントロピーを減少させ、より確定的で自信のある推論行動へ収束することが確認されました。

5. 意義と結論 (Significance)

• 失敗からの学習:
  従来の RL 手法が「全不正解」のグループを捨てるのに対し、SGPO は「部分的な正解」や「誤りの位置」を評価することで、失敗から学習する能力を LLM に付与しました。これは人間の学習プロセスに近いアプローチです。
• コスト効率と実用性:
  高価なプロセス報酬モデル（PRM）の学習や、人間によるステップごとのアノテーションを必要とせず、既存の LLM を判定器として流用できるため、実用的でスケーラブルな解決策です。
• 知識蒸留との区別:
  SGPO は、学生モデルが教師モデルの出力を単に模倣する知識蒸留とは異なり、誤りを特定し、それを基に方策を修正する「学習信号」として機能するため、蒸留では達成できない推論能力の向上を実現します。

結論として、SGPO は、GRPO の「全負サンプルグループ」における学習停止というボトルネックを解消し、より効率的かつロバストな LLM の推論能力向上を実現する重要なステップです。