Group-Relative REINFORCE Is Secretly an Off-Policy Algorithm: Demystifying Some Myths About GRPO and Its Friends

本論文は、グループ相対 REINFORCE（GRPO）が本質的にオフポリシーアルゴリズムとして解釈可能であることを示し、重要性サンプリングやクリッピングの役割を解明するとともに、正則化とデータ分布の調整という二つの原則に基づいたオフポリシー RL の新たな設計指針を提示する。

要約

この論文は、人工知能（AI）の「勉強方法」について、これまで考えられていた常識を覆す面白い発見をした研究です。

タイトルにある**「GRPO（グループ相対方策最適化）は、実は『オフポリシー』アルゴリズムだった！」**というのが核心です。

これを一般の方にもわかりやすく、日常の例え話を使って解説します。

---

1. 背景：AI はどうやって勉強するの？

まず、AI（大規模言語モデル）が賢くなるための「勉強方法」には、大きく分けて 2 つのスタイルがあります。

• オンポリシー（On-Policy）：「その場でリアルタイムに勉強する」

  • 例え： 料理の修行で、今、自分が作った料理を食べて「おいしかった！次はもっと塩を」と即座に反省し、その直後の料理で試すスタイル。
  • 特徴： 非常に正確で安全ですが、「今作った料理」しか使えません。失敗した料理は捨ててしまい、二度と使えません。そのため、勉強に時間がかかります。
  • 現状： 現在の AI 開発の主流（PPO や GRPO など）は、この「オンポリシー」方式だと考えられていました。

• オフポリシー（Off-Policy）：「過去のデータや他人の料理も活用する」

  • 例え： 自分が作った料理だけでなく、昨日作った料理や、先輩が作った料理、あるいは失敗した料理さえもすべて集めて、「なぜ失敗したか？」「なぜ成功したか？」を分析して勉強するスタイル。
  • 特徴： データを無駄にせず、効率よく勉強できます。しかし、「過去のデータ」を使うと、今の自分の味覚（現在の AI の能力）とズレが生じやすく、勉強が狂うリスクがあります。

2. この論文の「大発見」

これまでの常識では、「GRPO という有名な AI 学習アルゴリズムは、オンポリシー（その場限りの勉強）しかできない」と考えられていました。

しかし、この論文の著者たちは、**「実は GRPO は、元々『オフポリシー（過去のデータも使える）』の性質を秘めていた！」**と数学的に証明しました。

【発見の核心：グループで比較する魔法】
GRPO は、同じ質問に対して AI に「5 つの答え」を出させ、その中で「一番良い答え」と「一番悪い答え」を比べて、「平均的な答え」からのズレを基準に勉強させます。

• 従来の解釈： 「今の自分の答えと、過去の自分の答えを比べて、重み付け（重要度サンプリング）をして勉強している」と思われていた。
• 新しい解釈： 「実は、グループ内の 5 つの答え同士を比較しているだけで、過去のデータとのズレを気にしなくても、自然と正しい方向に勉強が進む仕組みになっている！」

つまり、**「重み付けという面倒な計算（重要度サンプリング）は、実はあまり重要じゃなかった」**という驚きの結論です。

3. 具体的な 3 つの教訓（神話の解明）

この新しい視点から、AI 学習の「神話」を 3 つ解き明かしました。

① 「クリッピング（はさみ）」が本当のヒーロー

• 神話： 「過去のデータを使うときは、AI が大きく方向転換しないように、**『重要度サンプリング（重み付け）』**という計算で慎重に調整する必要がある」。
• 真実： 重要度サンプリングは実は不要。本当に重要なのは**「クリッピング（はさみ）」**です。
  • 例え： 勉強中に「やりすぎ！」と AI が暴走しないように、「はさみ」で学習の幅を制限することの方が、はるかに重要です。
  • 効果： 「はさみ」の幅を広く設定しても、AI は安定して早く勉強できることがわかりました。これまでは「幅を狭くしないと危ない」と思われていましたが、実は「広くしても大丈夫」だったのです。

② 最近の流行りアルゴリズムの正体

• 神話： Kimi 社の「OPMD」や Meta 社の「AsymRE」という新しいアルゴリズムは、全く新しい発想で書かれている。
• 真実： これらは、**「普通の勉強（REINFORCE）＋ regularization（正則化＝安定させるための罰則）」**という、実はシンプルな組み合わせだった。
  • 例え： 「ただ勉強する」だけでなく、「昔の自分とあまり変わらないようにしなさい（正則化）」というルールを加えただけで、これらが成立していることがわかりました。

③ データの選び方（重み付け）のヒント

• 神話： 「失敗したデータ（低い点数の答え）は全部捨てて、成功したデータだけ使えばいい」というのは、理論的にはおかしいはず。
• 真実： 実際には、**「失敗したデータは捨てて、成功したデータに重点を置く」**という直感的な方法が、この新しい理論でも正当化されます。
  • 例え： 料理の修行で、「まずい料理」は捨てて、「美味しい料理」のレシピだけを何回も練習する方が、結果的に上達する。これは「オフポリシー」の視点から見ても理にかなっていることがわかりました。

4. なぜこれが重要なのか？

この発見は、AI 開発の現場で**「劇的な効率化」**をもたらします。

• インフラの簡素化： 「重み付け」の計算が不要になるため、システムがシンプルになります。
• データの無駄遣いなし： 過去のデータや、少し古いデータ、あるいは失敗したデータも、そのまま有効活用できるようになります。
• 高速化： 「はさみ（クリッピング）」の幅を広く取れるため、AI はより大胆に、より速く学習を進められます。

まとめ

この論文は、**「AI の勉強法（GRPO）は、実はもっと自由で、過去のデータも活用できる『オフポリシー』な性質を持っていた」**と明かしました。

これまで「慎重に重み付けをしないといけない」と思われていたのは、実は「はさみ（クリッピング）」で学習の幅をコントロールするだけで十分だったのです。

これは、AI がより安く、速く、そして賢く育つための新しい道筋を示す、非常に重要な研究です。

技術概要

論文「GROUP-RELATIVE REINFORCE IS SECRETLY AN OFF-POLICY ALGORITHM」の技術的サマリー

この論文は、大規模言語モデル（LLM）における強化学習（RL）の分野、特にオフポリシー学習の文脈において、既存のアルゴリズムである GRPO（Group Relative Policy Optimization）や REINFORCE の変種に対する根本的な再解釈と、その理論的基盤の確立を目的としています。

以下に、問題設定、手法、主要な貢献、実験結果、および意義について詳細にまとめます。

---

1. 問題設定と背景

• オフポリシー RL の必要性: 現実世界の LLM 応用（エージェント、ツール利用、長期計画など）では、オンポリシー学習（現在のポリシーから常に新しいデータを生成して学習する）には限界があります。ロールアウト生成とモデル学習の速度不一致、遅延する報酬フィードバック、異なるポリシーからのデータ収集、過去の経験の再利用（リプレイ）など、オフポリシー性が生じる要因は多岐にわたります。
• 既存手法の限界: 現在の LLM-RL の主流である PPO や GRPO は、本質的にオンポリシーアルゴリズム（REINFORCE の派生）です。これらは重要性サンプリング（Importance Sampling, IS）を用いて限定的なオフポリシー性を処理できますが、現在のポリシーと行動ポリシー（Behavior Policy）が離れすぎると不安定になります。
• 既存の神話: 多くの研究者は、GRPO の安定性が「重要性サンプリング」や「狭いクリッピング範囲」によるものだと信じており、オフポリシー学習には ad-hoc な分析や特別なアルゴリズム設計が必要だと考えられています。

2. 手法と理論的導出

著者は、グループ相対 REINFORCE（Group-Relative REINFORCE）が、特定のデータ分布を仮定しない第一原理（First-Principles）からの導出によって、本質的にオフポリシーアルゴリズムとして解釈できることを示しました。

2.1 新たなオフポリシー解釈の導出

従来の方策勾配定理（Policy Gradient Theorem）に基づくアプローチではなく、以下の 3 段階で導出を行いました：

1. 代理目的関数（Surrogate Objective）の定義: KL 正則化項を付加した目的関数を定義し、その最適解が満たすべき整合性条件（Consistency Condition）を導出します。
   • 最適方策 $\pi$ は、$\pi(y|x) \propto \pi_{\theta_t}(y|x) \exp(r(x,y)/\tau)$ の形をとります。
2. 代理損失関数（Surrogate Loss）の定義: 有限サンプル（グループ内の複数の回答）を用いて、上記の整合性条件を強制する二乗誤差損失を定義します。
   • $L \propto \sum_{i<j} (a_i - a_j)^2$ （ここで $a_i$ は報酬とログ確率の線形結合）。
3. 勾配ステップの計算: この損失関数に対して、現在のパラメータ $\theta_t$ において1 回の勾配降下ステップを計算します。
   • この計算結果が、驚くべきことにグループ相対 REINFORCE の更新則そのもの（グループ内の平均報酬を基準とした Advantage を用いた更新）と一致することが証明されました。

結論: この導出は、トレーニングデータが現在のポリシーから生成されたもの（オンポリシー）であるという仮定を一切置かないため、グループ相対 REINFORCE は本質的にオフポリシーアルゴリズムであることを示しています。

2.2 オフポリシー学習を強化する 2 つの原則

この解釈に基づき、オフポリシー設定で REINFORCE を安定させるための 2 つの一般原則を提唱しました：

1. 方策更新の正則化（Regularization）: 最適でないデータ分布から学習する際、更新ステップを安定させるために正則化項（例：クリッピングや KL 正則化）を導入する。
2. データ分布の能動的な形成（Active Shaping）: 学習データをそのまま使うのではなく、重み付けやサンプリングの調整（例：低報酬サンプルの除外、高報酬サンプルの強調）によって更新方向を誘導する。

3. 主要な貢献と発見（Myths の解明）

この新しい枠組みを用いて、近年の RL アルゴリズムの動作原理を再解釈し、いくつかの「神話」を解明しました。

• F1: GRPO におけるクリッピングの役割:
  • GRPO の効果は「重要性サンプリング」によるものではなく、クリッピングによる正則化によるものであることが示されました。
  • 実験により、従来の狭いクリッピング範囲（$\epsilon=0.2$）よりも、はるかに広い範囲（例：$\epsilon_{low}=0.6, \epsilon_{high}=2.0$）に設定することで、安定性を損なわずに収束を大幅に加速できることが確認されました。
• F2: OPMD と AsymRE の再解釈:
  • Kimi の OPMD（Online Policy Mirror Descent）や Meta の AsymRE（Asymmetric REINFORCE）は、元の論文で説明されている動機とは異なり、**「REINFORCE 損失 ＋ 正則化損失」**として統一的に解釈できることが示されました。
• F3: データ重み付けヒューリスティクスの正当化:
  • 低報酬サンプルの除外（RED-DROP）や高報酬サンプルの重み付け強化（RED-WEIGHT）といったヒューリスティックな手法は、オフポリシー解釈の枠組み内で理論的に正当化され、高い性能を示すことが実証されました。

4. 実験結果

Trinity-RFT フレームワークを用いて、GSM8k、MATH、ToolACE などのタスクで広範な実験を行いました。

• クリッピング範囲の拡大: REC（REINFORCE-with-Clipping）系列のアルゴリズムにおいて、クリッピング範囲を拡大した設定（REC-ONESIDE-NOIS with large $\epsilon$）は、GRPO や従来の設定よりも優れた学習曲線を示し、オフポリシー性が強い環境（同期間隔が長い、遅延がある）でも安定して動作しました。
• 重要性サンプリングの非必須性: 多くの設定において、トークンレベルまたはシーケンスレベルの重要性サンプリングを除去しても（NOIS）、性能は維持され、むしろクリッピングによる正則化の方が重要であることが確認されました。
• データ重み付け手法の有効性: RED-WEIGHT（高報酬サンプルを強調）や RED-DROP（低報酬サンプルを除外）は、GRPO や REC と同等かそれ以上の性能を達成し、KL 発散も適切に制御されました。
• 大規模モデルへの適用: Qwen2.5-1.5B/7B、Llama-3.1/3.2、Qwen3-30B-A3B（MoE）など、多様なモデルサイズとアーキテクチャで検証が行われ、提案された解釈と手法の汎用性が確認されました。

5. 意義と将来展望

• 理論的基盤の確立: GRPO などの実用的なアルゴリズムに、堅固なオフポリシー理論的基盤を提供しました。これにより、単なるヒューリスティックではなく、原理に基づいたアルゴリズム設計が可能になります。
• インフラフレンドリーな設計: 既存の REINFORCE スタイルの RL インフラ（Trinity-RFT, verl など）を大幅に変更することなく、オフポリシー学習を容易に実現できることを示しました。
• 今後の方向性:
  • 現在の解析はステップレベルまたはシーケンスレベルの報酬を想定していますが、より複雑な報酬構造や、単一ロールアウトのみの設定への拡張が期待されます。
  • オフポリシー RL における方策改善の形式的な保証（収束性証明）の確立が今後の課題です。
  • 専門家のデモンストレーションや高度な経験合成（Experience Synthesis）との統合など、より広範なオフポリシー設定への応用が期待されます。

総括:
この論文は、「GRPO は実はオフポリシーアルゴリズムである」という洞察を通じて、LLM における強化学習の設計思想を根本から変える可能性を秘めています。重要性サンプリングへの過度な依存を脱却し、正則化（クリッピング）とデータ分布の制御に焦点を当てることで、より効率的で頑健なオフポリシー RL の実現を可能にします。