技術要約：GRPOのためのロールアウトレベル・アドバンテージ優先経験再生

問題提起

検証可能な報酬（Verifiable Rewards）を用いた強化学習（RLVR）は、グループ相対方策最適化（GRPO）を用いて、大規模言語モデル（LLM）の事後学習における標準となっています。しかし、GRPOは本質的にサンプル効率が悪いです。標準的なオンポリシー設定では、各プロンプトに対して候補となるロールアウトのグループが生成され、単一の勾配更新に使用された後、即座に破棄されます。これは、グループ内の誤った回答の中に存在する稀な正解のように、強い学習信号を持つロールアウトを扱う場合には、非常に非効率的です。

経験再生（Experience Replay: ER）は、他の強化学習領域では一般的な手法ですが、以下の2つの理由により、GRPOに直接適用することはできません。

1. 急速な方策のドリフト（Policy Drift）: LLMの方策は、勾配ステップごとに大幅に変化します。保存されたロールアウトはすぐに「古く（stale）」なり、制御なしに使用すると学習を不安定化させます。
2. グループレベルの粒度: 標準的なGRPOは、ロールアウトごとの学習信号を単一のクエリレベルの値へと集約します。ナイーブな再生スキームがグループ全体（クエリレベル）を保存・サンプリングする場合、学習を駆動する最も情報量の多い特定のロールアウトを分離できていないという問題が生じます。

GRPOに再生を適用しようとする既存の試みは、多くの場合、制御不能なデータの陳腐化に苦しむか、あるいはクエリレベルの優先度信号（例：グループの分散）に依存しており、これではグループ内のマイノリティである最も情報価値の高いロールアウトを特定することができません。

手法

著者らは、GRPOのために特別に設計されたロールアウトレベル・アドバンテージ優先経験再生バッファを提案しています。この手法は、陳腐化と信号の分離に対処するために、3つのコアコンポーネントを統合しています。

1. 年齢によるエビクション（陳腐化の制御）

再利用されるデータのポリシー・ラグを制限するため、バッファは**年齢によるエビクション（Age Eviction）**を採用しています。保存された各ロールアウトには「誕生ステップ（$t_b$）」が付与されます。任意の訓練ステップ $t$ において、ロールアウトの年齢は $t - t_b$ となります。最大閾値 $\tau_{max}$ を超える古いロールアウトはすべて破棄されます。

• 容量ベースのエビクションは、モデルの規模やデータの難易度によって変動しますが、年齢によるエビクションは、ステップレベルでの陳腐化の境界を提供し、モデルサイズに依存しない特性を持ちます。
• これにより、どの更新においても、固定された訓練ステップ数を超えてロールアウトが再利用されることを防ぎ、大幅にオフポリシーなデータで学習を行うリスクを軽減します。

2. フレッシュ・アンカー組成（Fresh-Anchored Composition）

著者らは、標準的な「プール組成（freshなデータと再生されたデータを単一のバッチに混合する手法）」を拒否し、フレッシュ・アンカー組成を採用しています。

• 各訓練ステップにおいて、新鮮なオンポリシーのロールアウトからなるフルバッチが保持されます。
• バッファからサンプリングされた別の再生用ロールアウトのセットが、この新鮮なバッチに結合（連結）されます。
• これにより、すべての勾配更新に必ず「新鮮なアンカー」が含まれることが保証され、再生部分とは独立して、最悪のケースにおけるポリシー・ラグが制限されます。これは、新鮮なデータと古いデータを単一のプールに混合すると、標準的なGRPOよりも性能が低下することが観察されている、より大規模なモデルスケールにおいて極めて重要です。

3. ロールアウトレベルの $|A_i|$ 優先度

グループ全体（クエリレベル）を保存・サンプリングするのではなく、本手法は個々のロールアウトを保存・サンプリングします。

• 優先度信号: サンプリングの優先度は、個々のロールアウトの絶対アドバンテージの大きさ $|A_i|$ です。GRPOにおいて、$A_i$ はグループ相対のアドバンテージです。大きな $|A_i|$ を持つロールアウト（通常、歪んだグループにおけるマイノリティ、例えば「誤った回答のグループの中の唯一の正解」など）は、学習の大部分の信号を提供します。
• メカニズム: ロールアウトレベルでサンプリングすることにより、標準的なGRPOでは一度のパスの後に破棄されてしまう、これらの高信号なマイノリティ・インスタンスを選択的にリサイクルすることができます。これは、グループ内の全ロールアウトを等しく扱うグループ分散（$\sigma_g$）のようなクエリレベルの信号とは対照的であり、マイノリティの事例を優先することができません。

訓練手順（アルゴリズム1）は、新鮮なロールアウトの生成、分散ゼロのグループのフィルタリング、年齢ゲート付きバッファからの $|A_i|$ 優先度に基づく再生ロールアウトのサンプリング、そして連結されたバッチに対するGRPO更新の実行で構成されます。

主な貢献

1. 新しいリプレイ・アーキテクチャ: 本論文は、年齢によるエビクション、フレッシュ・アンカー組成、およびロールアウトレベルの $|A_i|$ 優先度を組み合わせた、GRPO特有のリプレイ・バッファを導入しています。
2. 実証的な優位性: 提案手法は、3つのモデルスケール（0.6B、1.7B、4B）および5つの数学的推論ベンチマークにおいて、標準的なGRPOおよびナイーブな再生ベースライン（一様サンプリングおよび $\sigma_g$ 優先度を用いたプール組成）を上回る性能を示しました。
3. スケーリングによる利得: 性能向上はモデルサイズとともにスケールします。最大の改善は4Bスケールで観察され、5つのベンチマークの平均において、GRPOと比較して**+4.35パーセントポイント（pp）**の向上を達成しました。
4. 効率性の分析: 正解率とトークン生成長を共同で測定するAccuracy-Efficiency Score（AES）を用いると、本手法はGRPOに対して顕著な効率性のマージンを示しました（特に4Bスケールで +0.579 AES）。
5. アブレーション研究: 各軸のアブレーションにより、各コンポーネントの必要性が検証されました。
   • 年齢によるエビクション: 中程度のキャップ（$\tau_{max}=10$）が、再生ボリュームと陳腐化のバランスを取ります。キャップが大きすぎると、ポリシー・ラグにより性能が低下します。
   • 組成: 大規模モデルにおいてはフレッシュ・アンカー組成が不可欠です。プール組成を用いると、4Bモデルの性能が標準的なGRPOを下回ります。
   • 優先度: ロールアウトレベルの $|A_i|$ 優先度は、クエリレベルの信号（$\sigma_g$ または一様サンプリング）を大幅に上回り、特に pass@k（サンプリングの多様性）の向上に寄与します。

結果

• 正解率: 5つのベンチマーク平均（MATH-500, AIME25, AIME26, HMMT-F25, HMMT-F26）において、4Bモデルは提案手法で**31.06%の正解率を達成しました。これは、標準的なGRPOの26.71%および最良のナイーブ・ベースラインの26.70%**を上回っています。
• サンプリングの多様性: 本手法は pass@k 指標を改善しており、標準的なRLVRがしばしば狭めてしまうサンプリングの多様性を維持していることを示しています。4Bにおいて、本手法は pass 指標でGRPOを**+10.06 pp**上回りました。
• トークン効率: AES分析により、応答長の非対称な変化が明らかになりました。モデルは正解のロールアウトに対しては長い応答を生成し（4Bで+34.9%）、不正解のロールアウトに対しては短い応答を生成します（4Bで-10.2%）。これは、高確率な正解解法にトークン予算を割り当て、不正解の試行を圧縮することで、トークン予算を最適化していることを示唆しています。

意義と主張

本論文は、検証可能な報酬を伴う数学的推論タスクにおいて、GRPOのためのサンプル効率の高い訓練手順を提供すると主張しています。その意義は、LLMの事後学習における特有の制約（急速なドリフトとグループ相対アドバンテージ）に対し、訓練を不安定化させることなく経験再生を成功裏に適応できることを示した点にあります。

著者らは、以下の点に留意し、本手法の貢献を限定的に位置付けています。

• 本手法は現在、バイナリの検証可能な報酬（数学的推論）に限定されており、さらなる研究なしに、非検証可能な報酬（学習された報酬モデルなど）や他のRLアルゴリズム（PPO、REINFORCEなど）への汎用性を主張するものではありません。
• スケーリングの傾向は、テストされた範囲（0.6Bから4B）および特定のプロンプトセットにおいて観察されたものであり、より大規模なスケールや非数学ドメインへの転移は検証されていません。
• 結果は単一の訓練シードと特定の評価設定に基づいたものですが、複数のベンチマークの使用は、間接的に安定性を示唆しています。

最終的に、本研究は、ロールアウトレベルの優先順位付けと厳格な陳腐化制御を組み合わせることで、GRPOにおける価値の高い学習信号を効果的に再利用することが可能であり、モデルサイズが増大するにつれて正解率とトークン効率の両面で大幅な利得をもたらすことを確立しています。