技術要約：全象限境界付きクリッピング GRPO (ABC-GRPO)

1. 問題提起

Group Relative Policy Optimization (GRPO) は、Proximal Policy Optimization (PPO) に見られるバリューネットワークのオーバーヘッドを排除していることから、推論タスクにおける大規模言語モデル (LLM) の学習において標準的な手法となりつつあります。しかし、GRPO はトークンレベルのクリッピング機構を継承しつつ、トークンレベルのアドバンテージを単一のシーケンスレベルのアドバンテージに置き換えているため、構造的な欠陥を抱えています。

著者らは、この組み合わせにおける「ブラインドスポット（死角）」を特定しました。具体的には、トークンが負のシーケンスレベルのアドバンテージ ($\hat{A} < 0$) を持ちながら、方策がその尤度比 ($r > 1$) を増加させた場合、更新が非限定的（unbounded）になります。

• 失敗のメカニズム: GRPO では、単一のシーケンスレベルのアドバンテージがすべてのトークンに一様に適用されます。もしシーケンスが誤っていた場合（負のアドバンテージ）、たとえ一部の中間トークンが正しかったとしても、すべてのトークンが負のフィードバックを受け取ります。もし方策が、このような「失敗したシーケンス」内にある「正しい」トークンの確率を（高い $r$ で）高めてしまった場合、大きな比率と負のアドバンテージの積による、極端に強力な抑制的更新が発生します。
• 結果: これにより、エントロピーの崩壊と推論境界の狭窄化が引き起こされます。方策は少数の解法戦略へと収束してしまい、Pass@64（推論の多様性）のような性能指標が、学習中に事前学習済みのベースモデルを下回るまで低下します。

2. 手法：ABC-GRPO

これを解決するために、著者らは All-Quadrant Bounded Clipping GRPO (ABC-GRPO) を提案しています。この手法は、$(r, \hat{A})$ 空間の4つの象限の分析と、クリッピング操作の修正を含みます。

4象限分析

空間は、推定されたアドバンテージ ($\hat{A}$) と尤度比 ($r$) の符号に基づいて4つの象限に分割されます。

1. Q1 ($\hat{A} > 0, r > 1$): 確率が増加した、促進されるトークン。（標準的な GRPO/PPO によって保護されている）。
2. Q2 ($\hat{A} > 0, r < 1$): 確率が減少した、促進されるトークン。（クリップされないが、GRPO においては大きさの境界がある）。
3. Q3 ($\hat{A} < 0, r < 1$): 確率が減少した、抑制されるトークン。（標準的な GRPO/PPO によって保護されている）。
4. Q4 ($\hat{A} < 0, r > 1$): 確率が増加した、抑制されるトークン。GRPO において構造的に非限定的（unbounded）である。

ABC-GRPO の目的関数

ABC-GRPO は、符号依存の境界を用いて、4つの全象限において無条件のクリッピングを導入します。決定的なのは、PPO の外部 min 演算子を使用するのではなく、アドバンテージを掛ける前に尤度比をクリップする（clip-before-multiply）点です。

目的関数は以下のように定義されます：
$$J_{ABC-GRPO}(\theta) = \mathbb{E} \left[ \frac{1}{G} \sum_{i=1}^{G} \frac{1}{|y_i|} \sum_{t=1}^{|y_i|} \tilde{r}_{i,t}(\theta) \hat{A}_i \right]$$

ここで、クリップされた比率 $\tilde{r}_{i,t}$ は次のように決定されます：
$$\tilde{r}_{i,t} = \begin{cases} \text{clip}(r_{i,t}, 1 - \varepsilon_2, 1 + \varepsilon_1) & \text{if } \hat{A}_i > 0 \\ \text{clip}(r_{i,t}, 1 - \varepsilon_4, 1 + \varepsilon_3) & \text{if } \hat{A}_i \le 0 \end{cases}$$

• Q4 の保護: 負のアドバンテージに対しては、比率は $1 + \varepsilon_3$ にキャップされます。これは Dual-Clip PPO の「タイト」な設定と一致しますが、ここでは GRPO フレームワーク内で適用されます。
• Q2 の保護: 正のアドバンテージに対しては、比率は $1 - \varepsilon_2$ で下限が設定され、GRPO に欠けている信頼領域制約（trust-region constraint）を追加します。
• 安定性と最適性: 著者らは、これが期待報酬の保守的な代理物ではなく、ステップごとの方策の変位を制限するために設計された信頼領域/安定化メカニズムであることを強調しています。これは、シーケンスレベルのアドバンテージに固有の根本的なクレジット割り当て問題を解決するものではありませんが、最もノイズの多い更新の影響を限定します。

3. 主な貢献

1. 非限定的なブラインドスポットの特定: 本論文は、GRPO が継承したクリッピングが、Q4 領域（負のアドバンテージ、増加した尤度）において構造的に非限定的であることを示す、形式的な4象限分析を提供しています。これがエントロピー崩壊と推論境界の狭窄化の主な原因です。
2. ABC-GRPO アルゴリズム: アドバンテージとの乗算前に比率をクリップすることで、すべての4象限で無条件のクリッピングを適用する新しい目的関数。これにより、あらゆるシナリオにおいて更新が限定されることが保証されます。
3. 象限の重要性の切除実験（Ablation）: 実験により、Q4 が不安定性の主要な原因であることを分離しました。Q4 のみを保護することで、性能向上の約 72% が回復されます。Q2 の保護は、Q4 が境界内に収まった後にのみ補完的な利益をもたらします。
4. 実証的検証: Qwen3 ベースモデルを用いた数学的推論タスクにおいて検証され、サンプリング精度（Avg@64）と推論の多様性（Pass@64）の両方において大幅な改善を示しました。

4. 実験結果

著者らは、DAPO-Math-17k データセットで訓練された Qwen3-1.7B および Qwen3-4B モデルを用いて ABC-GRPO を評価しました。

• 性能向上:
  • 精度 (Avg@64): ABC-GRPO は両方のモデルスケールにおいて最高スコアを達成しました（1.7B で 20.7、4B で 38.3）。これは標準的な GRPO、SAPO、および Dual-Clip PPO を上回っています。また、強力なベースラインである DAP とも同等の性能を示しました（1.7B では統計的に有意、4B では同等）。
  • 多様性 (Pass@64): ABC-GRPO は Pass@64 を大幅に改善し、標準的な GRPO で見られた劣化を逆転させました。4B において、ABC-GRPO は 70.3 の Pass@64 を達成しましたが、これは GRPO の 59.4 やベースモデルの 61.1 と比較して顕著な差です。
• エントロピーの保持: 重要な発見は、エントロピーの保持です。標準的な GRPO のエントロピーが約 0.036 nats まで崩壊したのに対し、ABC-GRPO は約 0.39 nats の定常状態のエントロピーを維持しました（約 10.8 倍高い）。これにより、方策が狭い分布へと崩壊するのを防いでいます。
• 汎用性: 得られた利点は、再学習やハイパーパラメータ調整なしに、MATH-500 や HumanEval（コード生成）を含むドメイン外のベンチマークにも転移しました。
• 学習ダイナミクス: 学習曲線は、GRPO の Pass@64 が時間の経過とともに低下した一方で、ABC-GRPO は上昇し続けるか安定していたことを示しており、推論境界の狭窄化が抑制されたことを裏付けています。

5. 意義と主張

本論文は、ABC-GRPO が、不安定な学習と推論の多様性の低下を招く GRPO の特定の構造的不完全性に対処していると主張しています。

• 安定化メカニズム: 主要な貢献は、すべての象限においてステップごとの方策の変位を制限し、特に失敗したシーケンス内の少数の高比率トークンが任意に大きな抑制的更新を受ける「テール効果」を防ぐ、安定化構成です。
• 推論境界: この手法は、推論境界の狭窄化を効果的に防ぎます。これは現在の検証可能な報酬を用いた強化学習 (RLVR) メソッドに見られる既知の病理であり、精度を向上させつつ、複数の解法パス（高い Pass@k）を維持することを可能にします。
• 限定的な範囲: 著者らは、ABC-GRPO はシーケンスレベルのアドバンテージに固有の根本的なトークンレベルのクレジット割り当て問題を解決するものではなく、単に結果として生じるノイズの悪影響を限定するものであることを明示しています。この手法は、最適性の保証というよりも、安定性の向上として提示されています。また、ハイパーパラメータ（対称的な $\varepsilon=0.2$）は、導出された最適値ではなく、PPO のデフォルト値であることが注記されています。

本研究は、小規模なモデル（最大 4B）および数学的推論タスクに限定されており、より大規模なスケールや他のドメインへの適用可能性については未解決の課題として残されています。