技術的サマリー：EP-GRPO

問題定義

本論文は、大規模言語モデル（LLM）における検証可能報酬を用いた強化学習（RLVR）の主要なアルゴリズムであるグループ相対方策最適化（GRPO）に内在する、3 つの根本的なクレジット割り当ての失敗を特定している。これらの限界は、推論タスクの効率性と有効性を阻害している。

1. 均一なトークンレベルの粒度: 標準的な GRPO は、生成されたシーケンス内のすべてのトークンに均一なアドバンテージ値を割り当てる。この粗い粒度は、トークンの不均質な情報価値を無視している。実証分析によれば、高エントロピーのトークン（意思決定の枢軸を表す）は推論にとって決定的である一方、低エントロピーのトークンは多くの場合、決定論的かつ冗長な導出を表す。これらを同等に扱うことは、重要な意思決定点における勾配信号を希薄化させる。
2. 均一な極性: GRPO は、最終的な結果のみに基づいて、シーケンス内のすべてのトークンに同じ極性（正または負）のアドバンテージを割り当てる。これにより「極性の不一致」が生じ、失敗した軌道における正しい中間ステップが罰せられ、成功した軌道における誤ったステップが誤って報酬付けられる。プロセス報酬モデル（PRM）のような既存の解決策はこの問題を扱うが、高コストな外部アノテーションを必要とし、汎化に苦慮する。
3. ゼロ分散の崩壊: グループ内でサンプリングされたすべての応答が同一の報酬を受ける場合（初期トレーニングや困難なタスクで一般的）、正規化されたアドバンテージはすべてのトークンでゼロとなる。これにより、結果駆動型の勾配信号が完全に消滅し、学習が停止する。グループサイズを増大させることでこれを緩和できるが、計算コストが高い。既存の修正策は、追加サンプリングや論理的進展と整合しないヒューリスティックな再構成に依存することが多い。

手法：EP-GRPO

著者は、外部報酬モデルなしに、スパースで結果のみのフィードバックを、密で自己教師ありなトークンレベルの学習信号に変換するフレームワークである**エントロピー進展整合 GRPO（EP-GRPO）**を提案する。この手法は、3 つの中核コンポーネントから構成される。

1. エントロピーゲート型結果アドバンテージ

粒度の問題に対処するため、EP-GRPO は予測エントロピー（$H_{i,t}$）から導出されたトークンレベルの重みを用いて、元のシーケンスレベルのアドバンテージ（$\hat{A}_i$）を変調する。

• メカニズム: 各トークンの予測エントロピーを計算する。シグモイドゲートが標準化されたエントロピー値を重み（$W_{i,t}$）にマッピングする。
• 効果: 高エントロピーのトークン（意思決定の枢軸）は増幅された重みを受け取り、低エントロピーのトークン（決定論的導出）は抑制される。変調されたアドバンテージは $\hat{A}^{outcome}_{i,t} = W_{i,t} \cdot \hat{A}_i$ となる。これにより、情報量に基づいて大きさを調整しつつ、元の方向性は保持される。

2. 暗黙的進展アドバンテージ

極性とゼロ分散崩壊の問題に対処するため、EP-GRPO は方策の発散から導出された方向性信号を導入する。

• 信号生成: 現在の方策（$\pi_\theta$）と凍結された参照方策（$\pi_{ref}$）との対数確率発散を計算する：$s_{i,t} = \lambda (\log \pi_\theta - \log \pi_{ref})$。これは自己教師ありなプロセス信号として機能する。
• 方向性のアンカー付け: 発散には本質的な方向性がない（自信が誤っている可能性がある）ため、結果アドバンテージにアンカー付けされる。
  • グループ報酬の分散がゼロでない場合、アンカーは $\text{sign}(\hat{A}_i)$ となる。
  • 分散がゼロの場合（崩壊）、アンカーは生報酬の符号（$\text{sign}(r_i - \theta_{reward})$）に劣化する。
• 進展の整合: 非同期な推論軌道全体でこれらの信号を正規化するため、トークンは累積エントロピー（$\tau_{i,t}$）に基づいて「論理的進展のバケット」にマッピングされる。正規化（Z スコア）は物理的な位置ではなく、これらのバケット内で行われ、同様の推論段階にあるトークンが比較されることを保証する。
• 結果: これにより、結果アドバンテージが消滅しても活性化したままの、方向性を持つ密な報酬（$\hat{A}^{progress}_{i,t}$）が得られる。

3. 最終トークンレベルアドバンテージ

最終的なアドバンテージは、両方の信号を組み合わせる。
$$\hat{A}^{final}_{i,t} = \hat{A}^{outcome}_{i,t} + \hat{A}^{progress}_{i,t}$$
理論的解析により、この勾配はエントロピー重み付きの対数比項を備えた正則化された GRPO 目的関数と等価であることが証明されており、重要な意思決定点における探索を安定させる精度誘導型の正則化として機能する。

主な貢献

1. エントロピーゲート型変調: 粗いシーケンスレベルのアドバンテージをトークンレベルの重みに変換するメカニズム。高エントロピーの意思決定枢軸における勾配更新を優先する。
2. アンカー付き暗黙的プロセス信号: 方策発散を結果アドバンテージにアンカー付けすることで、方向性のあるプロセス報酬に変換する手法。外部 PRM なく微細なフィードバックを提供し、ゼロ分散崩壊中も勾配フローを維持する。
3. 論理的進展の整合: 非同期な軌道を統一された座標系に投影する累積エントロピーマッピング戦略。進展整合型の正規化を可能にし、結果ベースの勾配が消滅しても意味のある信号を確保する。

実験結果

著者は、5 つの数学的推論ベンチマーク（MATH500, AMC23, Minerva, AIME24, AIME25）において、Qwen2.5-3BおよびQwen2.5-7Bモデルで EP-GRPO を評価した。

• 性能向上: EP-GRPO は、標準 GRPO およびその変種（より高い温度、より多くのロールアウトなど）を一貫して上回った。
  • Qwen2.5-3Bでは、平均精度が GRPO の**18.14%から22.93%**に向上（+26.4%）。
  • Qwen2.5-7Bでは、平均精度が GRPO の**27.11%から30.34%**に向上（+11.9%）。
  • 特筆すべきは、3B EP-GRPO モデルが、AMC23 ベンチマークにおいて商用モデルである DeepSeek-R1-671B を上回ったことである。
• Pass@k 性能: EP-GRPO は、サンプル数（$k$）の増加に伴い、高難度データセット（AIME24/25）で顕著な優位性を示し、複雑なシナリオにおいて正しい推論経路を発見する能力が優れていることを示した。
• アブレーション研究: 単一コンポーネント（エントロピーゲート、暗黙的進展信号、ゼロ分散劣化）のいずれかを除去すると性能が低下し、3 つのメカニズムが冗長ではなく、集合的に必要であることを確認した。
• 効率性: 追加計算（エントロピー、発散）は軽量であるため、トレーニングのウォールクロック時間は標準 GRPO と同等であった。ただし、EP-GRPO は約 20% 長い推論チェーンを生成し、時間的コストなしに深い推論を実現していることを示した。

意義

本論文は、EP-GRPO が、自己教師ありで密なクレジット割り当てメカニズムを導入することで、RLVR における GRPO の根本的な限界に対処すると主張している。モデルの内在的な情報フロー（エントロピー）と方策ダイナミクス（発散）を活用することで、高コストな外部プロセス報酬モデルの必要性を排除しつつ、標準的なグループベース最適化を悩ませるゼロ分散崩壊を解決する。結果は、モデル規模やサンプリング予算の単なる増加ではなく、改善されたクレジット割り当てが LLM の推論能力を強化するための重要なレバーであることを示唆している。