論文要約：CE-GPPO（Coordinating Entropy via Gradient-Preserving Clipping Policy Optimization）

本論文は、大規模言語モデル（LLM）の強化学習（RL）における方策エントロピー（Policy Entropy）の不安定さ、特に「エントロピーの崩壊（Entropy Collapse）」と「エントロピーの爆発（Entropy Explosion）」を解決するための新しいアルゴリズムCE-GPPOを提案するものです。

以下に、問題定義、手法、主要な貢献、実験結果、および意義について詳細にまとめます。

1. 背景と問題定義

LLM の推論能力向上において、強化学習（特に PPO やその派生手法である GRPO）は重要な役割を果たしています。しかし、これらの手法には以下のような根本的な課題があります。

• クリッピングメカニズムの副作用: 従来の PPO や GRPO は、学習の安定性を保つために重要度サンプリング比（Importance Sampling Ratio）をクリップ（$1-\epsilon$ から $1+\epsilon$ の範囲に制限）します。
• 情報の損失: このクリッピングにより、確率が極端に低いトークン（低確率トークン）からの勾配信号が捨てられてしまいます。
• エントロピーの二極化:
  • エントロピー崩壊: 探索（Exploration）に寄与する「正のアドバンテージを持つ低確率トークン（PA&LP）」がクリップされ、モデルが既知の解に过早に収束し、出力の多様性が失われる。
  • エントロピー爆発: 利用（Exploitation）に寄与する「負のアドバンテージを持つ低確率トークン（NA&LP）」がクリップされ、モデルが過度に探索を続け、収束が遅れる。
• 既存手法の限界: DAPO（Clip-Higher 戦略）などは上限を拡張しますが、依然としてクリップされたトークンの勾配を完全に無視しているため、エントロピー制御が不十分です。

2. 提案手法：CE-GPPO

著者らは、クリップされたトークン（クリップ区間の外にあるトークン）の勾配を**「穏やかかつ有界（gentle and bounded）」な方法で再導入**することで、エントロピーを制御できるという洞察に基づき、CE-GPPOを提案しました。

核心的なアイデア

クリップ区間の外にあるトークンの勾配を完全に捨てず、その大きさを調整係数でスケーリングして更新に組み込みます。

• 勾配保存と停止勾配（Stop-Gradient）: クリップされたトークンの勾配を計算する際、stop-gradient 操作を導入し、元のクリップ区間による厳密な制約から解放しつつ、更新の規模を制御します。
• 調整係数 $\beta_1$ と $\beta_2$:
  • $\beta_1$ (NA&LP トークン向け): 負のアドバンテージを持つ低確率トークンの勾配を拡大します。これにより利用（Exploitation）を促進し、エントロピーを低下させます。
  • $\beta_2$ (PA&LP トークン向け): 正のアドバンテージを持つ低確率トークンの勾配を拡大します。これにより探索（Exploration）を促進し、エントロピーの低下を抑制します。
• 目的関数:
  通常のクリップされた項に加え、クリップ外（$\delta < 1-\epsilon$ または $\delta > 1+\epsilon$）の項を $\beta_1, \beta_2$ で重み付けして追加します。
  $$\ell = \begin{cases} \beta_1 \cdot \frac{1-\epsilon}{\text{sg}(\delta)} \delta \cdot \hat{A} & (\delta < 1-\epsilon, \hat{A} < 0) \\ \beta_2 \cdot \frac{1+\epsilon}{\text{sg}(\delta)} \delta \cdot \hat{A} & (\delta > 1+\epsilon, \hat{A} > 0) \\ \delta \cdot \hat{A} & (\text{その他}) \end{cases}$$
  ここで、$\text{sg}(\cdot)$ は停止勾配操作です。

理論的保証

• 勾配の大きさは $\beta_1(1-\epsilon)$ または $\beta_2(1+\epsilon)$ に制限されるため、無制限に増大することはありません。
• 標準的な PPO と同様の計算複雑度とメモリ使用量を持ち、追加のフォワードパスを必要としません。
• 方策モデルが古い方策から過度に逸脱することを防ぎ、学習の安定性を維持します。

3. 主要な貢献

1. エントロピー動態のメカニズム解明: LLM の RL におけるエントロピー変動の内在的メカニズムを解明し、クリップされた低確率トークンが探索と利用のバランスにおいて決定的な役割を果たすことを示しました。
2. CE-GPPO アルゴリズムの提案: クリップ区間の両側にあるトークンの勾配を調整可能に制御することで、方策エントロピーを微調整し、学習の安定性を保つ新しいアルゴリズムを提案しました。
3. 実証的有効性の確認: 数学推論やコード推論などのベンチマークにおいて、既存の強力なベースライン（GRPO, DAPO, CISPO, GSPO など）を凌駕する性能を示し、エントロピーの不安定さを効果的に緩和することを証明しました。

4. 実験結果

実験設定:

• モデル: DeepSeek-R1-Distill-Qwen (1.5B, 7B)
• データセット: KlearReasoner-MathSub-30K (数学推論、コード推論など)
• 評価ベンチマーク: AIME 2024/25, HMMT 2025, MATH500, HumanEval, IFBench など。

主な結果:

• 性能向上: 1.5B モデルでベースラインより最大 2.5 ポイント、7B モデルで 3 ポイント以上の改善を達成。特に難易度の高い AIME25 や HMMT25 において顕著な効果が見られました。
• エントロピー制御:
  • 従来の GRPO はエントロピー崩壊を起こすのに対し、CE-GPPO はエントロピーを高いレベルで安定させました。
  • DAPO は初期にエントロピーが急上昇しすぎ（過剰探索）る傾向がありましたが、CE-GPPO は学習を通じて安定したエントロピーを維持しました。
• ハイパーパラメータの感度:
  • $\beta_2$（探索側）を大きく、$\beta_1$（利用側）を小さく設定すること（例：$\beta_1=0.5, \beta_2=1$）が、モデルの探索能力を維持し、性能向上に寄与することが確認されました。
  • 異なるモデルサイズや設定に対して頑健（Robust）であることが示されました。
• 安定性: KL 発散や勾配ノルムの変動が標準的な GRPO と同様に安定しており、学習が破綻しないことを確認しました。

5. 意義と結論

CE-GPPO は、強化学習における「クリップされた勾配を捨てる」という従来の慣習を覆し、クリップされたトークンからの信号を制御的に再利用することで、探索と利用のトレードオフを最適化しました。

• 理論的意義: エントロピー制御を「クリップ区間外の勾配管理」として再定義し、その理論的根拠を示しました。
• 実用的意義: 複雑な推論タスクにおいて、モデルが局所解に陥ることなく、多様性を保ちながら高精度な解を導出することを可能にします。
• 将来展望: 異なるモデルアーキテクチャやタスクに応じた最適な $\beta$ 値の自動調整など、さらなる研究の余地を残しつつ、LLM の RL 学習における新しい標準的なアプローチとなり得る可能性を示唆しています。

総じて、CE-GPPO は、LLM の強化学習における学習ダイナミクスの制御を飛躍的に向上させ、より高度な推論能力を持つモデルの構築に寄与する画期的な手法です。