技術要約: GTPO および GRPO-S

1. 問題提起

大規模言語モデル（LLM）における現在の強化学習（RL）アルゴリズム、特に Group Relative Policy Optimization (GRPO) およびその派生形である DAPO は、**粗い粒度のクレジット割り当て（coarse-grained credit assignment）**という課題を抱えています。これらのフレームワークでは、生成されたシーケンス内のすべてのトークンに対して、一律の報酬（例：最終回答が正解なら +1、不正解なら 0 または -1）が割り当てられます。このパラダイムは、以下の2つの決定的な制限を生み出します。

1. 正しい推論へのペナルティ: 正しい論理ステップが数十個含まれているシーケンスであっても、最終回答が誤っている場合は報酬がゼロとなり、貴重な中間的な推論プロセスが破棄されてしまいます。
2. 誤った経路への報酬: 逆に、推測や不完全な中間ステップを経て正解に到達したシーケンスには、フルクレジットが与えられ、誤った推論パターンが強化されてしまいます。
3. 長さバイアス: 標準的な GRPO の設計は、正解における一律のアドバンテージの集計により、統計的に最適ではないものの、暗黙的に長いシーケンスを優遇する傾向があります。

近年の研究では、ポリシーのエントロピーを正則化制約として利用したり、トークンをフィルタリングするためのバイナリマスクを利用したりしていますが、これらは「正解における価値の高い探索」と「不正解における確信を持った誤り」を区別するために、報酬信号を能動的に再形成することには失敗しています。

2. 手法

著者らは、ポリシーのエントロピーを細粒度なクレジット割り当てのための本質的なアンカーとして再利用するフレームワークである Dynamic Entropy Weighting（動的エントロピー重み付け） を提案します。核心となる仮説は、推論シーケンス内における高いポリシーエントロピーは、重要な決定ポイント（認知的努力）と相関しているという点です。このフレームワークは、エントロピーに基づいて報酬を再分配し、以下の2つの補完的なアルゴリズムを通じて動作します。

A. Group Token Policy Optimization (GTPO)

GTPO はトークンレベルで動作し、エントロピー重み付けされた独自の報酬をすべてのトークンに割り当てます。

• 成功したシーケンス ($O^+$): 高いエントロピー（価値のある探索や不確実性を示す）を持つトークンには、報酬ボーナスが付与されます。報酬は次のように形成されます：
  $$\tilde{r}^+_{i,t} = \alpha_1 r_i + \alpha_2 \frac{H_{i,t}}{\sum_{k} H_{k,t}} \cdot d_t$$
  ここで、$H_{i,t}$ はトークンの生成エントロピーであり、$d_t$ はステップ $t$ においてアクティブな成功シーケンスの数です。これにより、不確実だが正しいステップが強化されます。
• 失敗したシーケンス ($O^-$): 低いエントロピー（高い確信度を示す）を持つトークンには、より重いペナルティが課されます。報酬は逆エントロピーを用いて以下のように形成されます：
  $$\tilde{r}^-_{j,t} = \alpha_1 (-1) + \alpha_2 \frac{1/H_{j,t}}{\sum_{k} (1/H_{k,t})} \cdot h_t \cdot (-1)$$
  これは、確信を持った間違いを罰し、モデルが誤った推論モードから脱却することを促します。
• アドバンテージ計算: 正のセットと負のセットに対して個別のアドバンテージ関数が計算され、一貫したスケーリングを確保するためにバッチ内の全トークンにわたって正規化されます。

B. Sequence-Level GRPO (GRPO-S)

GRPO-S は、長い Chain-of-Thought (CoT) タスクにおける安定性のために設計された、軽量なシーケンスレベルの派生形です。

• トークンレベルの報酬ではなく、平均エントロピー ($\hat{H}_k$) に基づいてシーケンス全体のグローバルな報酬を調整します。
• より高い探索を行った成功シーケンスにはボーナスが付与される一方、高い確信度（低い平均エントロピー）を持つ誤ったシーケンスにはペナルティが課されます。
• このアプローチは、GTPO のマイクロレベルの精度と、GRPO-S のマクロレベルのシーケンス安定性の間のトレードオフを提供します。

理論的保証

本論文は、以下の事項を証明する理論的分析を提供しています。

1. 報酬質量の保存 (Reward Mass Conservation): 特定のハイパーパラメータ制約（$\alpha_1 + \alpha_2 = 1$）の下で、整形された正の報酬の合計は元のバイナリ報酬の合計と等しくなり、総学習信号がグラウンドトゥルースに対してバイアスを持たないことを保証します。
2. 漸近的一致性 (Asymptotic Consistency): 学習が進み、成功シーケンス間のエントロピー分散が減少するにつれて、エントロピー重み付けによって導入された勾配バイアスは消失し、標準的な GRPO/DAPO と同じグローバルな最適解への収束が保証されます。
3. 分散低減: GTPO で使用されるトークンレベルの正規化は、標準的な GRPO の 2 段階平均化よりも統計的に優れており、勾配の分散を減少させます。

3. 主な貢献

1. 粗い粒度の限界の特定: 本論文は、GRPO フレームワークが特定の推論ステップにクレジットを割り当てることができないという問題を解決することで、根本的に GRPO を最適化しています。
2. GTPO アルゴリズム: 動的エントロピー重み付けを用いた、効率的な GRPO フレームワーク内における初の真の細粒度なトークンレベルのクレジット割り当てを導入しました。
3. GRPO-S アルゴリズム: シーケンス全体の探索的価値を捉えるシーケンスレベルの派生形を提案し、優れた安定性を実現しました。
4. 理論的分析: 提案された目的関数の不偏性と収束性に関する証明を提供しました。
5. 実証的検証: 困難な数学的推論ベンチマークにおいて、大幅な性能向上を実証しました。

4. 実験結果

実験は、Qwen2.5-7B および Qwen2.5-32B モデルを用い、AIME 2024、AIME 2025、および MATH 500 ベンチマークに対して行われました。

• パフォーマンス: GTPO と GRPO-S は、GRPO、DAPO、および高度な「DAPO w/ Forking Tokens」ベースラインを一貫して上回り、新たな SOTA（State-of-the-Art）を確立しました。
  • AIME 2024 (Qwen2.5-7B) において、GTPO は Pass@32 で 64.89% を達成し、DAPO の 35.51% から大幅に改善しました。
  • AIME 2025 では、GRPO-S が Pass@32 で 23.33% (7B) および 34.33% (32B) を達成し、すべてのベースラインを上回りました。
• 探索 vs 安定性: 早期のポリシー崩壊（エントロピー崩壊）によりプラトーに達しやすい DAPO とは異なり、GTPO と GRPO-S は**「エントロピー・リバウンド」**現象を示しました。モデルはより高い探索性を維持し、その結果、より長く多様な推論チェーンと、より高い最終報酬の天井を実現しました。
• サンプル効率: これらの手法は約 210 トレーニングステップ以内に収束しており、性能向上が単なる学習時間の長さによるものではなく、より効率的な学習信号によるものであることを示しています。

5. 意義と主張

本論文は、モデルの不確実性を活用し、方向付けることが、信頼性の高い AI システムを開発するための有望なフロンティアであると主張しています。ポリシーのエントロピーを単なる正則化項としてではなく、能動的な報酬整形のための動的な信号として扱うことで、提案手法は以下を可能にします。

• 精密なクレジット割り当て: 明示的なバリューネットワークを必要とせずに、正しいパスにおける価値ある探索と、誤ったパスにおける確信を持った誤りを区別します。
• 堅牢な推論: LLM をパターンの模倣を超えて、検証可能なステップ・バイ・ステップの推論へと進化させます。
• スケーラビリティ: 粒度の高い精度（GTPO）とシーケンスの安定性（GRPO-S）の間の原理的なトレードオフを提供し、異なるモデルサイズやタスクの難易度に対しても効果的にスケールします。

著者らは、提案フレームワークが現在の RLHF に固有の「安定性と探索のトレードオフ」を解決し、モデルが過度に自信を持った誤った推論の罠を避けつつ、より複雑な推論空間をより効果的に探索できるようにすると結論付けています。