技術要約: Selective-Advantage Entropy-Adaptive Horizon GRPO

問題提起

Group Relative Policy Optimisation (GRPO) は、言語モデル、特に推論タスクにおける検証可能な報酬に基づく強化学習（RLVR）において支配的なアルゴリズムとして台頭している。しかし、標準的なGRPOは、勾配の重み付けに関して主に2つの制限を抱えている：

1. 対称的なトークン重み付け: モデルの局所的な不確実性（エントロピー）に関わらず、すべてのトークン位置を等しく扱う。高エントロピーの位置（モデルが複数の妥当な継続の可能性を探索している場所）では、勾配信号は本質的にノイズが多い。これらの位置に一律の重みを適用することは、ノイズの多い更新を、確信度の高い低エントロピーの更新と同じ大きさとして扱うことになり、学習を不安定化させる可能性がある。
2. 対称的なロールアウト処理: 成功した軌跡（正のアドバンテージ）と失敗した軌跡（負のアドバンテージ）の両方に、同一の勾配重み付けを適用する。不確実なトークン位置を含む「成功した」軌跡に対してペナルティを与えることは、逆効果である。なぜなら、それらのトークンは正しい解に寄与しており、フルクレジットを受けるべきだからである。逆に、失敗した軌跡における不確実な位置への積極的なペナルティは、相反する勾配信号を導入する可能性がある。

既存のトークンレベルの重み付け手法は、補助的な報酬モデルや固定されたヒューリスティックに依存することが多い。本論文は、追加の監督なしに、モデル自身の予測不確実性から直接重みを導出する方法を提案する。

手法

著者らは、GRPOに対する2つの階層的な拡張、Adaptive-Horizon GRPO (AH-GRPO) と Selective-Advantage AH-GRPO (SA-AH-GRPO) を導入する。

1. エントロピー適応型ホライゾン・ディスカウント (Entropy-Adaptive Horizon Discount)

コアとなるメカニズムは、その時点までの軌跡における累積正規化エントロピーから導出される、トークンごとの重みである。

• 正規化エントロピー: ロールアウト $i$ におけるトークン $t$ について、正規化エントロピー $\tilde{H}^{(i)}_t$ は、効率化のためにトップ-$K$（$K=500$）のロジットを用いて推定された、ポリシーの分布のシャノンエントロピーを語彙サイズ $\log V$ で割ったものとして計算される。
• ディスカウント係数: 1ステップごとのディスカウント $\gamma^{(i)}_t = \exp(-\alpha \tilde{H}^{(i)}_t)$ が適用される。
• 累積重み: トークン $t$ の重みは、先行するすべてのディスカウントの積である：$w^{(i)}_t = \prod_{s=1}^t \gamma^{(i)}_s = \exp(-\alpha \sum_{s=1}^t \tilde{H}^{(i)}_s)$。
• 効果: $\alpha > 0$ のとき、高エントロピーの前方一致（prefix）はより強いディスカウントをもたらし、不確実なシーケンスを通じて勾配が伝播する「実効的なホライゾン」を実質的に短縮する。

2. AH-GRPO (一様適用)

AH-GRPOでは、エントロピーに基づく重み $w^{(i)}_t$ が、軌跡が成功したか失敗したかにかかわらず、すべてのロールアウトのすべてのトークンに対して一様に適用される。これは、不確実な位置でのノイズの多い勾配の影響を軽減するが、不確実なステップを含む正しい解決策の信号までも減衰させるリスクがある。

3. SA-AH-GRPO (選択的適用)

SA-AH-GRPOは、グループ正規化アドバンテージ $\hat{A}_i$ に基づく非対称性を導入する：

• 正のアドバンテージ ($\hat{A}_i \geq 0$): その軌跡は成功したとみなされる。すべてのトークンは、高エントロピーの位置にあるものを含め、重み $1$（ディスカウントなし）を受け取る。これにより、正しい解決策に対する完全な勾配信号が保持される。
• 負のアドバンテージ ($\hat{A}_i < 0$): その軌跡は失敗したとみなされる。エントロピー適応型重み $w^{(i)}_t$ が適用される。これにより、失敗した軌跡内の構造的に曖昧な（高エントロピーの）位置における勾配更新が抑制され、ノイズの多い信号に基づく過剰な修正を防ぐ。

損失関数は、生のトークン数ではなく、実効的な（重み付けされた）トークン数によって正規化されるよう変更される。

実験設定

• モデル: Qwen 2.5-1.5B-Instruct および Qwen 2.5-3B-Instruct。
• データセット: GSM8K（数学的推論）、800の訓練例と500の評価例を使用。
• ファインチューニング: 低ランク適応（LoRA）、ランク $r=16$。
• 報酬関数: 正当性、フォーマット遵守（特定のXMLタグ）、解決タグの存在、および推論ステップの密度を組み合わせた複合報酬（$r_{max}=7.5$）。
• ベースライン: 標準的なGRPO ($\alpha=0$) および AH-GRPO ($\alpha=0.5$)。
• アブレーション: 1.5Bモデルにおける $\alpha \in \{-0.25, 0.0, 0.10, 0.25, 0.50\}$ のスイープ。

主な結果

1. 精度と安定性 (3B モデル)

Qwen 2.5-3B-Instruct モデルにおいて、ゼロショット・ベースラインは強力である（Pass@1 $\approx$ 0.831）。

• ピーク精度: SA-AH-GRPOは、ステップ30において0.858のピークPass@1を達成し、標準的なGRPO（0.852）およびAH-GRPO（0.862）のピーク性能に匹敵した。
• 訓練の分散: SA-AH-GRPOは訓練の分散を0.0246へと大幅に減少させた。これは、標準的なGRPO（0.0885）と比較して3.6倍の減少であり、AH-GRPO（0.0630）と比較しても2.6倍の減少である。
• 結論: 3Bスケールにおいて、主な利点は、ピーク精度を犠牲にすることなく、訓練を大幅に安定化させることにある。

2. 精度と安定性 (1.5B モデル)

Qwen 2.5-1.5B-Instruct モデルにおいて、ゼロショット・ベースラインはより低い（Pass@1 $\approx$ 0.637）。

• ピーク精度: SA-AH-GRPOは、ピークおよび最終的なPass@1として0.686を達成し、ゼロショット・ベースラインに対して**+4.9パーセントポイント**の改善を示した。これは、標準的なGRPO（ピーク 0.668）およびAH-GRPO（ピーク 0.676）を上回った。
• 分散: 興味深いことに、1.5BモデルはSA-AH-GRPOにおいて他の手法よりも高い訓練分散（0.1718）を示した。著者らは、これをモデルが改善するための「余地（ヘッドルーム）」をより多く持っており、学習プロセス中に報酬の変動が大きくなったためと考えているが、正のロールアウトに対する制限のない勾配信号の恩恵は受けている。

3. アブレーション研究 ($\alpha$)

1.5Bモデルにおけるスイープにより、正の $\alpha$ 値（エントロピー・ディスカウント）が負の $\alpha$ 値（エントロピー増幅）よりも一貫して優れた性能を示すことが確認された。

• $\alpha = -0.25$ は性能をベースライン以下に低下させた。
• 正の値の中では、$\alpha=0.10$ が最も高いピークを示したが、最終的な安定性は低かった。一方、$\alpha=0.50$ はより良いバランスを提供した。
• 決定的なことに、$\alpha=0.50$ におけるSA-AH-GRPO（0.686）は、同じ $\alpha$ を持つ対称的なAH-GRPO（0.676）を大幅に上回り、選択的適用戦略の有効性を裏付けた。

4. 訓練ダイナミクス

• 暗黙的なカリキュラム: 訓練が進むにつれて、平均正規化エントロピーは減少する（3Bモデルで0.029から0.009へ）。その結果、ディスカウント係数は自然に1に近づき、モデルが自信を持つにつれてエントロピー・フィルターへの依存度が下がる、暗黙的なアニーリング・スケジュールとして機能する。
• 応答長: 平均生成長は訓練中に減少した（例：3Bモデルで243から171トークンへ）。これは、本手法がより簡潔な推論チェーンを促進していることを示唆している。

意義と主張

本論文は、RLVRの設定においてトークンごと、ロールアウトごとのエントロピー適応型ディスカウントを導入した最初の研究であり、またそれをアドバンテージの符号に基づいて非対称的に適用した最初の研究であると主張している。

著者らは、SA-AH-GRPOが以下の点を通じて、構造化生成タスクにおけるRLVRのための原理的な帰納バイアスを提供すると主張している：

1. 勾配信号の保持: 正しい解決策であっても、不確実なステップを含む場合でも、フルクレジットを受けられるようにすることで、有効な学習信号の抑制を防ぐ。
2. 訓練の安定化: 不確実な位置における失敗した軌跡に対してのみ選択的に勾配を減衰させることで、相反する勾配の方向と訓練の分散を減少させる。
3. 補助モデルの排除: 重み付けメカニズムは、ポリシー自身の予測不確実性にのみ依存しており、追加の報酬モデルや固定されたヒューリスティックを必要としない。

結果は、非対称的なエントロピー・ディスカウントが、GRPOベースのファインチューニングにおける実用的な改善策であり、より大きなモデルでは優れた安定性を、より小さなモデルでは一貫した精度向上を提供することを示唆している。今後の課題として、より大規模なスケール（7B, 70B）や異なるタスク領域での評価が提案されている。