技術的サマリー：勾配保存の観点からの RLVR における柔軟なエントロピー制御

問題提起

検証可能報酬を用いた強化学習（RLVR）は、特に Group Relative Policy Optimization（GRPO）を用いる場合、大規模言語モデル（LLM）の推論能力を向上させるための重要な手法となっています。しかし、このパラダイムにおける継続的な学習は、しばしばポリシーエントロピーの崩壊をもたらします。この現象は、ポリシーエントロピーがほぼゼロの値まで急速に減衰することを特徴とし、早急な過信、出力の多様性の低下、および勾配ノルムの消失を引き起こし、最終的にさらなる学習を阻害しモデル性能を劣化させます。

これらのダイナミクスを駆動する主要な要因は、勾配保存クリッピングです。これは、クリップド・プロキシマル・ポリシー・オプティマイゼーション（PPO-Clip）から継承されたメカニズムであり、重要度サンプリング比率をトラスト領域内に制約します。既存の緩和策、例えば「Clip-Higher」アプローチは、静的にクリッピング閾値を調整することでこれに対処しようとしますが、クリッピングメカニズムと正確なエントロピー制御を結びつける理論的枠組みが欠如しています。その結果、現在の手法は往々にして静的であり、効果的な RL 学習に必要な、柔軟かつ段階固有のエントロピー制御を提供できません。

手法

本論文は、勾配保存の観点から RLVR におけるエントロピー制御を再構築する新たなアプローチを提案します。この手法は、以下の 3 つの中核的コンポーネントに基づいています。

1. エントロピーダイナミクスに関する理論的および実証的分析

著者らは、強化学習の更新勾配とグローバルなエントロピー勾配との関係を理論的に分析しました。目的関数の勾配（$\nabla_z L$）とエントロピー勾配（$\nabla_z H$）の内積を計算することにより、エントロピーが増加するか減少するかを決定する重要度サンプリング比率（$r_t$）の 4 つの明確な領域を特定しました。

• E1（高ゲイン）: 正のアドバンテージを持つ高確率トークンは、さらなる鋭化（エントロピー減少）を促進します。
• E2（低ゲイン）: 正のアドバンテージを持つ低確率トークンは、平坦化（エントロピー増加）を促進します。
• E3（高ドロップ）: 負のアドバンテージを持つ高確率トークンは、平坦化（エントロピー増加）を促進します。
• E4（低ドロップ）: 負のアドバンテージを持つ低確率トークンは、鋭化（エントロピー減少）を促進します。

実証的な検証により、これらの特定の領域に対して勾配保存クリッピングを選択的に適用することが、ポリシーエントロピーの軌道に直接的な影響を与えることが確認されました。

2. エントロピー制御のための動的クリッピング閾値

理論的知見に基づき、本論文は動的クリッピング閾値メカニズムを導入します。固定されたスカラー境界（$\epsilon$）を使用する代わりに、クリッピング閾値は停止勾配操作を伴う現在のポリシー確率（$\pi_\theta$）の関数として定式化されます。
$$\epsilon(\pi_\theta) := f(\bar{p}_t), \quad \bar{p}_t = \text{sg}[\pi_\theta(a_t|s_t)]$$
ここで、$f(\bar{p}_t)$ は確率と負の相関を持ちます。

• 正のアドバンテージの場合: 低確率トークンに対して上限クリッピング閾値を増加させ（探索/E2 を促進）、高確率トークンに対して減少させます（過集中/E1 を防止）。
• 負のアドバンテージの場合: 高確率トークンに対して下限クリッピング閾値を低下させ（安定性を維持）、低確率トークンに対して緩和します（最適でない領域/E4 を抑制）。

このメカニズムにより、エントロピー変化を促進または抑制するために、確率依存で精密なトラスト領域の調節が可能になります。

3. エントロピー制御戦略

動的調節メカニズムを活用し、著者らは学習ライフサイクル全体にわたるエントロピーの進化を管理するための 3 つの異なる学習戦略を設計しました。

• 増加後減少（ID）: SFT 整合モデル向けに設計されています。エントロピー増加の段階（多様な推論を促進）で始まり、その後にエントロピー減少の段階（最適性能への収束）へと移行します。
• 減少 - 増加 - 減少（DID）: ベースモデルまたは高エントロピーモデルに適しています。最初にエントロピーを減少させて最適化を安定化させ、制御された増加を許容して崩壊を防ぎ、最後に収束のためにエントロピーを減少させます。
• 振動減衰（OD）: 長期学習実行または局所最適解に陥りやすいシナリオ向けに設計されています。現在のエントロピーが下限を下回るか、減衰する上限を超えるかに基づいてエントロピーの増強または抑制をトリガーする状態機械を採用し、学習全体を通じて動的なバランスを維持します。

主要な貢献

1. 理論的洞察: 特定の重要度サンプリング比率領域がエントロピーの増大と減少にどのように寄与するかについての理論的導出と実証的検証を提供し、勾配保存クリッピングとエントロピーダイナミクスとの間の明確な関連性を確立しました。
2. 調節メカニズム: トークン確率に基づいて上限と下限を調節する動的クリッピング閾値メカニズムを提案し、エントロピー変動に対する柔軟かつ精密な制御を可能にしました。
3. 戦略設計: 異なるモデル状態と目的に適応する 3 つの具体的なエントロピー制御戦略（ID、DID、OD）を導入・評価し、エントロピー崩壊を効果的に緩和しました。

実験結果

提案された手法は、DAPO-MATH データセットを用いてQwen2.5-Math-7B、Qwen2.5-7B、およびPhi-4-14Bモデルで評価されました。性能は、複数の数学的推論タスク（AIME24/25、AMC、MATH-500、GSM8k、Olympiad）および非数学的ドメイン（GPQA-Diamond、LiveCodeBench、MMLU-Redux）にわたってベンチマークされました。

• 性能向上: 3 つの戦略（ID、DID、OD）はすべて、複数のベンチマークにおいて、ベースラインの GRPO および他の最先端手法（Clip-Higher、Entropy-Regularization、GSPO など）を一貫して上回りました。例えば、Qwen2.5-Math-7B において、Ours-ID戦略は AIME24 で33.1のスコアを達成し、GRPO の24.4と比較して優れ、Olympiad では48.3（GRPO は46.2）を記録しました。
• エントロピー制御: 学習曲線は、提案された手法がエントロピー崩壊を成功裏に防止したことを示しました。ID戦略は、明確な初期エントロピー上昇に続く制御された減衰を示し、ODは早期収束を防ぐ振動挙動を維持しました。
• 汎化性: これらの手法は、より大規模なモデル（Phi-4-14B）へのスケーラビリティと、非数学的ドメインへの汎化性を示し、Pass@K メトリクスおよび報酬スコアの一貫した改善を確認しました。
• 効率性: 動的クリッピングメカニズムは最小限の計算オーバーヘッドを導入し、学習時間はベースラインの GRPO と同等でした。

意義と主張

本論文は、エントロピー制御の視点を静的な閾値調整から、勾配保存かつ確率依存の動的調節へと転換することで、RLVR における探索と利用のトレードオフを精密に管理できることを主張しています。

著者らは、LLM 推論における RL のスケーリングのボトルネックとして特定されてきたエントロピー崩壊という重要な課題に取り組んでいると述べています。理論的枠組みと実践的な戦略（ID、DID、OD）を提供することで、本論文は継続的な学習中の出力多様性と勾配フローを維持するための堅牢な解決策を提示します。結果は、柔軟なエントロピー制御が単なる正則化技術ではなく、大規模言語モデルにおける優れた推論性能を達成するための基本的な要素であることを示唆しています。この研究は、これらの戦略の有効性が、均一な調整を適用するのではなく、トークンの特定の確率状態に応じてトラスト領域の制約を適応させる能力にあることを強調しています。