💬 NLP

Entropy Ratio Clipping as a Soft Global Constraint for Stable Reinforcement Learning

この論文は、方策の探索変化を定量化するエントロピー比を用いた双方向クリッピング機構「Entropy Ratio Clipping（ERC）」を提案し、強化学習における分布シフトを抑制してトレーニングの安定性と性能を向上させる手法を述べています。

原著者： Zhenpeng Su, Leiyu Pan, Minxuan Lv, Tiehua Mei, Zijia Lin, Yuntao Li, Wenping Hu, Ruiming Tang, Kun Gai, Guorui Zhou

公開日 2026-04-24

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Zhenpeng Su, Leiyu Pan, Minxuan Lv, Tiehua Mei, Zijia Lin, Yuntao Li, Wenping Hu, Ruiming Tang, Kun Gai, Guorui Zhou

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

🍳 料理人の修行と「熵（エントロピー）比率クリッピング」

1. 背景：AI はなぜ不安定になるのか？

AI をトレーニングする際、私たちは「正解の答え」を基準に、AI の回答を褒めたり叱ったりしながら、より良い回答が出るように調整します。これを「強化学習」と呼びます。

しかし、従来の方法には大きな問題がありました。

問題点： 料理人が「昨日のレシピ（古い AI）」と「今日のレシピ（新しい AI）」を比べる際、「実際に食べた（選ばれた）料理」だけを見て調整していました。
結果： 「食べた料理」は美味しくなったけれど、「食べていない他の料理（選ばれなかった選択肢）」の味が劇的に変わってしまっていたのです。
- 例：昨日は「カレー」が 8 割、「パスタ」が 2 割だったのが、今日は「カレー」が 7 割、「パスタ」が 3 割になり、さらに「寿司」や「ラーメン」まで勝手に増えたり消えたりして、全体のバランスが崩れてしまった状態です。
現象： これにより、AI は学習中に「暴走」したり、急に「無気力」になったりして、安定して成長できませんでした。

2. 従来の対策（PPO-Clip）の限界

これまでの対策（PPO-Clip）は、**「選ばれた料理（サンプルされた行動）」**の味の変化を厳しくチェックしていました。「昨日と比べて味が 10% 以上変わったら、その変更は却下！」というルールです。

弱点： しかし、**「選ばれなかった料理」**についてはチェックしていませんでした。
- 「カレー」の味は変わっていませんが、「パスタ」や「寿司」の味が勝手に激変していた場合、このルールでは見逃されてしまいます。
- 結果として、AI の「全体の味（確率分布）」は徐々に歪んでいき、最終的に学習が破綻してしまうのです。

3. 新しい解決策：ERC（エントロピー比率クリッピング）

この論文が提案するのは、**「全体のバランス（エントロピー）」**を直接チェックする新しいルールです。

新しいルール（ERC）：
「昨日のレシピ全体の『味のバラつき具合（エントロピー）』と、今日のそれを比べて、**『昨日と比べて劇的に変わっていないか』**をチェックする」
- もし、全体のバランスが急激に崩れそうなら（例えば、急に「何でもあり」になったり、逆に「極端に偏ったり」）、その変更を**即座にストップ（クリップ）**します。
イメージ：
- 従来の方法：「メインの肉料理」だけを見て味付けを調整する。
- 新しい方法（ERC）：「お皿全体（前菜、メイン、デザート、飲み物）」のバランスを見て、**「全体の味が崩れていないか」**をチェックする。もしバランスが崩れそうなら、その変更は却下する。

4. なぜこれが素晴らしいのか？

この新しいルール（ERC）を導入すると、以下のようなメリットが生まれます。

安定した成長（安定した学習）：
AI が「急に暴走」したり「急に無気力」になったりするのを防ぎます。まるで、料理人が「全体の色合い」を常にチェックしながら、少しずつ味を調整しているような状態です。
探索と安定のバランス：
「新しい味（新しいアイデア）」を試すこと（探索）は大切ですが、やりすぎると失敗します。ERC は、「必要な範囲での探索」は許しつつ、「危険なほど極端な変化」だけを防ぐ、**「賢いブレーキ」**の役割を果たします。
高いパフォーマンス：
実験の結果、この方法を使えば、数学の問題やコード作成など、難しいタスクでも、AI はより高い正解率を達成し、学習がスムーズに進むことがわかりました。

🌟 まとめ

この論文は、AI の学習において**「選ばれたものだけを見る」のではなく、「全体のバランス（確率分布）を常に監視する」**という新しい視点を提供しました。

従来の方法： 一部の行動だけを制限する「部分的なルール」。
新しい方法（ERC）： 全体のバランスを監視し、急激な変化を防ぐ「グローバルな安全装置」。

これにより、AI はより安定して、かつ効率的に「賢さ」を身につけることができるようになったのです。まるで、経験豊富な料理人が、単一の料理だけでなく、食卓全体の調和を見ながら、完璧なレシピを完成させるようなものです。

1. 背景と課題 (Problem)

大規模言語モデル（LLM）の後学習（Post-training）において、強化学習（RL）はモデルの能力向上とアライメントの質を高めるための核心的なパラダイムとなっています。特に、検証可能な報酬を用いる RLVR（Reinforcement Learning with Verifiable Rewards）は、推論能力の向上に寄与しています。

しかし、現代の LLM 向け RL はオフポリシー学習（Off-policy learning）を採用しており、これが以下の重大な課題を引き起こしています。

分布シフトとトラストリージョンからの逸脱: 現在のポリシーの更新に使用されるデータは、古い行動ポリシーによって生成されたものです。これにより新旧ポリシー間に分布のズレ（Distributional Drift）が生じ、理論的な「トラストリージョン（信頼領域）」から逸脱するリスクがあります。
PPO-Clip の限界: 現在の主流である PPO-Clip は、サンプリングされたアクションの重要度サンプリング比（Importance Ratio）をクリップすることで局所的な更新を制御します。しかし、サンプリングされなかったアクションの確率分布の変化には全く制約を課していません。
- 結果として、サンプリングされたアクションの確率変化は小さくても、分布全体のエントロピーが急激に変化したり、サンプリングされていないトークンの確率分布が大きくシフトしたりする現象が発生します。
不安定性: この分布シフトは、トレーニング中のエントロピーの激しい変動や勾配ノルムの爆発・消失を引き起こし、学習の不安定化や収束の阻害につながります。

2. 提案手法 (Methodology)

著者らは、上記の問題を解決するために、エントロピー比クリッピング（Entropy Ratio Clipping: ERC）という新しいメカニズムを提案しました。

2.1 エントロピー比 (Entropy Ratio)

PPO-Clip がサンプリングされたアクションのみに焦点を当てるのに対し、ERC は新旧ポリシー間の分布全体の相対的な変化を定量化する指標として「エントロピー比」を導入します。

定義: 特定のデコーディングステップ $t$ における、新旧ポリシーのエントロピーの比 $\rho_t$ です。
$\rho_t = \frac{H(\pi_{\theta}, t)}{H(\pi_{old}, t)}$
ここで、 $H$ はエントロピー、 $\pi_{\theta}$ は新しいポリシー、 $\pi_{old}$ は古いポリシーです。
意義: この指標は、サンプリングされていないトークンを含むアクション分布全体のシフトを直接測定します。

2.2 エントロピー比クリッピング (ERC Mechanism)

PPO-Clip の目的関数に、エントロピー比に基づく追加の制約項を導入します。

双方向クリッピング: エントロピー比 $\rho_t$ $ρ_{t}$ が事前定義された範囲 $(1 - \beta_{low}, 1 + \beta_{high})$ $(1 - β_{l o w}, 1 + β_{hi g h})$ を超える場合、そのトークンの勾配をハードにトリミング（破棄）します。
- 下限クリッピング: ポリシーが過度に保守的になり、エントロピーが急激に低下するのを防ぎます。
- 上限クリッピング: ポリシーが過度にランダムになり、エントロピーが爆発するのを防ぎます。
DAPO/GPPO への統合: 既存の RL アルゴリズム（DAPO や GPPO）の目的関数に ERC を組み込み、サンプリングされたアクションの局所制約（PPO-Clip）と、分布全体のグローバル制約（ERC）を相補的に機能させます。

3. 主な貢献 (Key Contributions)

エントロピー比の導入: 強化学習中のポリシー探索の変化を定量化する新しい指標「エントロピー比」を提案し、更新ごとのグローバルな分布ドリフトを測定する新たな次元を提供しました。
ERC メカニズムの提案: 探索の変動をグローバルに制約する「エントロピー比クリッピング」を設計し、トラストリージョンからの逸脱を効果的に緩和して学習の安定性を向上させました。
広範な検証: 複数の RL アルゴリズム（DAPO, GPPO）および異なるモデルサイズ（1.5B, 7B パラメータ）において ERC を統合・評価し、一貫して学習ダイナミクスの安定化と性能向上を実現することを実証しました。

4. 実験結果 (Results)

著者らは、数学的推論（AIME24/25, HMMT25, MATH500 など）、コード推論、指示従従タスクなど、複数のベンチマークで評価を行いました。

性能向上: 既存の RL ベースライン（GRPO, DAPO, GPPO）と比較して、ERC を適用したモデルはほぼすべてのベンチマークで性能を向上させました。特に、AIME25 や HMMT25 といった難易度の高いタスクで顕著な改善が見られました。
学習の安定化:
- エントロピー: 従来の手法では見られたエントロピーの激しい変動が ERC によって平滑化され、安定した値を維持しました。
- 勾配ノルム: 勾配の爆発や消失が抑制され、安定した最適化プロセスが実現されました。
クリッピング率の分析: PPO-Clip のクリッピング率は約 0.02% であるのに対し、ERC は約 20% と大幅に高いクリッピング率を示しました。これは、ERC が分布レベルでノイズの多い更新（過度に決定論的かつ有害な更新）を効果的にフィルタリングしていることを示しています。
探索性の維持: クリップされたトークンは主に低エントロピー領域（決定論的な数学記号など）に集中しており、高エントロピー領域（推論プロセスに関わる「wait」や「therefore」などの語）は保持されました。これにより、安定性を保ちつつ必要な探索は維持されています。

5. 意義と結論 (Significance)

この論文は、LLM の強化学習における「分布シフト」の問題に対し、サンプリングされたアクションだけでなく分布全体を監視・制御する新しいアプローチを提示しました。

PPO-Clip の盲点の克服: サンプリングされていないアクションの分布シフトを無視していた従来の手法の欠点を補完し、より包括的なトラストリージョン制御を実現しました。
KL 正則化やエントロピー正則化との比較: KL 正則化は局所的な制約が厳しすぎて探索を阻害する傾向があり、単方向のエントロピー正則化は不安定性の両方向（低下と爆発）を制御できません。ERC は双方向のソフトな制約として、探索と安定性のバランスを最適化します。
汎用性: DAPO や GPPO など、異なるクリッピング戦略を持つアルゴリズムに適用可能であり、独立した安定化メカニズムとしても機能することが示されました。

結論として、ERC は LLM の RL 学習における不安定性の根本原因である分布ドリフトを効果的に抑制し、より安定した学習プロセスと高い最終性能を実現する重要な技術として位置づけられています。