🤖 machine learning

Rethinking the Divergence Regularization in LLM RL

本論文は、従来のダイバージェンスに基づく手法で用いられていたハードな勾配マスキングに代わり、連続的な修正信号を提供して学習の安定性を向上させるための、滑らかでアドバンテージ加重された二次正規化項を用いた、LLMのための新しいRL手法であるDivergence Regularized Policy Optimization (DRPO) を提案する。

原著者： Jiarui Yao, Xiangxin Zhou, Penghui Qi, Wee Sun Lee, Liefeng Bo, Tianyu Pang

公開日 2026-06-09

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Jiarui Yao, Xiangxin Zhou, Penghui Qi, Wee Sun Lee, Liefeng Bo, Tianyu Pang

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは、非常に才能はあるが少し無秩序な学生（AI）に、難しいテストの解き方を教えていると想像してください。その学生はすでに基礎は学んでいますが、あなたは今、より特定の、トリッキーな問題を解く方法を教えようとしています。あなたは練習問題を与え、学生が回答し、それに対して「よくできました！」あるいは「もう一度やってみて！」と伝えることで、学習を進めます。このプロセスは**強化学習（Reinforcement Learning: RL）**と呼ばれます。

しかし、一つ問題があります。学生は静かな図書室で練習（学習）しますが、実際のテストは騒がしく混沌とした試験会場で受けます。環境が少し異なるため、学生は混乱したり、習慣を極端に変えすぎてしまったりして、これまで知っていたことをすべて忘れてしまうようなパニック状態に陥ることがあります。

これを防ぐために、教師たちは「安全地帯」（信頼領域：Trust Region）を用います。これは、「答えを改善するために変えることは構わないが、足元をふらつかせないよう、あまりに大きく変えすぎてはいけない」というルールです。

問題点：古いルールはあまりに硬直的だった

長い間、教師たちはPPO（Proximal Policy Optimization）という手法を用いてきました。PPOを「厳格なルールブック」だと考えてください。「もし答えが20%以上変わったら、ストップ！その回答に対する評価は一切認めない！」というルールです。

この論文は、このアプローチには2つの大きな欠陥があると指摘しています。

「比率」の罠： PPOは、答えの「確率」がどれくらい変化したかという「比率」を見て変化を測定します。数百万もの単語が存在する世界（例えば5万語以上の辞書を持つ世界）では、非常に珍しい単語（例えば「xylophone（木琴）」）が、0.0001%の確率から0.001%に上がったとします。これは比率で見ると10倍という巨大な変化ですが、全体的な文脈ではほとんど意味を持ちません。一方で、一般的な単語（例えば「the」）が90%から80%に下がったとします。これは比率の変化としては小さいですが、意味としては非常に大きな変化です。PPOはこの違いに混乱し、珍しい単語を厳しく罰しすぎる一方で、一般的な単語が暴走するのを許してしまいます。
「ハードカット」の問題： より新しい手法（DPPOなど）は、確率の実際の「変化量」（比率ではなく、移動した距離のようなもの）を測定することでこれを解決しようとしました。しかし、それらは「ハードマスク」を使用していました。壁を想像してください。もし学生が壁から1インチでも踏み出したら、教師は即座に手を叩いて「ストップ！このステップでの学習は終了だ！」と言います。これは、全額のクレジットをもらえるか、ゼロになるかの二者択一のスイッチです。もし学生が壁をほんの少し超えてしまったとしても、元の場所に戻るための助けは得られず、ただ無視されるだけなのです。

解決策：DRPO（滑らかなガイド）

著者らは、新しい手法であるDRPO（Divergence Regularized Policy Optimization）を提案しています。

ハードな壁や厳格な比率のルールではなく、安全地帯の周囲にある「スマートで弾力性のあるトランポリン」を想像してください。

ゾーンの内側： 学生が安全地帯の中で良い変化を行っている場合、トランポリンは彼らを優しく前へと押し出し、さらなる改善を促します。
エッジ（境界）において： 学生が境界に近づくと、トランポリンは徐々に柔らかくなります。突然止めるのではなく、動きを緩やかにするのです。
ゾーンの外側： もし学生が誤って外側に踏み出してしまった（「悪い」動きをした）としても、トランポリンは単に遮断するわけではありません。代わりに、それは跳ね返します。それは「おっと、行き過ぎましたね。中心に戻りましょう」と伝えるような、穏やかな修正力を加えます。

なぜこれが優れているのか

論文によれば、DRPOは「硬いオン/オフのスイッチ」ではなく、「滑らかで連続的なガイド」であるとのことです。

「ロングテール」をより適切に扱う： AIの世界には、数千もの珍しい単語が存在します。DRPOは単語がどれだけ動いたかの「比率」ではなく、実際の「距離」を測定します。これにより、珍しい単語がほぼゼロから極めて小さな数字に跳ね上がったとしても、混乱することがありません。単語がどれほど一般的であるかにかかわらず、変化を公平に扱います。
学習を止めない： 学生がミスをして安全地帯の外に出たとしても、DRPOは単にそのレッスンを捨て去ることはありません。ミスを利用して、学生を優しく元の方向へ導きます。これにより、学習が不安定になったり「クラッシュ」したりすることを防ぎます。
あらゆる場面で機能する： 著者らは、様々なサイズのAIモデル（小規模から大規模まで）、異なる種類のコンピュータチップ、さらにはコンピュータが低い精度（少しぼやけたレンズを使っているような状態）で動作している場合でも、DRPOをテストしました。あらゆるケースにおいて、DRPOはより安定しており、従来のメソッドよりも速く、より良くAIの学習を助けました。

まとめ

古い手法を、「あなたがわずかなミスをした瞬間に『止まれ！』と叫ぶか、あるいは少し道から外れただけで完全に無視する教師」だと考えてください。

DRPOは、「順調ですよ、でも少し行き過ぎています。少しペースを落としましょう。もし行き過ぎてしまったら、転ばないように優しく引き戻しますね」と言ってくれる賢明なコーチのようなものです。この滑らかで連続的な修正こそが、学習プロセス全体をより安全で、速く、そして信頼できるものにするのです。

技術要約：LLM RLにおけるダイバージェンス正則化の再考

1. 問題提起

強化学習（RL）は、人間の好みに適合させ、推論能力を強化するために、大規模言語モデル（LLM）のポストトレーニングにおいて不可欠な要素となっています。しかし、現代のLLM RLトレーニングは、トレーニングエンジンと推論エンジンの間の不一致（数値的な差異）や、ロールアウトを複数のミニバッチに分割する慣習により、本質的に**オフポリシー（off-policy）です。このため、現在のポリシー（ $\pi$ ）と行動ポリシー（ $\mu$ ）の間のダイバージェンスを制約することで、安定した更新を保証する信頼領域方策最適化（TRPO）**が必要となります。

現在主流の手法は、この文脈において主に2つの限界に直面しています：

比率ベースの制約（PPO, GRPO, SPO）： これらの手法は、重要度比 $r_t = \pi(y_t|s_t)/\mu(y_t|s_t)$ を用いて信頼領域を定義します。大規模でロングテールな語彙を持つLLMにおいて、この比率は分布シフトの優れたプロキシ（代理指標）にはなり得ません。低確率のトークンにおけるわずかな確率の上昇が、質量（mass）の移動は無視できるほど小さいにもかかわらず巨大な比率を生む一方で、高確率のトークンにおける中程度の比率の変化が重大なポリシーの変化を引き起こすことがあります。これにより、稀なトークンを過剰に制約し、一般的なトークンを制約不足にするという事態を招きます。
ハードマスキング（DPPO）： DPPO（Divergence Proximal Policy Optimization）のような最近の研究は、ダイバージェンスに基づくマスク（具体的には、絶対的な確率変化 $|\pi - \mu|$ を測定するBinary-TV）を使用して比率の問題に対処しています。しかし、DPPOはハードなバイナリマスクを通じて信頼領域を強制します。一度トークンが有害な方向に境界を越えると、その勾配は破棄（ゼロに設定）されます。これはさらなる発散を防ぐことはできますが、ポリシーを信頼領域へと引き戻すための**修正信号（corrective signal）**を提供できないため、閾値付近での最適化が脆弱になります。

2. 手法：ダイバージェンス正則化方策最適化（DRPO）

著者らは、DPPOのハードマスクを、Binary-TVの信頼領域の幾何学的構造を維持しつつ、ポリシーのシフトに対する滑らかなアドバンテージ加重二乗正則化に置き換える手法としてDRPOを提案しています。

コアとなる定式化

DRPOは、Binary-TV制約 $|\pi(y_t|s_t) - \mu(y_t|s_t)| \leq \delta$ を、トークン適応型の比率境界として書き換えることで、その目的関数を導出します。クリッピングを行う代わりに、サロゲート目的関数に滑らかな正則化を適用します。

$\mathcal{L}_{DRPO}(x, \pi) = \mathbb{E}_{y \sim \mu} \left[ \sum_{t=1}^{|y|} \left( r_t \hat{A}_t - \frac{|\hat{A}_t|}{2\delta} \mu(y_t|s_t) (r_t - 1)^2 \right) \right]$

ここで：

$r_t$ は重要度比です。
$\hat{A}_t$ はアドバンテージ推定値です。
$\delta$ は信頼領域の閾値です。
項 $\mu(y_t|s_t)$ は正則化をスケールさせ、ペナルティを比率ベースの $\chi^2$ 形式（SPOのように）から、絶対確率シフトの $\ell_2^2$ 形式へと変換します。

勾配の挙動

DRPOの目的関数の勾配は、各トークンの方策勾配に対して連続的な重み $w_t$ を導入します：
$w_t = 1 - \text{sign}(\hat{A}_t(r_t - 1)) \frac{|\pi(y_t|s_t) - \mu(y_t|s_t)|}{\delta}$

この重みは、以下の3つの主要な挙動を示します：

信頼領域内： 重みは正ですが、シフトが $\delta$ に近づくにつれて滑らかに減衰します。これにより、更新を継続しつつも、その大きさを抑制します。
信頼領域の外（発散時）： 更新が行行動ポリシーからさらに離れた場合（ $|\pi - \mu| > \delta$ ）、重みは負になります。これにより勾配が反転し、ハードマスクのようなゼロ勾配とは異なり、ポリシーを境界へと引き戻す修正信号を提供します。
収束する更新： 更新が行行動ポリシーへと戻る際、重みは増幅（ $>1$ ）され、信頼領域へのスムーズな復帰を促します。

理論的な相違点

vs. SPO： SPOは $\chi^2$ 型の正則化（ $\mu$ で割る形式）を使用しており、低確率のロングテール・トークンにおいて勾配の重みが無制限に増大します。DRPOは $\ell_2^2$ 型の正則化（ $\mu$ を掛ける形式）を使用しており、トークンの確率に関わらず勾配の重みが**有界（bounded）**であることを保証します。
vs. DPPO： DRPOはDPPOのBinary-TVの幾何学を保持しつつ、不連続なマスクを滑らかで微分可能な正則化に置き換えています。

3. 主な貢献

DRPOアルゴリズム： ハードなダイバージェンスマスクを、絶対確率シフト（Binary-TV）に基づく滑らかな二乗正則化に置き換える新しい方策最適化手法。
有界な勾配重み： ロングテールな語彙において、DRPOの勾配重みが有界であることを理論的および実証的に示し、比率ベースの手法（PPO, SPO）で見られる不安定性（低確率トークンでの重みの爆発）を回避していることを証明しました。
修正メカニズム： 信頼領域を超えた更新に対して連続的な修正信号を導入し、DPPOのようなハードマスク手法で見られる「勾配の死（gradient death）」を防ぎます。
設計原則： LLM RLにおける効果的な正則化のための3つの実践的な基準を特定しました：
- 分布シフト（単なる比率ではなく）に沿った安定した境界を誘導すること。
- ロングテールな語彙において、トークンごとの勾配重みを有界に保つこと。
- ポリシーが発散した際に、スムーズな修正信号を提供すること。

4. 実験結果

著者らは、以下の多様な設定でDRPOを評価しました：

モデル： Qwen3-4B, Qwen3-30B-A3B, Qwen3.5-35B-A3B, および DeepSeek-R1-Distill-Qwen-1.5B。
アーキテクチャ： デンス（Dense）および混合専門家モデル（MoE）。
精度： BF16, FP8 (ロールアウトのみ), および FP8 (エンドツーエンド)。
ベンチマーク： AIME 2024 および AIME 2025（数学的推論タスク）。

主な知見：

安定性： DRPOはすべての設定において一貫して安定したトレーニングを可能にしました。対照的に、比率ベースの手法（GRPO, SPO）は、特に低精度（FP8）の設定において、頻繁に不安定性や崩壊に見舞われました。
パフォーマンス： DRPOはすべてのベースラインの最高評価精度に匹敵するか、それを上回りました。ハードマスク手法（DPPO）と比較して、収束速度と最終的な精度において優れていました。
アブレーション研究：
- 正則化から絶対アドバンテージ加重 $|\hat{A}_t|$ を取り除くと、パフォーマンスの低下と不安定化を招きました。これは、信頼領域の境界が報酬スケールに依存しない必要があることを裏付けています。
- 代替のダイバージェンス尺度（KL, TVペナルティ）はDRPOを下回りました。これは、Binary-TV正則化の特定の幾何学的構造が極めて重要であることを示唆しています。
- 正則化を信頼領域の外側のみに適用した場合（Mask-DRPO）は、フルDRPOと同等のパフォーマンスを示しました。これは、主な利点が境界の外側における修正的な正則化にあることを示しています。

5. 重要性と主張

本論文は、正則化によって誘発される勾配の幾何学が、目的関数における名目上のダイバージェンス尺度よりも重要であると主張しています。従来の多くの研究は標準的なダイバージェンス（KL, JS）に焦点を当ててきましたが、本研究は以下を明らかにしています：

比率ベースの制約は、ロングテールな語彙を持つLLMにとって根本的に不適切である。
ハードマスクは、比率ベースよりは優れているものの、修正信号を破棄してしまうため脆弱性を伴う。
DRPOは、ダイバージェンス制約（Binary-TV）の幾何学的な正しさと、滑らかな正則化による最適化の安定性を組み合わせた統一的な解決策を提供する。

著者らは、DRPOを単なる特定のアルゴリズムとしてではなく、安定した方策最適化目的関数を設計するための経験的なレンズとして位置づけており、効果的な正則化には、LLM RL特有の課題に対処するために、有界で連続的かつ修正的な勾配信号を提供することが不可欠であると強調しています。