技術的概要：検証可能報酬を伴う強化学習（RLVR）の最適化ダイナミクスに関する考察

問題定義

検証可能報酬を伴う強化学習（RLVR）は、数学的推論やコード生成など、自動的に検証可能な結果を伴うタスクにおける大規模言語モデル（LLM）の事後学習において、支配的なパラダイムとして浮上している。従来の人間のフィードバックに基づく強化学習（RLHF）とは異なり、RLVR は学習された報酬モデルや人間の選好に依存するのではなく、スパースな二値の成功/失敗シグナルに依存する。Group Relative Policy Optimization（GRPO）やその変種（DAPO、Dr. GRPO など）といったアルゴリズムは、実証的に大きな成功を収めているが、それらの最適化ダイナミクスに関する理論的理解は依然として限られている。実務家は、トレーニングを安定させるために長さ正規化や分散ベースの報酬スケーリングなどのヒューリスティックに依存することが多いが、これらの手法が収束する、停滞する、あるいは壊滅的に失敗する条件は、厳密に特徴付けられていない。本論文は、二値報酬下における方策勾配法の収束保証を分析することで、実証的な性能と理論的理解の間のギャップを埋めることを目指している。

手法

著者らは、RLVR のトレーニングダイナミクスを分析するための理論的枠組みを、2 つの粒度レベルで開発している：軌道レベル（応答全体を単一の単位として扱う）とトークンレベル（自己回帰的な生成プロセスを考慮する）である。

中核的概念

1. 勾配ギャップ: 本論文は、正解応答の空間（$O^+_q$）と不正解応答の空間（$O^-_q$）における期待スコア関数（対数確率勾配）の差として定義される、新たな量である勾配ギャップ（$g^+_q - g^-_q$）を導入する。このギャップは、低報酬領域から高報酬領域へ方策をシフトさせるために必要な真の改善方向を形式化する。
2. ギャップ整合性: 著者らは、実際の更新方向（$w_k$）と勾配ギャップとの内積としてギャップ整合性（$\Delta\mu_q$）を定義する。この指標は、アルゴリズムの更新が真の目的とどの程度整合しているかを定量化する。
3. 累積ギャップ整合性: 長期的な振る舞いを特徴付けるために、本論文はトレーニング反復にわたってステップサイズで重み付けされた整合性シグナルを集約する累積指標（$M_q(K)$）を定義している。

理論的分析

本分析は、方策スコア関数の滑らかさと有界性に関する標準的な正則性仮定（仮定 1 および 2）と、応答長さの準指数分布性に関する仮定（仮定 3）に依存している。

• 軌道レベル分析: 著者らは、更新ステップごとの成功率（$J_q$）のオッズ比の変化に対する境界を導出している。彼らは、一次の改善がギャップ整合性によって駆動される一方で、二次の分散項（特に負の空間の分散）は、ステップサイズが大きすぎる場合に不安定性を引き起こし得ることを確立している。
• トークンレベル分析: 勾配をトークンごとの寄与に分解することで、著者らは収束境界を精緻化している。この分析は明示的に応答長さ（$T_\infty, T_{\psi_1}$）を取り入れており、発散を防ぐために有効なステップサイズはシーケンス長に反比例してスケーリングされなければならないことを明らかにしている。

主要な貢献

1. RLVR のための統合理論的枠組み

本論文は、二値報酬下で動作する方策勾配ベースの任意の手法（REINFORCE、GRPO、Dr. GRPO などを含む）に適用可能な原理的な枠組みを提供している。これらは勾配ギャップとギャップ整合性という観点を通じてそのダイナミクスを特徴付けることで、これらのアルゴリズムの分析を統合している。

2. 鋭いステップサイズ閾値

中心的な理論的貢献は、収束と発散を分ける鋭いステップサイズ閾値の導出である。

• 収束: 本論文は、ステップサイズ（$\eta_k$）がギャップ整合性に比例し、分散および応答長さに反比例するように適応的にスケーリングされる場合、方策は最適解（$J_q \to 1$）に収束することを証明している。
• 壊滅的失敗: 逆に、著者らは、更新方向が完全に整合していても、ステップサイズが特定の閾値を超えると、最適化プロセスがオーバーシュートし、成功率が厳密に減少してゼロに収束することを証明している。これは実務で観察される「崩壊」現象を説明するものである。

3. 実用的ヒューリスティックの説明

この理論は、一般的なエンジニアリング慣行に対する厳密な正当化を提供する。

• 長さ正規化: トークンレベルの分析は、有効な学習率が応答長さの増加に伴って縮小しなければならないことを示している。これは、長さ正規化（GRPO で使用される）がトレーニングを安定化させる理由、およびこの正規化を欠く手法（Dr. GRPO の特定の定式化など）がより長いシーケンスで苦労する可能性のある理由に対する理論的基盤を提供する。
• 停滞: 本論文は、固定された学習率が 100% 未満の成功率で厳密に停滞を引き起こす理由を説明している。方策が改善するにつれて分散構造が変化し、固定されたステップサイズが最終的に収束閾値に違反するため、アルゴリズムが停止するか振動することになる。

4. 実証的検証

理論的予測は以下の通り検証されている。

• 文脈的バンディットシミュレーション: 合成バンディット問題における実験は、累積ギャップ整合性と精度の間のロジスティック関係を実証し、明確な収束領域と停滞領域の存在を確認している。
• LLM 実験: 著者らは、GRPO を使用して Qwen2.5-Math-7B モデルを GSM8K、DeepScaleR、および DAPO-17k データセットで微調整した。実証データは、累積ギャップ整合性とモデルの精度の間に強い相関を示しており、理論的下限と密接に一致している。

結果

• 収束保証: 本論文は、累積ギャップ整合性が無限大に発散する場合（$M_q(K) \to \infty$）、完全な性能への収束が保証されることを確立している。
• 停滞境界: 整合性シグナルが弱い場合、またはステップサイズが大きすぎる場合、性能は厳密に 1 未満に制限され、モデルが 100% の精度に到達することを防ぐ。
• 失敗モード: 著者らは、正の整合性にもかかわらず、一定のステップサイズが単調な性能の減衰をゼロまで引き起こす特定の問題インスタンスを構築し、「壊滅的失敗」領域の存在を確認している。
• 勾配ノルム対報酬: 本論文は、報酬が収束しない場合でも方策勾配ノルムの和が収束し得ることに言及しており、標準的な勾配ベースの収束基準が RLVR には不十分であることを示唆している。ギャップ整合性指標は、報酬改善のより鋭い指標である。

重要性

本論文は、RLVR の最適化ダイナミクスに対する最初の厳密な理論的基盤を提供すると主張している。ブラックボックス的な実証的観察を超えて進むことで、勾配ギャップを学習の根本的な駆動力として、ステップサイズ閾値を安定性の重要な制御パラメータとして特定している。

その重要性は、以下の点にある。

1. RLVR の解明: 特定のアルゴリズム（長さ正規化を伴う GRPO など）が機能し、他のものが失敗する理由を説明し、直感に基づくチューニングから理論に導かれた設計へと分野を移行させる。
2. ハイパーパラメータ調整の指針: ステップサイズ選択のための具体的かつ数学的に導出された条件を提供し、壊滅的崩壊や停滞を回避する道筋を示す。
3. アルゴリズム振る舞いの特徴付け: 固定学習率の限界と、応答長さおよびタスクの難易度に対する適応的スケーリングの必要性を明確にし、現在の RLVR パイプラインで観察される修正率の停滞に対する理論的説明を提供する。

著者らは、自らの枠組みが人気のあるアプローチのダイナミクスを特徴付け、多様なプロンプト分布における安定性と収束をさらに向上させるためのプロンプト適応型更新やカリキュラムベースのトレーニングなどの将来の方向性を示唆すると結論付けている。