技術要約：LLM推論における検証可能な報酬を用いた相対予算理論

1. 問題提起

検証可能な報酬を用いた強化学習（RLVR）は、大規模言語モデル（LLM）の推論能力を向上させ、長期的な計画立案や反復的な自己修正を可能にする支配的なパラダイムとなっている。しかし、その実効性はタスクや計算予算によって大きく変動する。既存の理論的枠組みは、オンライン学習の設定において、タスクの難易度と計算予算の間の動的な関係を十分に考慮できていないことが多い。実務家は、学習が理論的に非効率な領域や、学習信号が消失してしまう領域に対して膨大なリソースを割り当てるリスクがあり、計算リソースを効率的に配分するためのガイドラインを欠いている。

本論文は、利用可能なトークン予算とタスク固有の難易度の比率が、RLVRのサンプル効率と収束をどのように決定するかを分析することで、この理論的理解のギャップに対処する。

2. メソドロジーおよび理論的枠組み

2.1. 相対予算 ($\xi$)

著者らは、相対予算と呼ばれる中心的な量を導入する。これは以下のように定義される：
$$\xi := \frac{H}{E[T]}$$
ここで、$H$ は生成ホライゾン（トークン予算）であり、$E[T]$ はベースとなる方策 $\pi_b$ の下で最初の正解に到達するために必要な期待トークン数である。この指標は、計算制約とタスクの難易度を統合するものである。

2.2. モデリングの仮定

推論プロセスは、バイナリ報酬を持つ有限ホライゾンのマルコフ決定過程（MDP）としてモデル化される。解決までの時間 $T(\tau)$ は、以下の特定の分布仮定の下で分析される：

• モーメント: $T(\tau)$ の分散は、その平均の二乗に比例してスケールする（$v_x = \Theta(\mu_x^2)$）。
• 左裾の挙動: 平均値の一定割合内で問題を解決できる確率は、原点付近において指数関数的ではなく多項式的に減衰する関数 $f(z)$ に従う。
• ガンマ分布: 具体的な分析のために、$T(\tau)$ はガンマ分布を用いてモデル化される。これは、複雑な推論タスクにおける離散的なトークン数を表す連続的なプロキシ（代理）として機能する。

2.3. 分析手法

本論文では、高報酬の軌跡（平均よりも大幅に早く発見された解）をサンプリングする確率を表す反集中係数 $c_0(\xi)$ を分析する。この係数は、RLのサンプル複雑性を直接制御する。著者らは、方策が改善するにつれて $\xi$ がどのように進化するかを追跡しながら、オンラインRLに対する有限サンプル保証を導出する。

3. 主要な貢献および理論的結果

本論文は、$\xi$ の値に基づき、RLVRの性能が3つの異なるレジーム（領域）によって支配されることを確立している。

3.1. 学習効率の3つのレジーム

1. 欠乏レジーム ($\xi \to 0$):
   • 条件: トークン予算 $H$ が、解決までの期待時間よりも大幅に小さい。
   • ダイナミクス: 高報酬の軌跡が極めて稀である。反集中係数が消失し（$c_0 \to 0$）、サンプル複雑性が爆発する。学習は理論的に困難である。
2. 均衡レジーム ($\xi = \Theta(1)$):
   • 条件: トークン予算が解決までの期待時間と同程度である。
   • ダイナミクス: 有益な軌跡が高確率で発生する。反集中係数がゼロから離れた値をとるため（$c_0 = \Theta(1)$）、サンプル効率が最大化される。
   • SFTとの対比: このレジームはRLにとっての「スイートスポット」であるが、教師あり微調整（SFT）にとっては「ワーストケース」である。均衡レジームでは、成功する解決策のトレースの多様性（長さや戦略の差異）が最大化されるため、模倣学習が困難になる。
3. 過剰レジーム ($\xi \to \infty$):
   • 条件: トークン予算が解決までの期待時間を大幅に上回る。
   • ダイナミクス: 学習は安定しており、反集中係数は有界である。しかし、タスクが予算に対して自明になるにつれ、イテレーションあたりの限界利得が減少し、サンプル複雑性は $\xi$ に対して線形に増加する。

3.2. オンラインRLの有限サンプル保証

著者らは、オンライン設定において、方策が改善するにつれて解決までの期待時間が減少するため、相対予算 $\xi$ がイテレーションを通じて線形に増大することを証明している。

• 定理 6.4: ガンマモデルの下では、オンラインRLは $\xi$ を線形に増大させる（$\xi_i - \xi_0 \geq i(2K)^{-1}$）。
• トレードオフ: 方策がトークン予算 $H$ に収束する一方で、過剰レジームにおいて単調な改善を維持するには、ロールアウトサンプル数を増やす必要がある（$\xi$ に対して二次的なサンプル複雑性の劣化が生じる）。

3.3. 最適な予算配分

ガンマ分布を用いた理論的分析により、学習信号（報酬の分散）を最大化しつつ、安定した反集中係数を維持する最適な相対予算 $\xi^*$ を特定した。

• 理論的予測: 最適な $\xi^*$ は $1.0 \leq \xi^* \leq 1.4$ の範囲に位置する。
• 示唆: 期待される難易度よりもわずかに大きな予算を割り当てること（$\xi \gtrsim 1$）が、信頼できる学習信号を得るために極めて重要である。

4. 実証結果

著者らは、標準的なLLM（Llama-3.2-3B, Phi-4-mini, Qwen3-4B）を用い、推論ベンチマーク（GSM8K, MATH-500）を用いて理論を検証した。

• 相転移: 実験により、$\xi \approx 1.0$ における相転移が確認された。欠乏レジーム（$\xi < 0.8$）では、報酬の分散と反集中は無視できるレベルであった。
• ピーク学習信号: 学習信号（報酬の分散）は、長尾なトークン生成分布の影響により、理論的な最小値よりもやや高い $\xi \in [1.5, 2.0]$ の範囲でピークに達した。
• 性能の相関: 推論タスクにおけるポストトレーニングの精度は、$\xi$ が1（均衡レジーム）に近づくにつれて急激に上昇し、過剰レジーム（$\xi > 2.0$）で飽和した。
• モデルの堅牢性: 理論的予測は、二峰性のトークン分布を示すモデル（Qwen3など）であっても、異なるモデルやデータセット間で一貫して成立しており、コアとなる理論が特定の分布偏差に対して堅牢であることを示唆している。

5. 意義と主張

本論文は、LLMの推論におけるRLVRの成功を説明する統一的な理論的枠組みを提供すると主張している。その主な意義は以下の通りである：

1. 「能力の境界」の定義: タスクが些細でも実行不可能でもなく、計算予算がタスク固有の難易度と同程度であるときにRLが最も効果的であるという経験的な観察を、理論的に正当化した。
2. 計算配分のガイダンス: 実務家に対し、トークン予算を $\xi \in [1.5, 2.0]$ となるように割り当てるという具体的なガイドラインを提供する。これにより、過剰な予算による収穫逓減を避けつつ、有益な軌跡の存在を確保できる。
3. RLとSFTの乖離の説明: なぜ検証器ベースのRLが、解決策の多様性が模倣学習を妨げ、探索ベースのRLを助ける均衡レジームにおいて、テスト時計算量のスケーリングにおいてSFTを凌駕するのかを解明した。
4. 持続可能なAI開発: RLが収穫逓減に陥るタイミングを特定することで、大規模なモデル訓練に伴う財務的・環境的コストを削減し、無駄なトレーニング実行を防ぐことを目的としている。

著者らは、分散分析を扱いやすくするために連続的なプロキシ報酬に依存していること、および厳密なバイナリ報酬設定への理論の拡張が今後の課題であることを述べている。しかし、現実の設定における実証的な一致は、相対予算 $\xi$ が推論指向のRLの有効性における基本的な要因であることを示唆している。