技術要約：RLポストトレーニングのためのクロスエポック適応型ロールアウト最適化 (CERO)

1. 問題定式化

GRPOのようなアルゴリズムを用いた大規模言語モデル（LLM）のRLによるポストトレーニングは、通常、プロンプトごとに固定数のロールアウトをサンプリングすることに依存しています。この一律な割り当て戦略は、プロンプトによって提供される学習信号の不均一性を無視しています。一部のプロンプトは自明であり（低分散で一貫した成功または失敗をもたらす）、他のプロンプトは難しすぎるか、あるいは既に習得済みであり、限界効用が逓減しています。その結果、グローバルなロールアウト予算の大部分が、学習価値の低いプロンプトに対して浪費されています。

本論文では、これを固定されたグローバル予算 $B$ の下でのクロスエポック・オンライン・リソース配分問題として定式化しています。プロンプト内での再配分や生成後のフィルタリングを行う従来のメソッドとは異なり、本研究は、プロンプトとトレーニングエポックの両方にまたがるロールアウトの配分に対処します。目的は、収集されたサンプルの累積ユーティリティを最大化することであり、ここでユーティリティはプロンプトレベルの収穫逓減に従います。この問題は、$\sum_{i,k} N_{i,k} \le B$ というグローバル予算制約の下で、プロンプト固有のユーティリティ関数 $U_i(\sum_k N_{i,k})$ の総和を最大化することとして数学的に定義されます。ここで、$N_{i,k}$ はエポック $k$ におけるプロンプト $i$ に割り当てられるロールアウト数です。

2. 手法：CERO

著者らは、推定されたプロンプトのインフォマティブネス（情報量）に基づいてロールアウトを適応的に配分するように設計された、ベイズ・プライマル・デュアル・オンライン・アルゴリズムであるCERO (Cross-Epoch Adaptive Rollout Optimization) を提案しています。

2.1 インフォマティブネスとユーティリティの設計

• ベータ事後分布モデリング: 各プロンプト $x_i$ に対して、CEROは過去のロールアウト履歴 $H_i^k$ に基づいて更新される、潜在的な成功確率 $p_i$ に関するベータ事後分布を保持します。
• インフォマティブネス・スコア ($q_{k,i}$): 成功確率の点推定値を使用する代わりに、CEROは期待ベルヌーイ分散を推定します：$q_{k,i} = E[p_i(1-p_i) | H_i^k]$。このスコアは $p_i \approx 0.5$（中間的な難易度）のときに最大化され、$p_i \approx 1$（容易）または $p_i \approx 0$（困難）のプロンプトでは消失します。これにより、最も不確実性が高く、したがって学習信号として有益なプロンプトを効果的に特定します。
• ユーティリティ関数: 凹型の飽和するユーティリティ関数が $U_i(n) = 1 - \exp(-\eta q_i n)$ として定義されます（ここで $n$ は累積ロールアウト数）。これは収穫逓減を捉えています。情報量の多いプロンプトに対する初期のロールアウトは非常に価値が高いですが、より多くのサンプルが収集されるにつれて、限界価値は減少します。

2.2 Fenchel-Dual（フェンツェル双対）による再定式化による最適化

ユーティリティ関数が時間的に結合していること（累積的な配分に依存すること）により、直接的なオンライン最適化は困難になります。CEROは、Fenchel-dual再定式化を通じてこれに対処します。

• 問題は、プロンプトレベルの双対変数 $\theta_i$ とグローバルな予算乗数 $\mu$ を含む双対目的関数へと変換されます。
• この再定式化により、時間的に結合された問題を、双対変数によって調整されるエポックごとの配分サブ問題へと分解します。

2.3 オンライン・プライマル・デュアル・アルゴリズム

CEROは、既存のRLパイプライン（例：GRPO）の上で動作するドロップイン・レイヤーとして機能します。

1. 配分決定: 各エポックにおいて、各プロンプトに対して、アルゴリズムは線形サブ問題を解きます。推定された限界価値（双対変数 $\theta_i$）が現在のグローバル予算価格（$\mu$）を上回る場合、そのプロンプトには最大許容ロールアウト数（$N_{max}$）が割り当てられ、そうでなければゼロが割り当てられます。
2. フィードバック更新: レスポンスを生成し報酬を観察した後、プロンプトのベータ事後分布が更新され、インフォマティブネス・スコア $q_{k,i}$ がリフレッシュされます。
3. 双対変数の更新:
   • プロンプトレベル ($\theta$): 割り当てられたロールアウト量と、現在のインフォマティブネス推定値から示唆されるユーティリティとのバランスを取るために、射影オンライン勾配降下法を介して更新されます。
   • 予算レベル ($\mu$): 実際のロールアウト消費量と目標予算レートとの乖離に基づいて更新されます。消費量がレートを超えると $\mu$ は増加し、将来の配分をより選択的にします。以下になると $\mu$ は減少し、配分を緩和します。

3. 主な貢献

1. 問題定式化: 本論文は、LLMのRLポストトレーニングにおけるロールアウト配分を、プロンプト固有の収穫逓減を伴うクロスエポック固定予算オンライン最適化問題として初めて定式化しました。これは、共有されたグローバル予算を介して、決定をトレーニングホライゾン全体に明示的に結合させています。
2. アルゴリズム設計: プロンプトレベルのロールアウト価値の事後推定値を使用して予算を導く、ベイズ・プライマル・デュアル・アルゴリズムであるCEROを導入しました。これは、学習可能性のプロキシとして事後期待ベルヌーイ分散を利用し、時間的な非分離性を扱うためにFenchel-dual再定式化を採用しています。
3. 理論的および経験的検証:
   • 理論: 固定されたプロンプトユーティリティの下で、オフライン配分ベンチマークに対して $O(\sqrt{K})$ のリグレット境界（$K$ はエポック数）を証明しています。
   • 実験: 4つのオープンウェイトLLM（1.5Bから7Bパラメータの範囲）を用いた数学的推論タスク（AIME, AMC）における広範な実験により、CEROがバニラGRPOを一貫して上回ることを示しています。

4. 実験結果

著者らは、DeepSeek-R1-Distill-1.5B、Qwen3-4B (Base および Instruct)、および Qwen2.5-Math-7B を用いて、DAPO-Math-17K データセット上でCEROを評価しました。

• パフォーマンス: CEROは、すべてのモデルとベンチマークにおいて、バニラGRPOに対して一貫した改善を達成しました。平均的な利得は、モデルに応じて +1.53 から +6.04 ポイントの範囲でした。
• 効率性分析: 「有効プロンプト比率」（成功と失敗の両方のレスポンスを含むバッチ内のプロンプトの割合。これらは非ゼロの勾配を生成する）は、GRPOよりもCEROの方が有意に高くなりました。
  • ベースラインのGRPOでは、トレーニングが進むにつれて有効プロンプト比率が急激に低下しました。これは、モデルが多くのプロンプトを習得したことを示しており、ロールアウトグループの退化を招いています。
  • CEROは、予算を習得済みのプロンプトから、より不確実性の高いプロンプトへと適応的にシフトさせることで、より高い有効プロンプト比率を維持しました。
• オーバーヘッド: 配分更新メカニメントは、無視できる程度の計算オーバーヘッド（更新あたり1秒未満）しか導入しません。

5. 意義と主張

本論文は、適応的なロールアウト予算管理が、RLポストトレーニングのサンプル効率を向上させるための、原理に基づいた効果的な方向性であると主張しています。一律な配分から脱却することで、CEROは固定された生成予算が、最も情報量の多い学習信号を提供するプロンプトに対して確実に費やされるようにします。

著者らは、CEROを、基礎となるポリシー勾配の目的関数を変更することなく、「どの」プロンプトがロールアウトを受け取り、「どの程度」受けるかを変更する「ドロップイン」型の適応的データ収集レイヤーとして位置付けています。本研究は、現在のRLポストトレーニングの非効率性が、単にポリシー更新ルールだけでなく、不適切なデータ収集戦略からも生じていることを浮き彫りにしています。

著者らが指摘する限界:

• 理論的なリグレット保証は固定されたプロンプトユーティリティを前提としていますが、実装では動的なエポックごとのプラグイン事後推定を使用しています。したがって、分析はポリシーの更新と事後分布のリフレッシュによって誘発される非定常性を完全には捉えていません。
• 実験的な検証は現在、数学的推論タスクに限定されています。他のドメインや報酬モデルへのより広範な検証が今後の課題として示唆されています。