技術概要：重要な部分にロールアウトを集中させる

問題定義

強化学習（RL）による大規模言語モデル（LLM）のポストトレーニング、特にオンライン・オンポリシー設定において、支配的な計算ボトルネックは最適化ステップではなく、ロールアウト（サンプリング）の生成にあります。グループベースのポリシー最適化手法（Group Relative Policy Optimization: GRPO など）は、同一プロンプトに対して生成された複数のロールアウトを比較することでアドバンテージを計算します。しかし、既存のアプローチは、学習ポテンシャルに関係なく、バッチ内のすべてのプロンプトに対してロールアウト予算を無差別に割り当てています。

これは重大な非効率性を招きます。報酬分布が崩壊しているプロンプト（すべてのロールアウトが同一の報酬、すなわちすべて正解またはすべて不正解となる場合）は、ゼロのアドバンテージを生み出し、勾配信号に寄与しないにもかかわらず、高価なサンプリングリソースを消費します。一方、高い報酬分散を持つプロンプトは、最も強力な学習信号を提供します。現在の手法は、これらの状態をオンラインで区別できず、情報が乏しいデータに対して計算リソースを浪費しています。DAPO のような過剰サンプリング戦略は探索を改善しますが、低信号プロンプトをフィルタリングすることなく、サンプリングコストを線形に増大させるだけです。

手法：パイロット・コミット（Pilot-Commit）

著者は、プロンプトの評価と活用を分離するように設計された、予算意識型のロールアウト割り当てフレームワークである**パイロット・コミット（PC）**を提案します。この手法は、グループベースの更新が、ポリシー勾配の大きさが最大化される高い報酬分散の状態において最も効果的であるという理論的知見に基づいています。

このフレームワークは、各トレーニングステップにおいて以下の 2 つの段階で構成されます。

1. パイロット段階: 総ロールアウト予算の一部を使用して、サンプリングバッチ内のすべてのプロンプトに対して少量のロールアウト（$n_{pilot}$）をサンプリングします。システムは、現在のポリシー下での各プロンプトの実証的成功率（したがって報酬分散）を推定します。

   • プロンプトは非対称な閾値に基づいてフィルタリングされます。成功率が $p_{upper}$ を超える「難易度が低すぎる」プロンプトは、勾配信号が減少するため、将来のサンプリングから除外されます。成功率が $p_{lower}$ を下回る「難易度が高すぎる」プロンプトは、廃棄されるのではなく、ポリシーの改善に伴い高分散状態に近づく可能性があることを認め、次のエポックへ延期されます。
   • 目標分散範囲（通常 $p \approx 0.5$ 付近）に該当するプロンプトが、コミット段階のために選択されます。

2. コミット段階: 残りのロールアウト予算（$n_{commit}$）は、パイロットフィルタを通過したプロンプトにのみ割り当てられます。これらのプロンプトは、トレーニングデータを生成するためのサンプリングリソースの大部分を受けます。

3. トレーニング: ポリシーは、選択されたプロンプトに対するパイロットおよびコミットロールアウトの和集合を用いて更新されます。

主要な最適化:

• バインディング: 推論オーバーヘッドを削減するため、ステップ $t-1$ のパイロット段階をステップ $t$ のコミット段階にバインドし、推論パスのオーバーラップを可能にすることで、オフポリシー遅延を最小限に抑えます。
• リプレイバッファ: パイロットフィルタを通過した余剰プロンプトをリプレイバッファに保存し、現在のパイロット段階で生存者が少なすぎる場合にトレーニングバッチを補充します。また、古くなったプロンプトは陳腐化を防ぐために除外されます。
• 除外戦略: 一貫して解決されたプロンプト（すべてのパイロットロールアウトが正解）は、予算の浪費を防ぐためにサンプリングプールから恒久的に削除されます。

主要な貢献

• 理論的洞察: 本論文は、グループ内の報酬結果が最大に不確実（すなわち、高い分散）である場合、GRPO グループ勾配の大きさが最大化されることを示す解析的証明（命題 3.1）を提供します。これにより、報酬分散がプロンプトの情報量の直接的な代理指標であることが確立されました。
• フレームワーク設計: パイロット・コミットは、プロンプトの情報量に関するライブなオンライン推定に基づいて固定されたロールアウト予算を動的に再割り当てする、新しい 2 段階の割り当て戦略を導入します。これにより、補助モデルや陳腐化した過去の統計データが必要なくなります。
• システム実装: この手法は、スケーラビリティを確保するためのオフポリシーバインディングやリプレイバッファなどの実用的な最適化を備えた、verl RL フレームワーク内の新しいレシピとして実装されています。

実験結果

著者は、数学的推論ベンチマーク（AIME、AMC、MATH 500、DeepMath を含む）において、1.5B から 14B パラメータまでのモデルスケールでパイロット・コミットを評価しました。

• ロールアウト効率: パイロット・コミットは、GRPO や DAPO と比較して、はるかに少ない累積ロールアウトで目標のベースライン精度に到達します。
  • GRPOと比較して、PC は累積ロールアウトの観点で目標精度に1.5 倍から 1.9 倍速く到達します。
  • DAPOと比較して、PC は累積ロールアウトで2.3 倍から 4.0 倍速く到達します。
• ウォールクロック時間: 64 個の H200 GPU を用いた高度に並列化された環境であっても、サンプリングコストの削減は実用的な高速化につながります。ステップあたりのウォールクロック時間において、PC は GRPO より1.21 倍、DAPO より1.83 倍高速です。
• 学習品質: PC はトレーニングを通じてベースラインよりも高い平均報酬分散を維持しており、更新がより強力な勾配信号を持つプロンプトに集中していることを示しています。その結果、PC は同じトレーニングステップ数内で、しばしばベースラインよりも高いピーク精度を達成します。
• ハイパーパラメータの頑健性: 除去研究（アブレーションスタディ）は、閾値が予算を絶望的なプロンプトに浪費したり、境界線にある情報量のあるものを除外したりする極端な設定でない限り、パイロット/コミットの分割比率やフィルタリング閾値の変動に対して手法が頑健であることを示しています。

意義と主張

本論文は、ロールアウト割り当てを RL ポストトレーニングにおける「ファーストクラスの課題」と主張しています。「生成するロールアウトの数をどうするか」から「それらをどのプロンプトに費やすか」へと焦点を移すことで、パイロット・コミットは均一サンプリングの根本的な非効率性に対処します。

著者は、彼らのアプローチがトレーニング目的を変更したり、固定されたカリキュラム順序を課したりするものではないことを強調しています。代わりに、これは進化中のポリシーにオンラインで適応し、計算予算を学習信号が最も強力な場所で費やすことを保証します。結果は、グループベースの RL ポストトレーニングにおいて、インテリジェントなサンプリング割り当てが、最終的なモデル性能を犠牲にすることなく、むしろ向上させることも含め、大幅な効率向上をもたらす可能性を示唆しています。この研究は、生成速度だけでなく、サンプリングされるデータの有効性に焦点を当てた、システムレベルのスループット最適化を補完する改善として提示されています。