技術的サマリー：プレフィクスサンプリングによるロールアウトパス率制御

1. 問題定義

検証可能な報酬を伴うバイナリ報酬強化学習（RLVR）、すなわちソフトウェアエンジニアリング（SWE-bench）や数学的推論において、グループ相対方策最適化（GRPO）などのオンライン方策勾配法は、対照学習信号を生成するためにロールアウト軌道のグループをサンプリングすることに依存している。しかし、これらのサンプリングされたグループが偏ったパス率（例えば、すべて成功またはすべて失敗、あるいは 1/8 や 7/8 のように著しく不均衡な比率）を示す場合、重大な非効率性が生じる。

このような偏った領域では、バイナリ報酬は弱い対照信号しか提供しない。具体的には：

• 全失敗（0/N）または全成功（N/N）のグループは、相対的な優位性信号を提供しないため、GRPO や DAPO などのグループフィルタリングヒューリスティックによって通常は破棄される。
• **フィルタリングを生き延びた偏ったグループ（例：1/8 または 7/8）**は、バランスの取れたグループと比較して、依然として最適ではない学習信号を提供する。
• 計算資源の浪費：これらの情報に乏しい軌道を生成することは、比例する訓練上の利益をもたらすことなく、膨大な計算資源とウォールクロック時間を消費する。

既存の手法は、暗黙的なフィルタリング、動的サンプリング、または外部のガイダンス（ヒント、オラクルプレフィクス、または教師トレース）の注入を通じてこれを緩和しようとする。しかし、これらのアプローチは、保持されたグループのパス率を最も情報量の多い領域へと明示的に制御することに失敗するか、外部データを導入することでリソース予算とプロトコルを変更してしまう。

2. 手法：プレフィクスサンプリング（PS）

著者は、バイナリ報酬 RL における最適な動作点として50% のパス率を特定し、これを明示的な目的として**ロールアウトパス率制御（Rollout-PRC）を提案する。さらに、外部データを必要とせず、ロールアウト予算を変更することなく、偏ったロールアウトグループをこの 50% 領域へと誘導する双方向フレームワークであるプレフィクスサンプリング（PS）**を導入する。

2.1 理論的基盤：なぜ 50% か？

本論文は、50% のパス率（$p=0.5$）が学習信号強度の 4 つの相補的指標を最大化することを示している：

1. 報酬エントロピー：バイナリ結果の情報量を最大化する。
2. 生存確率：グループフィルタリングを生き延びる確率（すなわち、全失敗または全成功にならない確率）を最大化する。
3. RLOO 優位エネルギー：GRPO 下での Leave-One-Out（RLOO）優位推定値の分散を最大化する。
4. 対照ペア：グループ内で対照学習に利用可能な成功 - 失敗ペアの数を最大化する。

2.2 プレフィクスサンプリングフレームワーク

プレフィクスサンプリングは、軌道のプレフィクスを再生することにより、偏ったグループの継続の難易度を調整する：

• 「難しい」グループ（低いパス率、例：1/8 または 2/8）に対して：システムは同じバッチ（または保存されたプレフィクス）から成功した軌道を選択し、そのプレフィクスを再生する。これは「先手」のような役割を果たし、現在のポリシーが継続するための正しい部分的な解決策を提供することで、成功した完了の可能性を高める。
• 「易しい」グループ（高いパス率、例：6/8 または 7/8）に対して：システムは失敗した軌道を選択し、そのプレフィクスを再生する。これは「ハンディキャップ」として機能し、ポリシーに以前失敗した困難な経路を navigat させ、失敗の可能性を高め、対照信号を生成する。

2.3 状態保持環境における実装

PS の主要な革新点は、状態保持エージェント環境（ツール使用や環境相互作用を伴うコーディングエージェントなど）で機能する能力にある：

• 実行による再生（Replay-through-Execution）：単にテキストを連結するのではなく、システムは保存されたプレフィクス応答を標準的なアクションパーサーと環境実行器に通すことで、エージェントの状態（コード、会話履歴、ツールの出力、環境状態）を再構築する。
• プレフィクスマスキング：クレジット割り当てをオンポリシーに保つために、再生されたプレフィクス内のすべてのトークンに対して損失をマスクする。最適化は、現在のポリシーによって生成された継続トークンにのみ制限される。これにより、モデルは生成しなかったアクションに対してクレジットを受け取ることはなく、再構築された状態から恩恵を受けることができる。
• 適応制御：適応コントローラーは、各「偏りバケット」（1/8、2/8、6/8、7/8）のリロールアウトパス率の指数移動平均（EMA）を維持する。各バケットのパス率を 0.5 の目標に向かって誘導するために、プレフィクス比率（再生するプレフィクスの長さ）を動的に調整する。

3. 主要な貢献

1. Rollout-PRC の定式化：本論文は、パス率制御をバイナリ報酬 RL のための原理的な効率目的として特定し、定式化し、50% のパス率が報酬エントロピー、優位エネルギー、および対照構造を最大化することを証明する。
2. プレフィクスサンプリングアルゴリズム：自己生成されたプレフィクス（外部オラクルなし）を使用して偏ったグループを誘導する双方向フレームワーク。実行再生とプレフィクスマスキングを通じて、状態保持エージェント環境を独自にサポートする。
3. 実証的検証：複数のスケール（Qwen3-4B から 32B）およびドメイン（SWE-bench および AIME 2025）で実証され、PS がベースラインレベルのパフォーマンスをより少ないステップで達成し、大幅なエンドツーエンドの高速化をもたらすことを示した。

4. 実験結果

著者は、Qwen3 モデル（4B、8B、14B、32B）を使用して、SWE-bench Verified（エージェント RL）およびAIME 2025（数学的推論）において PS を評価した。

4.1 ベンチマーク性能

• SWE-bench Verified：
  • Qwen3-14B：ベースラインのピーク性能（0.273）をステップ 170 で達成（ベースラインは 300）、さらに0.295という新たなピーク（+4.7 パーセントポイント）を達成。
  • Qwen3-32B：ベースラインのピークをステップ 290 で達成（ベースラインは 410）、0.422というピーク（+5.4 パーセントポイント）を達成。
• AIME 2025：
  • Qwen3-4B：ステップ 140 でベースラインのピークに到達（ベースラインは 230）、+7.3 pp の gain。
  • Qwen3-8B：ステップ 190 でベースラインのピークに到達（ベースラインは 260）、+10.8 pp の gain。

4.2 効率性と高速化

• エンドツーエンドの高速化：PS は Qwen3-14B で2.01 倍、Qwen3-32B で1.55 倍の高速化を実現。
• 訓練効率：ベースラインの通常タスクスコアに到達するための訓練ステップ数が、モデル間で 1.51 倍から 1.92 倍削減された。
• 有効グループ：バッチあたりの有効（非退化）ロールアウトグループの数が大幅に増加（例：14B では 25.9 から 36.7 に増加）、ロールアウト予算のより効率的な利用を示している。
• ウォールクロック時間：状態保持 SWE 実行において、プレフィクス再生成ではなく再構築された状態の再利用により、プレフィクス再生がステップあたりのウォールクロック時間を削減し、全体の高速化に貢献した。

4.3 アブレーション研究

4B 数学実行におけるアブレーションは、利益の分解を確認した：

• 再生：収束速度の主要な駆動力（固定再生で 1.61 倍の高速化）。
• 適応制御：リロールアウトパス率を 0.5 付近に保つために不可欠；固定比率は最適でないパス率（例：0.36 または 0.65）と遅い収束をもたらした。
• 双方向カバレッジ：難しいバケットと易しいバケットの両方を制御することが必要；難しいバケットのみを制御すると、利益が著しく低下した。

5. 意義と主張

本論文は、プレフィクスサンプリングが、外部監視に依存せず、計算予算を増やすことなく、バイナリ報酬 RL 訓練を改善するための原理的かつリソース効率的な手法を提供すると主張している。

• メカニズム：利益は、偏った部分的成功グループを高信号の 50% 領域へと誘導し、それによって報酬エントロピーと対照ペアを増加させることに起因する。
• 状態保持能力：テキストのみのプレフィクス連結に依存する先行手法とは異なり、PS は実行再生を通じて状態保持エージェント環境（コード、ツール、履歴）を成功裡に再構築し、複雑なエージェントタスクへの適用を可能にする。
• 謙虚さ：著者は明示的に、自らの主張がグループ化されたロールアウトを伴うバイナリ報酬 RLVR に限定されていると述べている。50% がすべてのカリキュラム設計にとって最適であるとか、多様なデータが必要なくなることを主張するものではなく、既存のロールアウト予算の利用を最適化するものである。この手法は、既存の GRPO++ パイプラインと互換性のある「ドロップイン」コントローラーとして提示されている。

要約すると、本論文は、ロールアウトグループのパス率を 50% を目標として能動的に管理することで、最終的な性能を維持または向上させながら、エージェント RL システムの訓練を大幅に加速できることを示している。これはすべて、標準的なベースラインと同じ計算制約内で実行される。