技術概要：XRPO – 標的化された探索と活用による GRPO の限界への挑戦

1. 問題提起

強化学習と検証可能な報酬（RLVR）およびグループ相対方策最適化（GRPO）に支えられた大規模言語モデル（LLM）の推論における最近の進展は、効率性と品質において持続的なボトルネックに直面しています。著者らは、既存のアプローチ（例えば GRPO、GSPO）に以下の 2 つの主要な限界を特定しました：

1. 価値あるロールアウトの探索不足：現在の手法は通常、静的なロールアウト割り当て（例えば、プロンプトあたり 16 個のロールアウトを生成するなど）を採用しています。この均一な分布は、高報酬分散を持つプロンプトからの学習信号を希薄化し、「ゼロ精度」のプロンプト（しばしば最も困難な質問）の探索を不十分なものにします。これらの困難なプロンプトはモデルの能力のフロンティアを押し広げる上で重要であるため、これらを無視するか、いくつかの動的サンプリング手法が行うように破棄することは、モデルが性能限界を突破するのを妨げます。
2. 軌道信号の活用不足：標準的なルールベースの報酬（例えば、二値の 0/1）は、多様なロールアウト間の区別を崩壊させます。モデルが正しい回答を生成した場合でも、推論経路の複雑さや確率に関わらず、報酬信号は同一です。このスパース性は、表面的に類似した成功と失敗を区別するモデルの能力を抑制し、生成軌道に埋め込まれた豊富な情報を活用できなくすることで、均質化され、最適ではない行動につながります。

2. 手法：XRPO フレームワーク

XRPO（eXplore–eXploit GRPO）は、探索と活用のバランスを原理的に捉える視点を通じて方策最適化を再定義します。特定された限界に対処するために、3 つの中核メカニズムを導入します：

A. 階層的ロールアウト計画（探索）

静的な割り当ての代わりに、XRPO は不確実性の低減と探索ボーナスに基づいてロールアウト予算を適応的に割り当てる、数学的に裏付けられた階層的ロールアウトプランナーを導入します。

• 不確実性の認識：プランナーは、追加のロールアウトが推定平均報酬の統計的な不確実性を最大限に低減するプロンプトを優先します。これは、推定平均報酬に対するスチューデントの t 信頼区間の半幅を用いて定量化されます。
• 探索ボーナス：希薄にサンプリングされたか、あるいは困難なプロンプトの軽視を防ぐために、優先度スコアに探索ボーナスが追加され、高分散プロンプトの活用と未サンプリングプロンプトの探索の間のトレードオフを促します。
• 段階的割り当て：この戦略は段階的に動作します。まず、初期の基準となるロールアウト数で基準信号を確立し、その後、残りの予算を計算された優先度スコアに比例して分配する動的なラウンドが続きます。

B. 対称性破りのための ICL シーディング（探索）

困難なプロンプトが一貫して勾配信号をもたらさない「ゼロ報酬の対称性」に対処するため、XRPO はコンテキスト内学習（ICL）シーディングを統合します。

• メカニズム：すべてのロールアウトが失敗するプロンプトに対して、システムはトレーニング中にモデル自身によって生成された検証済みの成功ロールアウトの進化コーパスから選りすぐりの事例を検索し、コンテキストとして注入します。
• 目的：これにより探索空間が一時的に拡大し、モデルはスパースな報酬下ではアクセス不可能だった推論戦略にアクセスできるようになります。ゼロ報酬グループの対称性を破ることで、以前は解けなかったプロンプトにおける方策の改善を可能にします。
• コーパス管理：ICL コーパスは空として初期化され、方策に準じた成功例で漸増的に充填され、外部の教師なしで方策とともに自然に進化します。

C. 新奇性誘導型アドバンテージの鋭敏化（活用）

成功した軌道の有用性を最大化するため、XRPO はアドバンテージ推定を鋭敏化するためのシーケンスレベルの新奇性尺度を導入します。

• 新奇性の定義：新奇性は、ロールアウトの長さ正規化された対数尤度がグループの平均からどれだけ逸脱しているかとして定義されます。モデルの現在の分布下で非典型的（低確率）な正しい回答は「新奇」と見なされます。
• アドバンテージの成形：完全な報酬を受けたロールアウトに対して、そのロールアウトが新奇である場合（つまり、グループ平均よりも低い尤度を持つ場合）、標準的な GRPO アドバンテージにエントロピーに着想を得たボーナスが追加されます。
• 効果：このメカニズムは、低確率ながら正しい回答を増幅し、モデルが多様な推論経路の探索を促し、既知だが最適ではないパターンへの早期収束を防ぎます。追加のロールアウトを必要とせずに効率的に動作します。

3. 主要な貢献

本論文は、以下の 3 つの主要な貢献を主張しています：

1. 新規な階層的ロールアウト探索：不確実性の低減と探索ボーナスに基づいてリソースを適応的に割り当てるプランナーと、困難なプロンプトにおけるゼロ報酬の対称性を破るための ICL シーディングを組み合わせたもの。
2. 新奇性誘導型アドバンテージの鋭敏化：シーケンス尤度を活用して、稀で正しい推論経路を区別し報酬化するメカニズムにより、汎化性を向上させ、報酬の均質化に対抗するもの。
3. 包括的な評価：多様な数学およびコーディングベンチマークにおいて、最先端のベースライン（GRPO、GSPO、DAPO、TreePO）を XRPO が凌駕することを示す広範な実験。

4. 実験結果

著者らは、Qwen3-1.7B、Qwen2.5-7B-Instruct、Llama-3.2-3B などのモデルを、AIME、HMMT、BRUMO、MATH、Codeforces、LiveCodeBench などのベンチマークで評価しました。

• 性能向上：XRPO は既存の進展を一貫して凌駕しました。
  • Qwen3-1.7B において、GSPO と比較して pass@1 で最大4% の絶対的な向上、cons@32 で6% の向上を達成しました。
  • Llama-3.2-3B において、困難な数学ベンチマーク（AIME、BRUMO）での平均性能が向上しました。
  • 除去実験により、どのコンポーネント（ICL、アドバンテージ鋭敏化、階層的計画）を除去しても性能が低下することが確認され、完全なフレームワークの必要性が検証されました。
• トレーニング効率：XRPO は GRPO と比較してトレーニング収束を2.7 倍加速しました。例えば、MATH データセットにおいて、XRPO は 450 ステップで 75% の精度に到達しましたが、GRPO は約 1,200 ステップを要しました。
• 推論効率：このフレームワークは自然に、より簡潔な推論をもたらしました。モデルがコンテキスト制約内で有効な解決策をより効率的に見つけることを学習したため、Qwen3 では平均生成長が34.7%、Qwen2.5 では**6.17%**削減されました。
• オーバーヘッド：この手法は計算オーバーヘッドをほとんど導入しませんでした（ステップあたりのレイテンシ増加は約 4.7%）。ICL コーパスの読み込みとアドバンテージ成形は最小限の時間しか追加しませんでした。

5. 意義と主張

本論文は、XRPO を RLVR における探索と活用の体系的な再バランスを取る原理的なフレームワークとして位置づけています。その意義は以下の点にあります：

• 能力限界の突破：ICL シーディングを通じて「ゼロ報酬」の困難なプロンプトを特定し解決することで、XRPO はモデルが現在の決定境界を超えて押し広げることを可能にします。これは、標準的な静的または単純な動的サンプリング手法では困難な成果です。
• 効率的なリソース活用：数学的に裏付けられた適応的なロールアウト割り当てが、木構造探索や過剰なサンプリングに伴う莫大な計算オーバーヘッドなしに優れた結果をもたらすことを示しています。
• 汎用性：このフレームワークは最近の最適化の進展（例えば、GSPO を補完する）と互換性があり、異なるモデルサイズやドメイン（数学とコード）において効果的に動作します。

著者らは、非常に大規模なモデル（300B 以上のパラメータ）での評価を行っていないこと、および ICL コーパスが現在、より強力な教師モデルではなくモデル自身の成功に依存しているという限界を指摘しています。しかし、結果は XRPO が、より安定した高速な RLHF 収束に向けた堅牢な道筋を提供することを示唆しています。