技術要約：ExTra - 言語モデルの強化学習における探索的軌跡最適化（Exploratory Trajectory Optimization for Language Model Reinforcement Learning）

1. 問題提起

本論文は、言語モデルの推論における検証可能な報酬（Verifiable Rewards: RLVR）、特にグループ相対方策最適化（Group Relative Policy Optimization: GRPO）フレームワーク内での決定的な失敗モードに対処している。著者らは、タスクの難易度の両極端において、以下の2つの構造的な弱点を特定している：

• 容易なプロンプト（多様性の崩壊 / Diversity Collapse）: 問題が容易な場合、モデルはほぼ一様な正解レスポンスを生成する。これにより、グループ内の報酬分散がゼロ近くまで収縮し、勾配信号が実質的に消失する。その結果、方策は狭い範囲の推論パターンに対して過剰に最適化され、軌跡の多様性が抑制される。この劣化は、多様な正解のサンプリングに依存する推論時スケーリング指標（$k > 1$ における pass@k など）を直接的に損なう。
• 困難なプロンプト（信号の喪失 / Signal Loss）: 問題が困難な場合、ロールアウトグループ内に正解のレスポンスを一つも生成できない可能性がある。このシナリオでは、すべてのアドバンテージが消失し、方策に対して一切の勾配信号を与えない。

DAPOのような既存の緩和戦略（難易度に基づくデータフィルタリング）は、極端な通過率を持つ問題を破棄するか、「Goldilocks（適度な）」グループが見つかるまで再サンプリングすることでこれを解決しようとする。著者らは、このアプローチは非効率であると主張する。なぜなら、それは困難な問題（フロンティアの推論のための濃密な学習信号を含むもの）を破棄してしまう上に、保持された容易な問題における多様性の崩壊を防ぐこともできないからである。さらに、ゼロからの再サンプリングは、失敗した軌跡に既にエンコードされている潜在的な有用な中間構造を無視している。

2. メソドロジー：ExTra フレームワーク

ExTra（Exploratory Trajectory Optimization）は、追加の報酬モデルやバイナリの正誤以外の教師あり学習を必要とせず、モデル自身のロールアウトから直接探索信号を抽出するように設計された、GRPO互換のフレームワークである。これは、2つの補完的なメカニズムを通じて機能する。

A. 新規性駆動型内在的報酬（容易なプロンプトへの対処）

容易な問題における多様性の崩壊に対抗するため、ExTraは埋め込みベースの新規性報酬を導入する。

• メカニズム: 各プロンプトに対して、システムは過去のレスポンスからの文章埋め込みのメモリを保持する。新しいレスポンス $y$ は、それが正解であり、かつメモリに対して意味的に新規である場合にのみ、内在的報酬 $r_{int}$ を受け取る。
• 定式化: $r_{int}(y) = \mathbb{1}[R(x,y)>0] \cdot (1 - \max_{z' \in \Phi(x)} \cos(z, z'))$。
• 統合: 決定的なのは、この新規性ボーナスがGRPOのグループ正規化の後に追加される点である。これにより、探索信号がグループの平均や分散によって歪められるのを防ぎ、バイナリのタスク報酬が主要なドライバーであり続けつつ、新規性項が多様な正解戦略を促進することを保証する。
• 制約: 正誤のゲート（Correctness gate）により、方策が多様な「失敗」を生み出すよう動機付けられることは決してない。

B. エントロピー誘導型プレフィックス再生成（困難なプロンプトへの対処）

正解のレスポンスが生成されない困難なプロンプトから、ゼロからの再サンプリングではなく、有望な中間ステップから軌跡を再生成するために、Exтраはエントロピー誘導型プレフィックス再生成を提案する。

• ヒューリスティック: 本手法は、**平均トークンエントロピー（Mean Token Entropy: MTE）**を、推論プレフィックスの質に対する教師なしのプロキシとして使用する。仮説は、一貫した推論チェーンは、漂流したり不整合であったりするチェーンよりも、不確実性（低いエントロピー）を伴って生成されるというものである。
• プロセス:
  1. 困難なプロンプトに対し、ロールアウトグループからのすべての中間推論ステップ（プレフィックス）を抽出する。
  2. 各プレフィックスに対してMTEを計算する。
  3. ノイズを減らすために、スコアは意味的類似性を用いて平滑化される。
  4. 最も低い平滑化MTEを持つプレフィックスが「ガイド付きプロンプト」として選択される。
  5. このプレフィックスに基づき、新しいサフィックスが条件付きでサンプリングされる（$y_{>t} \sim \pi_\theta(\cdot | x, p^*)$）。
• 効率性: 方策勾配損失は、新しく生成されたサフィックスのトークンに対してのみ計算され、固定されたプレフィックスはコンテキストとして機能する。これにより、探索を、モデルが既に高い確信度で到達している状態へと集中させ、実質的に探索空間を縮小させる。

3. 主な貢献

1. 失敗モードの特定: 容易なタスクにおける「多様性の崩壊」と、困難なタスクにおける「信号の喪失」を、標準的なGRPOの構造的な限界として形式的に特徴付けた。
2. 新規アルゴリズム (ExTra): 多様性（容易なタスク）と構造的な有望性（困難なタスク）の両方を最適化するために、事後正規化新規性報酬とエントロピー誘導型プレフィックス再生成を組み合わせたフレームワーク。
3. 教師なし中間監督: MTEが、プレフィックスの質を予測する強力な教師なし指標であることを検証した。実験では、MTEが正解の回答を必要とする指標をも上回り、正解の完了へと導く可能性が高いプレフィックスを特定できることを示した。
4. 理論的正当化: 「平均以上」のプレフィックスが存在する場合、再生成はゼロからのサンプリングと比較して、試行あたりの成功率を厳密に向上させ、解を見つけるための期待試行回数を減少させることを示す探索空間分析（命題1）。

4. 実験結果

著者らは、Qwen3-1.7BおよびNemotron-1.5Bを用い、6つの数学的推論ベンチマーク（MATH-500, AMC23, Minerva, OlympiadBench, AIME24, AIME25）でExTraを評価した。

• 性能向上:
  • Qwen3-1.7B: ExTraは標準的なGRPOと比較して、平均pass@1で**+4.9ポイント**、平均pass@16で**+6.8ポイント**向上させた。
  • 困難なベンチマーク: 改善はAIME24（pass@1で+8.0、pass@16で+20.0）やAIME25のような困難なデータセットで最も顕著であった。
  • アブレーション研究:
    • ExTra-N (Noveltyのみ): pass@1とpass@16の両方を改善し、多様性報酬の価値を裏付けた。
    • ExTra-R (Regenerationのみ): pass@1を改善したが、pass@16をわずかに低下させた。これは、再生成単体では、新規性報酬による多様性のバッファなしでは探索空間を狭めてしまうことを示唆している。
    • Full ExTra: 相加的な効果を示し、両方のメカニズムを組み合わせることで、個々の要素の和よりも大きな利得が得られた。
• 多様性指標: ExTraはGRPOやDAPOと比較して、より低いSelf-BLEUと高いLogDetスコアを達成し、推論軌跡のより広い意味的カバー範囲を示した。
• サンプル効率: ExTraは、DAPOよりも大幅に少ない生成プロンプトインスタンス（136k対392k）を使用しながら、より高いpass@16スコアを達成しており、動的な再サンプリングのオーバーヘッドなしに、より多くの信号を抽出できることを示した。

5. 意義と主張

本論文は、多様かつ構造的に有望な軌跡を明示的に最適化することで、ExTraがRLVRに対してより効率的で堅牢なアプローチを提供すると主張している。その意義は以下の通りである：

• 運用の簡便さ: 標準的なGRPOのループ内で完全に動作し、追加の報酬モデル、人間によるアノテーション、または標準的な生成ロジット以上の重い計算オーバーヘッドを必要としない。
• 信号抽出: 有価値な探索信号（多様性と中間構造）は、モデル自身の生成プロセスの中に潜在しており、困難なデータを破棄したり盲目的に再サンプリングしたりすることなく、それらを収穫できることを示した。
• スケーラビリティ: 単一サンプルの精度と推論時のカバレッジ（pass@k）の両方を向上させることで、多数決やBest-of-Nサンプリング戦略を通じた推論能力のスケーリングを支援する。

著者らは、MTEは強力な予測因子ではあるものの、モンテカルロ的なプレフィックス評価に伴う本質的なノイズのため相関は中程度であり、本手法は「平均以上」のプレフィックスが存在するという経験的事実に依存していることを述べ、控えめなトーンを維持している。