技術概要：オラクル・プロンプト・ポリシー最適化（OPPO）

問題定義

検証可能な報酬を用いた強化学習（RLVR）は、大規模言語モデル（LLM）の推論能力を向上させるための標準的なパラダイムとして登場しました。しかし、支配的なアルゴリズムであるグループ相対ポリシー最適化（GRPO）は、根本的なクレジット割り当ての欠陥に悩まされています。すなわち、推論チェーン内のすべてのトークンに対して、単一の軌道レベルのアドバンテージを割り当てるという点です。長い推論系列において、結果を因果的に決定するのは、戦略の選択や重要な代数的ステップなど、トークンの小さな部分集合に過ぎません。すべての位置に対して同じスカラーアドバンテージをブロードキャストすることで、GRPO は決定的なステップにおける学習信号を希薄化し、無意味なステップにはノイズを注入してしまいます。この問題は、推論チェーンが長くなるにつれて悪化します。

既存の代替手法はこれを解決しようとしていますが、それぞれ固有の限界に直面しています：

• 改良された GRPO 変種（Dr.GRPO、DAPO など）は、重要度比やクリッピングを修正しますが、依然としてトークン全体に均一なアドバンテージを割り当てます。
• トークンレベルの手法は、高価なモンテカルロ再サンプリング、暗黙の報酬モデルのオンライン更新、またはセグメントレベルの集約を必要とすることが多いです。
• オンポリシー蒸留手法（SDPO など）は、真の答え（ground-truth answer）に条件付けられた特権的な教師を用いて、トークンごとの信号（対数尤度比）を生成します。しかし、これらの手法は、その位置までに蓄積された累積的な証拠から切り離された状態で各トークンの信号を孤立して扱い、軌道の現在の確信度に関わらず均一な重みを適用します。

手法：オラクル・プロンプト・ポリシー最適化（OPPO）

OPPO は、オラクル信号をモデルの最終的な成功に関する信念の自然なベイズ更新として扱うことで、軌道レベルの報酬と孤立したトークンレベルの信号の間のギャップを埋めるフレームワークを提案します。

1. ベイズ値再帰

核心的な洞察は、蒸留に使用されるトークンごとのオラクル信号（成功条件付きポリシーと学生モデルとの間の対数尤度比）が、ベイズ因子として機能するという点です。これらの信号を軌道に沿って蓄積することで、学習された値ネットワークなしで、すべての位置における成功確率（$V_t$）の閉形式のRunning 推定値を導出できます。

$V_t = P(R=1 | x, y_{<t})$ をプレフィックスが与えられた場合の最終的な成功確率とします。再帰は対数オッズ（$\ell_t$）を加法更新します：
$$\ell_{t+1} = \ell_t + \log \lambda_t$$
ここで、$\lambda_t$ はオラクルスコアラー $\hat{\pi}$ から導出された推定ベイズ因子です：
$$\lambda_t = \frac{\hat{\pi}(y_t | x, y_{<t}, y^*)}{\hat{\pi}(y_t | x, y_{<t})}$$
ここで、$y^*$ は真の答えです。成功確率はシグモイド関数を介して復元されます：$V_t = \sigma(\ell_t)$。

2. トークンレベルのアドバンテージ

理想的なトークンレベルのアドバンテージは、時間的差分 $A_t = V_{t+1} - V_t$ です。この再帰を用いて、OPPO は閉形式のアドバンテージを導出します：
$$A_t = \sigma(\ell_t + \log \lambda_t) - \sigma(\ell_t)$$
この定式化は、$\sum A_t = R - V_0$ というテレスコピック予算の性質を満たし、軌道全体に分配される総クレジットが、事前確率に対する結果と正確に一致することを保証します。

一次解析により、アドバンテージは以下のように因数分解されることがわかります：
$$A_t \approx V_t(1 - V_t) \cdot \log \lambda_t$$

• $\log \lambda_t$: トークンごとの識別信号（オンポリシー蒸留における勾配信号と同一）。
• $V_t(1 - V_t)$: 信号を調節する状態重み。この重みはモデルが不確実な場合（$V_t \approx 0.5$）にピークに達し、軌道が成功または失敗にコミットした場合（$V_t \to 0$ または $1$）には消滅します。これにより、自動的に決定的なトークンにクレジットを集中させ、飽和領域におけるノイズを抑制します。

3. オラクル推定器

OPPO は、$\lambda_t$ を推定するための 2 つのモードを提供します：

• 自己オラクル（Self-Oracle）: 学生モデル $\pi_\theta$ が、標準的なコンテキストと $y^*$ で拡張されたコンテキストの両方をスコアリングします。これには軌道あたり 1 回の追加フォワードパスが必要であり、厳密な特殊ケースとしてオンポリシー蒸留報酬を復元します。
• 教師オラクル（Teacher-Oracle）: より強力な凍結モデル（例えば、より大きな LLM）がスコアラー $\hat{\pi}$ として機能します。これにより、成功条件付き分布のより高品質な推定値を提供することで近似誤差（$\epsilon_t$）を低減しますが、別途スコアリングモデルが必要となります。

4. アルゴリズム統合

$y^*$ と相関する誤った軌道内のトークンが正の報酬を受ける「自己蒸留」の失敗モードを防ぐため、OPPO は方向アンカリングを採用します。トークンレベルのアドバンテージの符号は、シーケンスレベルの GRPO アドバンテージ（$A_{seq}$）に紐付けられ、環境報酬が軌道の強化または罰則の唯一の裁定者であることを保証します。最終的な更新は、PPO に似たクリップされた代理目的関数を使用しますが、均一な軌道アドバンテージの代わりにベイズ的なトークンレベルのアドバンテージを使用します。

主要な貢献

1. 理論的統合: 本論文は、蒸留におけるトークンごとのオラクル報酬が、最適なアドバンテージに対する専門家対数比代理変数であると同時に、成功確率に対するベイズ的十分統計量であることを実証しています。
2. 閉形式の再帰: 学習されたクリティカルや追加のロールアウトなしでトークンレベルのアドバンテージを生成し、テレスコピック予算制約を満たすベイズ値再帰の導出。
3. クレジット集中: 決定的な領域における分散を削減し、決定的なトークンに学習信号を自然に集中させる状態重み付きアドバンテージ（$V_t(1-V_t) \log \lambda_t$）の導入。
4. 実用的フレームワーク: 方向アンカリングと証拠クリッピングを備えたこの再帰を GRPO パイプラインに統合し、軌道あたり 1 回の追加フォワードパスのみを必要とします。

実験結果

著者は、Qwen3-4B と Phi-4-mini の 2 つのベースモデルを用いて、7 つのベンチマーク（数学、科学、コード）で OPPO を評価しました。

• 性能向上: OPPO は GRPO、Dr.GRPO、DAPO、SDPO を一貫して上回ります。
  • AMC'23において、Teacher-OPPO は DAPO を Qwen3 で**+5.7 ポイント**、Phi-4 で**+6.5 ポイント**上回りました。
  • AIME'24において、Teacher-OPPO は DAPO を Qwen3 で**+5.2 ポイント**、Phi-4 で**+4.5 ポイント**上回りました。
• 長さ依存性: gains は応答長とともに単調に拡大します。最も長い応答ビン（1025 トークン以上）において、OPPO はベースラインとの差が最大となり、状態重みが長く飽和した推論チェーンにおけるノイズを効果的に抑制するという仮説を裏付けています。
• オラクルの品質: 性能はオラクルスコアラーの容量に比例して向上します。Teacher-OPPO（32B モデル使用）は Self-OPPO（4B 学生使用）を一貫して上回り、フレームワークがより高品質な信号を吸収する能力を有していることを確認しました。
• アブレーション: 方向アンカリングを除去すると、困難なタスク（例：AIME'24）での性能が崩壊し（GRPO 以下に低下）、軌道結果に符号を紐付ける必要性が確認されました。状態追跡（$\log \lambda_t$ のみを使用）を除去すると、特に長いチェーンにおいて gains が大幅に減少しました。

意義と主張

本論文は、OPPO が RLVR におけるトークンレベルのクレジット割り当てのための、原理的かつクリティカルフリーな手法を提供すると主張しています。オラクル信号のベイズ的解釈を活用することで、以下を実現します：

• 自動クレジット集中: ハイパーパラメータの調整や学習された値ネットワークを必要とすることなく、不確実で決定的なステップに学習を動的に集中させます。
• 効率性: モンテカルロ手法の莫大な推論オーバーヘッドや、値ネットワークのトレーニングにかかるメモリコストを回避しつつ、単一の追加フォワードパスのコストでトークンレベルの解像度を達成します。
• 相補性: この手法は最適化メカニズム（DAPO のクリッピングなど）と直交しており、既存のフレームワークの上にレイヤーすることで gains を提供します。

著者は、OPPO を長距離推論における「希薄化」問題に対する解決策として位置付け、均一な軌道レベルの報酬と孤立したトークンレベルの蒸留信号の両方に対する、理論的に裏付けられた代替案を提供しています。このフレームワークは、モデルの推論時デプロイメントを変更することなく、ポリシー最適化を改善するトレーニング時のメカニズムとして提示されています。