技術要約：推論のためのモメンタム：方策最適化における高密度な内在的信号

問題提起

検証可能な報酬（Verifiable Rewards: RLVR）を用いた強化学習は、大規模言語モデル（LLM）における長鎖推論を引き出すための支配的なパラダイムとなっており、主にグループ相対方策最適化（GRPO）を利用しています。しかし、バイナリの出力報酬（正解/不正解）への依存は、学習効率と推論の質を阻害する2つの構造的な失敗モードを引き起こします。

1. ゼロ・アドバンテージ崩壊（Zero-Advantage Collapse）: グループ内のロールアウトにおいて、すべての軌跡が同じ結果（例：すべて正解、またはすべて不正解）を共有する場合、グループ相対アドバンテージはゼロになります（$\sigma_R = 0$）。これにより勾配が消失し、グループ全体の計算資源が無駄になります。このレジームは、学習が進み、プロンプトが飽和するか（容易なプロンプト）、あるいは未解決のまま残る（困難なプロンプト）につれて、ますます頻繁に発生します。
2. 幻覚的確信（Hallucinated Certainty）: 学習の後半段階において、モデルの方策エントロピーは、ハイステークスな決定トークンにおいても減少します。モデルは「自信満々に間違える」ようになり、誤った推論パターンを硬直化させます。バイナリ報酬は、自信のあるエラーと躊躇のあるエラーを区別できず、この特定の病理を罰することができません。

これら両方の根本的な原因は、バイナリの出力報酬が軌跡が成功したか否かを示すだけであり、どのようにしてその答えに到達したかについての情報を提供しないため、方策にプロセスレベルの信号を残さないことにあります。

手法：ISPO (Intrinsic Signal Policy Optimization)

著者らは、GRPOに対する報酬レベルの拡張としてISPOを提案します。これは、モデル自身の条件付き確率のみから計算される2つの内在的信号を用いて、疎な出力報酬を高密度化するものです。このアプローチは、外部の報酬モデルやプロセス注釈を必要としません。

1. シーケンスレベルの信号：条件付きIFD

ゼロ・アドバンテージ崩壊に対処するため、ISPOは、思考の軌跡（$T$）が最終的な回答（$A$）をどれだけ情報として含んでいるかを測定するシーケンスレベルの信号を導入します。

• 定義: 条件付き指示遂行困難度（Conditional Instruction Following Difficulty: IFD）は、思考プロセスなしの場合と比較して、思考プロセスがある場合の回答の対数確率の差として定義されます。
  $$\text{IFD}_{\text{cond}}(\tau) = \frac{1}{|A|} [\log p_\theta(A|Q, T) - \log p_\theta(A|Q)]$$
• 理論的保証: 著者らは、この項の期待値が条件付きカルバック・ライブラー（KL）ダイバージェンス $D_{KL}(p_\theta(\cdot|Q, T) \parallel p_\theta(\cdot|Q))$ に等しいことを証明しています。この恒等式は、出力報酬が均質である場合（$\sigma_{\text{outcome}}=0$）であっても、思考の軌跡が異なれば複合報酬の分散が非ゼロ（$\sigma_R > 0$）であり続けることを形式的に保証し、勾配を維持することを保証します。

2. トークンレベルの信号：方向性シェイピング

幻覚的確信に対処するため、ISPOは「クリティカル・トークン」のサブセットに限定された、微細なアウトカム条件付き報酬をトークンレベルで追加します。

• クリティカル・トークンの選択: 以下の2つのフィルタの積集合によってトークンが選択されます。
  1. エントロピー・フィルタ ($\mathcal{A}$): 高い局所的不確実性（上位$k\%$のエントロピー）を持つトークンを選択。
  2. ドリフト・フィルタ ($\mathcal{C}_\Delta$): 現在の方策が凍結されたベース方策から大きく逸脱しているトークンを選択。
     この積集合により、不確実であり、かつ強化学習によって能動的に形成されている、レバレッジの高い決定ポイントが特定されます。
• 方向性報酬:
  • 正解のロールアウト: 流暢な実行を強化するために、クリティカル・トークンにおける低パープレキシティ（高確率）に報酬を与えます。
  • 不正解のロールアウト: 高いエントロピーに報酬を与えます。極めて重要な点として、低エントロピーのトークンに対してヒンジ・ペナルティ $\max(0, \tau_H - H_t)$ が適用されます。これにより、「自信満々に間違える」予測（不正解のパスにおける低エントロピー）を非対称的に罰し、一方で不確実な不正解トークンは比較的影響を受けないように設計されており、幻覚的確信のレジームを直接的に標的にしています。

3. 複合報酬

最終的な報酬 $R(\tau)$ は、バイナリの出力 $R_o$ と内在的信号を組み合わせたものです。
$$R(\tau) = R_o + \lambda_1 (2R_o - 1) \text{IFD}_{\text{cond}}(\tau) + \lambda_2 R_{\text{token}}(\tau)$$
符号因子 $(2R_o - 1)$ は、思考と回答の強い依存関係が正解に対しては報酬として、不正解に対しては罰則として機能するようにします。

主な貢献

1. 失敗モードの定式化: 本論文は、バイナリ出力RLVRの構造的な失敗として、ゼロ・アドバンテージ崩壊と幻覚的確信を正式に特定し、分析しました。
2. 内在的信号のデザイン: モデル自身の確率面を利用して、条件付きIFD（正確な条件付きKL恒等式を伴う）と、幻覚的確像ヒンジを備えた方向性トークン報酬を統合したISPOを提案しました。
3. 勾配保存の理論的証明: ISPOがゼロ・アドバンテージ・バッチにおいて非ゼロの勾配を保持することを証明する命題を提供し、標準的なGRPOが破棄してしまう学習データを事実上「アンロック」します。
4. 実験的優位性: 複数のモデルスケールおよびベンチマークにおいて、一貫した性能向上を実証しました。

実験結果

著者らは、3つのQwen2.5ベースモデル（1.5B、7B Math、7B General）を用い、5つの数学的推論ベンチマーク（AIME24、AIME25、AMC23、MATH-500、OlympiadBench）においてISPOを評価しました。

• パフォーマンス: ISPOは、競争力のあるベースライン（Vanilla GRPO、Dr. GRPO、PACR、Scaf-GRPO、PREPOを含む）を一貫して上回りました。
  • Qwen2.5-Math-7Bにおいて、ISPOはPass@1で平均**55.4%**を達成し、最強のベースラインであるScaf-GRPO（51.3%）を4.1ポイント上回りました。
  • 最大の利得は、ゼロ・アドバンテージ崩壊が最も頻繁に発生する最も困難なベンチマーク（AIME24/AIME25）で見られました。例えば、7Bモデルを用いたAIME24では、ISPOはScaf-GRPOの43.3%に対し、**48.9%**に達しました。
• 効率性: ISPOは、GRPOによって破棄されるはずのバッチから勾配を回収しました。Vanilla GRPOはゼロ・アドバンテージにより約24.7%のロールアウトを破棄しましたが、ISPOはわずか約4.4%のウォールクロック・オーバーヘッド（回答のみの確率計算のための追加フォワードパスによる）で、100%の有用なロールアウトを維持しました。
• マルチサンプル評価: pass@32評価において、ISPOは顕著な改善を示しました（例：ProGRPOに対してAIME24のpass@32で+13.7%）。これは、ISPOがサンプルレベルの多様性を維持し、自信満々な間違いへの崩壊を防ぐことに成功していることを示しています。
• アブレーション研究: Conditional IFDまたは方向性トークンシェイピングのいずれかを取り除くと性能が低下し、両方のコンポーネントが必要であることが確認されました。また、エントロピーとドリフト・フィルタの積集合を用いることが、それぞれ単独で使用するよりも優れていることが示されました。

意義と主張

本論文は、モデル自身の確率面を密な情報の源泉として活用することで、RLVRにおける疎なバイナリ報酬の根本的な限界に対処できると主張しています。著者らは、これらの密な内在的信号を、学習を活性化し続ける「推論のためのモメンタム」と表現しています。

本研究の意義は、以下の点にあります：

1. 学習の安定化: ゼロ・アドバンテージ崩壊を防ぐことで、ISPOは困難なプロンプト（多くの場合、全ロールアウトが不正解となるグループ）が破棄されることなく、学習信号を提供し続けることを保証します。
2. 病理の修正: 自信を持ったエラーを明示的に罰することで、ISPOは「幻覚的確信」という失敗モードを軽減し、より堅牢な推論軌跡をもたらします。
3. 直交的な統合: この手法は、既存のオプティマイザレベルの改良やデータキュレーション戦略と直交的に構成可能です。ロールアウト生成プロセスや外部報酬モデルを変更することなく、RLVRパイプラインに対する汎用的な改善を提供します。

著者らは、このアプローチが現在、検証可能な結果を伴うタスクに限定されており、主にQwen2.5モデルを用いた数学的推論タスクで検証されているという制限事項についても述べています。