技術的サマリー：割引強化学習による効率的な推論の学習

問題定義

大規模推論モデル（LRM）は、最終的な回答を出力する前に中間推論トークンを生成することで、数学やコードなどの複雑なタスクを解決します。強化学習（RL）によるポストトレーニングは精度を向上させますが、しばしば過度に長い思考連鎖（チェーン・オブ・ソート）を引き起こし、計算コスト、メモリ使用量（増大する KV キャッシュを介して）、および推論遅延を膨大にします。

この分野における支配的な仮説は、より長い応答が本質的に精度を向上させるというものであり、応答長と正解性の間にトレードオフが存在することを示唆しています。本論文はこの仮説に挑戦します。モデルクラスと問題インスタンスによって決定される一定の領域まで、本質的なトレードオフは存在しないという立場を取ります。つまり、精度を犠牲にすることなく、応答長をインスタンス固有の閾値まで削減することが可能です。目標は、確率的最短経路（SSP）問題における最短の成功経路を見つけることに類似して、LRM が効率的かつ効果的に正解に到達するように訓練することです。

手法

理論的枠組み：ブラックウェル最適性

著者らは、検証器ベースの推論を、二値の終端報酬（正解で 1、不正解で 0）を持つ有限 horizon のマルコフ決定過程（MDP）としてモデル化しました。精度を最大化しつつ経路長を最小化するという目的を定式化するために、ブラックウェル最適性を利用します。

• 定義: 方策がブラックウェル最適であるとは、十分に 1 に近いすべての割引率 $\gamma$ に対して最適であることを意味します。
• メカニズム: 二値の終端報酬を持つ目標到達 MDP において、$\gamma \to 1$ として割引収益 $J_\gamma(\pi)$ を最大化することは、まず成功確率（精度）を最大化します。最大成功確率を達成する方策の中で、割引メカニズムは、より短い期待経路長を持つものを優先することで同点を決めます。
• 重要な洞察: 有限の方策クラス $\Pi$ に対して、臨界的な割引率 $\gamma_{bw} < 1$ が存在し、すべての $\gamma \in (\gamma_{bw}, 1)$ において、$\gamma$-最適方策の集合はブラックウェル最適方策の集合と一致します。これらの方策は、精度最大化者の中で同時に精度を最大化し、期待経路長を最小化します。

実践的なトレーニングレシピ

理論的結果に導かれ、著者らはグループ相対方策最適化（GRPO）を用いた具体的なトレーニング手法を提案します。

1. 割引環境報酬のみ: 割引率 $\gamma \in (0, 1)$ は、外生的な環境報酬（正解性）にのみ適用されます。内在的報酬（フォーマット、構造的な成形）は割引されず、モデルが構造化された出力を生成することを保証します。
2. 推論トークンのマスキング: 割引は、「推論スパン」の一部と特定されたトークン（例：<reasoning> と </reasoning> タグ間のトークン）にのみ適用されます。プロンプトへの準拠、フォーマット、および最終的な回答に必要なトークンは割引されません。
3. KL 正則化: 方策の崩壊（モデルが推論を早すぎる段階で停止すること）を防ぎ、学習を安定させるため、移動する参照方策（定期的に更新される）に対して KL ペナルティを適用します。
4. 比較可能なトークン予算: 公平な比較を確保するため、ロールアウト数を調整し、トレーニング中に処理されるトークンの総数が割引ありと割引なしの手法間で同等になるようにします。

最適化される目的関数は以下の通りです：
$$\mathbb{E}_{S_1 \sim \mu, \tau \sim \pi(S_1)} [\gamma^{K(\tau)} r_e(\tau) + r_f(\tau)] - \beta \text{KL}(\pi || \pi')$$
ここで、$K(\tau)$ は推論トークンの数、$r_e$ は環境報酬、$r_f$ はフォーマット報酬です。

主要な貢献

1. トレードオフ不在の理論的保証: 本論文は、任意の固定された（制限された可能性のある）方策クラス内において、ブラックウェル最適方策が割引なしの成功確率を最大化し、かつそれらの最大化者の中で期待経路長を最小化することを証明しています。これにより、精度と経路長は、インスタンス依存の閾値まで本質的にトレードオフ関係にないことが確立されました。
2. ブラックウェル因子の存在: 有限の方策クラスに対して、著者らはブラックウェル割引率 $\gamma_{bw} < 1$ の存在を証明しました。また、応答を短縮しつつ精度を維持するために $\gamma$ が 1 にどの程度近づく必要があるかについての境界値を提供し、制限された展開クラスに対するハイパーパラメータ選択を明確にしました。
3. 実証的検証: 割引目的関数を用いた GRPO を使用し、著者らはモデルが数学ベンチマーク（GSM8K、MATH、AMC、AIME など）において平均応答長を大幅に削減しながら、割引なしのベースラインと同等の Pass@1 精度を達成できることを実証しました。

実験結果

著者らは、Qwen2.5 7B/14B、Llama 3 8B、Phi-4 の 4 つの指示調整済みモデルを、さまざまな数学データセットで評価しました。

• GSM8K & MATH: 割引モデルは、割引なしのベースラインの Pass@1 精度と同等かわずかに上回る精度を維持しつつ、トークン数を大幅に削減しました。
  • Qwen2.5 7B (GSM8K): 精度は安定（91.06% 対 91.07%）し、平均応答長は 217.60 から 170.08 トークンに低下（約 22% の削減）。
  • Llama 3 8B (GSM8K): 精度はわずかに向上（80.87% 対 81.07%）、長さは 125.43 から 108.67 トークンに低下（約 13% の削減）。
• より困難なベンチマーク（AMC、AIME、MINERVA、OLYMPIAD）: この傾向は、DeepScaleR でトレーニングされた大規模モデル（Qwen2.5 14B、Phi-4）でも確認されました。割引モデルは、大幅に短いトレースで同等または高い精度を達成しました（例：AMC 2023 における Phi-4：精度 51.00% $\to$ 61.00%、トークン数 1134 $\to$ 716）。
• 割引率の感度: $\gamma$ を変化させた実験は、理論的なトレードオフを確認しました。$\gamma$ が 1 から離れるにつれて応答長は確実に短縮されますが、割引が強すぎると最終的に精度が低下します。

意義と主張

本論文は、キュレーションされたデータやプロンプトエンジニアリングに依存しない、効率的な推論のための原理的かつインスタンスを認識するメカニズムを提供すると主張しています。ブラックウェル最適性を活用することで、このアプローチは「効率的な推論」という問題を、特定の割引戦略を持つ標準的な RL 目的として再定義します。

著者らは、その結果が以下の点を示すと主張しています。

• 本質的な長さ - 精度トレードオフの否定: モデルの容量によって決定される特定の閾値まで、精度の損失なしにより短い推論が可能であることを示しています。
• 長さペナルティの統合: この設定において、小さなステップごとの負の報酬を使用する手法は割引と同等であることを示唆しており、適切に実装されれば、いくつかの既存の長さペナルティ手法が同じ「精度優先、その後長さ」の順序を回復する可能性があることを示しています。
• 実践的なレシピの提供: 提案された手法は、標準的な方策最適化（GRPO など）へのアルゴリズム的変更を必要とせず、報酬計算（推論トークンの割引）の変更と移動参照方策の使用のみで済みます。

本論文は、より短いトレースが効率を向上させる一方で、圧縮された推論が一般化を向上させる可能性は、将来の研究における未解決の課題であると結論付けています。