技術要約：自己検証型リファインメント (Self-Verifying Refinement: SVR)

問題提起

テスト時計算量（test-time computation）のスケーリングは、言語モデルの推論能力を向上させるための中心的な戦略であるが、現在のアプローチには主に2つの制限がある：

1. リソース配分の非効率性： 固定予算方式（例：一律のマルチターン・リファインメントや固定$k$サンプリング）は、すでに解決済みの容易な入力に対して計算量を浪費し、困難な入力に対して十分なリソースを割り当てられない可能性がある。
2. 外部シグナルへの依存： 既存の適応型または自己修正手法は、リファインメントをいつ停止するかを決定するために、外部の検証器、実行環境、またはオラクルによるフィードバック（正解の正確性）に依存することが多い。これらのシグナルは、デプロイ時にはコストが高すぎたり、利用不可能であったりする場合があり、訓練時と推論時の情報境界の乖離を引き起こす。

核心となる課題は、推論中に正解ラベルにアクセスすることなく、モデル自身が生成するシグナルのみを用いて、現在の回答を保持するか、さらなるリファインメントのターンを割り当てるかを判断するための「内部制御シグナル」を学習させることである。

手法：自己検証型リファインメント (SVR)

著者らは、自己検証を計算制御ポリシーとして使用することを学習する、オラクルフリーのマルチターン強化学習フレームワークである自己検証型リファインメント (SVR) を提案している。

1. 適応型リファインメントの定式化

SVRは、テスト時計算を逐次的な割り当て問題として扱う。各ターン $t$ において、ポリシー $\pi_\theta$ は以下の要素からなる構造化された出力 $o_t = (r_t, a_t, v_t, c_t)$ を生成する：

• $r_t$: 推論プロセス（Reasoning trace）
• $a_t$: タスクの回答（Task answer）
• $v_t$: 離散的な判定（Verdict）（$Correct$（正解）、$Incorrect$（不正解）、または$Unsure$（不明））
• $c_t$: 確信度スコア（$a_t$ が正しい確率の推定値）

推論メカニズム：
推論時のコントローラーは、オラクルフリーの情報境界に基づいて動作する。以下の条件が満たされる場合に限り、生成を中断し、現在の回答 $a_t$ を返す：

1. 生成が中断されていない（$q_t = 0$）。
2. 判定が $Correct$である（$v_t = C$）。
3. 確信度がデプロイメント閾値 $\gamma$ を超えている（$c_t \ge \gamma$）。

これらの条件が満たされず、かつ予算が残っている場合、モデルは元の問題、保持されたドラフト、およびポリシー自身の自己検証状態を用いて次のプロンプトを構成する。この際、正解ラベルには一切アクセスしない。

2. 訓練：結合判定–確信度強化学習

SVRは、固定ホライゾン・トラジェクタリ（$T_{tr}$）に対してグループ相対方策最適化 (GRPO) を用いて訓練される。正解の正確性は、訓練報酬を構築するためだけに用いられ、リファインメントのプロセス中にポリシーに公開されることは決してない。

トラジェクタリレベルのリターン $R_{SVR}$ は、3つのターンごとのシグナルを平均したものである：

• 解決報酬 ($r_{solve}$): 絶対的な正解性と、ターン間の進展（例：エラーの修正や正解の保持）に報酬を与え、退行や中断に対してペナルティを与える。
• 自己検証報酬 ($r_{verify}$): 判定と確信度のペアを経験的な正解性と整合させるために設計された複合目的関数：
  • キャリブレーション（較正）: 確信度 $c_t$ を正解 $y_t$ に適合させるためのBrier型の目的関数。
  • 過剰自信ペナルティ: 不正解に対する高い確信度の $Correct$ 判定に対してペナルティを与える。
  • エラー検出: 不正解に対する明示的な $Incorrect$ 判定に対して報酬を与える。
  • 停止準備性（Stop-Readiness）: 正解に対して高い確信度を持たせることで、早期停止を促進する。
• フォーマット報酬 ($r_{fmt}$): 有効なタスク回答のフォーマットおよび解析可能な自己チェック構造を保証する。

主要な訓練設計：

• 固定ホライゾン収集： 訓練中、すべてのトラジェクタリは中間判定に関わらず、フルホライゾン $T_{tr}$ ターンを実行する。これにより、誤った早期停止によって、必要なリファインメント状態へのポリシーの露出が遮断されることを防ぐ。
• 最適化範囲： 方策勾配損失は、トラジェクタリの最終的な完了トークンに対してのみ適用される。中間ターンはトラジェクタリのリターン（自己検証シグナルの教師信号）には寄与するが、独立した最適化サンプルとしては扱われない。

3. 推論

推論時、訓練されたポリシーは適応型スケジューラと共にデプロイされる。モデルはターンを逐次的に生成し、各ターンの後に停止条件を評価する。訓練ホライゾン $T_{tr}$ とデプロイメント予算 $T_{max}$ は独立しており、$T_{tr}$ は十分な教師信号の範囲を確保し、$T_{max}$ はワーストケースのコストを制限する。

主な貢献

1. オラクルフリーのクローズドループ・フレームワーク： SVRは、単一のポリシーが、推論時の制御に必要な構造化された自己検証シグナル（判定＋確信度）の両方を生成し、かつ回答をリファインメントする方法を学習する手法を導入しており、デプロイ時に外部の検証器やオラクルによるフィードバックを必要としない。
2. 結合判定–確信度RL目的関数： 著者らは、解決の質、キャリブレーションを考慮した自己検証、および停止準備性を単一のトラジェクタリ・リターンに集約するマルチターン目的関数を開発した。これにより、訓練中に実現された推論コストを直接最適化することなく、自己検証シグナルを生成するようにポリシーを訓練する。
3. 実証的検証： 本フレームワークは、学習された自己検証が、適応的な計算割り当てのための効果的な内部制御シグナルとして機能することを、7つの数学的推論ベンチマーク（Countdown, GSM8K, MATH500, AIME26, AMC23, OlympiadBench, MinervaMath）を用いて実証した。

実験結果

本手法は、7つの数学的推論ベンチマークにおいて Qwen3.5-2B を用いて評価された。

• パフォーマンス： SVRは、全7ベンチマークのマクロ平均精度 0.563 を達成した。
• 効率性： 1例あたり平均でわずか 2.99推論ターン を必要とした。
• 比較：
  • 最も強力な非オラクル型マルチターン・ベースライン（Murphy）を、精度において 7.5パーセントポイント 上回った。
  • 固定予算のオラクル誘導型リファレンス（外部の正解フィードバックを使用するもの）を、大幅に少ないトークンを使用しながら、精度で 4.4パーセントポイント 上回った。
  • 10サンプルGRPO多数決（majority voting） の精度に匹敵する性能を、約 半分のトークンコスト で実現した。
• アブレーション研究：
  • 自己検証報酬ブロック（$R_{verify}$）を除去すると、精度が約3.5ポイント低下し、制御シグナルの必要性が確認された。
  • 「停止準備性」コンポーネントを除去すると、平均ターン数が3.83に増加し、精度が6.9ポイント低下した。これは、モデルに停止のタイミングを認識させることの重要性を強調している。
  • シングルターンSVR（反復リファインメントなし）は精度が大幅に低下し、反復的なリファインメントが不可欠であることを証明した。
  • 判定のみ、あるいは確信度のみを使用した場合は、両方の結合シグナルと比較してサブオプティマル（最適ではない）な結果となった。

意義と主張

本論文は、学習された自己検証が、テスト時計算を制御するための外部オラクルシグナルを効果的に代替できることを示している。自己検証を単なる事後的な不確実性の記述としてではなく、ポリシーレベルのシグナルとして扱うことで、SVRはモデルに以下を可能にする：

• さらなるリファインメントによって上書きされる可能性のある、正しい中間回答を保持すること。
• インスタンスの難易度に基づいて計算量を適応的に割り当て、固定予算方式による無駄を回避すること。
• 外部検証器が利用できない設定でもデプロイ可能な、「オラクルフリー」な方法で動作すること。

著者らは、SVRは精度と計算量のフロンティアを大幅に改善するものの、困難な問題における 早期停止エラー（Premature Stop Errors: PSE）（モデルが高い確信度を持って誤った回答に対してリファインメントを終了してしまう現象）の削減は依然として未解決の課題であると述べている。本研究は、自己検証を推論ポリシー自体に統合することが、外部の監督なしに効率的かつ適応的な推論を実現するための有効な道筋であることを示唆している。