技術要約: REVES – テスト時スケーリングのための修正および検証拡張トレーニング

1. 問題提起

複雑な推論タスクにデプロイされた大規模言語モデル（LLM）は、最初の試行で正解を導き出せないことが少なくありません。現実世界のワークフローでは、逐次的な修正、ツリー探索、あるいは進化的洗練といった、過去の試行とフィードバックに基づいて回答を反復的に生成する**テスト時スケーリング（Test-Time Scaling: TTS）**アルゴリズムが頻繁に利用されます。

著者らが特定した核心的な問題は、標準的な事後学習（ポストトレーニング）の目的関数と、これらの多段階の推論ダイナミクスの間にある根本的な不整合です。

• 標準的な目的関数: RLHF、RLVR、GRPOなどの手法は、シングルショットの期待報酬（$J_{OneShot}$）を最適化します。これらは、モデルを問題から回答への静的なマッピングとして扱います。
• 不整合: TTSアルゴリズムは**多段階の軌跡（trajectory）を通じて動作します。標準的なマルチターン強化学習（RL）は、完全な軌跡全体を最適化することでこの問題に対処しようとしますが、このアプローチは経路依存的なクレジット割り当て（path-dependent credit assignment）**の問題に直面します。例えば、「誤 $\to$ 誤 $\to$ 正」という軌跡において、標準的なRLは最終的な結果が成功したという理由だけで、中間段階の「誤」に対して正のクレジットを割り当ててしまいます。これは、モデルに対して中間的なエラーを具体的に特定し修正する方法を教えることに失敗するという、偏った学習信号を生み出します。

著者らは問いを投げかけます：単なる特定のロールアウトの最終結果を最適化するのではなく、逐次的修正（sequential revision）を実行する能力を明示的に最適化する事後学習アルゴリズムを設計できるか？

2. 手法: REVESフレームワーク

著者らは、逐次的修正（Sequential Revision: SR）の目的関数（$J_{\phi_{SR}}$）を直接最適化するために設計された、2段階の反復フレームワークであるREVES（REvision and VErification–Augmented Training）を提案しています。

理論的基礎

本論文は、SR目的関数が、状態ごとの1ステップのリカバリー確率の加重和へと正確に分解できることを確立しています（補題 4.1）。
$$J_{\phi_{SR}}(\theta) = \sum_{z} \rho_{\theta}(z) \mathbb{E}_{y' \sim \pi_\theta(\cdot|z)} [r^*(x, y')]$$
ここで：

• $z$ は修正状態（問題 + 前回の試行 + フィードバック）を表します。
• $\rho_{\theta}(z)$ は状態 $z$ の期待訪問回数です。
• $V_\pi(z)$ は、状態 $z$ から1ステップで正解へリカバリーする確率です。

この分解により、$J_{\phi_{SR}}$ の最適化には長いホライゾンの軌跡に対するクレジット割り当ては不要であることが明らかになります。代わりに、あらゆる中間状態におけるリカバリー確率を最大化することが求められます。

2段階のアルゴリズム

REVESは、データ拡張と方策最適化を交互に行います。

ステージ I: オンライン・データ／プロンプト拡張

1. 現在の方策 $\pi_\theta$ が、一連の問題に対して逐次的修正ロールアウトを実行します。
2. フィルタリング: バジェット $K$ 内で正常にリカバリーに成功した軌跡のみを保持します。
3. デカップリング（分離）: 各成功した軌跡について、中間段階の「ニアミス（不正解）」の回答を、以下の2種類のトレーニング用プロンプトに変換します。
   • 修正プロンプト: 「問題 $x$ と前回の試行 $y_{prev}$（これは不正解である）が与えられたとき、修正された解を生成せよ。」
   • 検証プロンプト: 「問題 $x$ と提案された回答 $y$ が与えられたとき、それが正しいかどうかを判定せよ。」
4. これにより、モデルが特定の誤り状態からリカバリーする方法と、自己検証する方法を学習するための拡張データセットが作成されます。

ステージ II: シングルターン方策最適化

1. 方策は、拡張されたデータセットを用いて、標準的なシングルターンRL（例：GRPOまたはPPO）によって学習されます。
2. データが（状態 $\to$ リカバリー）というデカップルされたシングルターン形式に分離されているため、マルチターンの軌跡による高分散かつバイアスのあるクレジット割り当てを回避できます。
3. 更新された方策は、次のエポックで新しい拡張データを生成するために使用され、学習分布がモデルの現在の失敗モードと一致し続けるようにします。

効率性と停止ルール

• オフポリシーの効率性: データ生成（ステージ I）は、訓練と非同期かつ並列に実行できるため、同期的なマルチターン・ロールアウトによる計算上のボトルネックを回避できます。
• テスト時の停止: テスト時にグラウンドトゥルース（正解）の検証器が利用できない場合が多いため、REVESは代替の停止ルールを採用しています。
  • 数学: モデルの確信度が安定するか低下するかを検知するために「テール・コンフィデンス（Tail Confidence）」指標を使用します。
  • コーディング: 公開されているテストケースの実行結果を報酬のプロキシ（代理）として使用します。

3. 主な貢献

1. 概念的貢献: 本論文は、テスト時スケーリングをメタ強化学習問題として定式化しています。著者らは、修正（revision）を利用するあらゆるTTSアルゴリズム（MCTSや進化的探索を含む）において、展開時の入力分布がカバーされている限り、逐次的修正入力に対する1ステップのリカバリー確率を向上させることが、理論的に性能向上を保証することを証明しました（定理 3.1）。
2. 手法的な貢献: 著者らは、中間的なエラーをデカップルされた訓練状態として再構成するREVESを提案しています。ニアミス回答を修正および検証のプロンプトに変換することで、学習信号をグローバルな軌跡の成功ではなく、ローカルなリカバリーへと孤立させています。
3. 実証的貢献: 本手法は、多様なドメイン（コーディング、数学、パズル）において一貫した改善を示し、特定の訓練なしに未知のタスク（OOD）への汎化性能も示しています。

4. 実験結果

著者らは、3Bから7Bパラメータのモデル（Qwen2.5, Qwen3, DeepSeek-R1-Distill）を用い、いくつかのベンチマークでREVESを評価しました。

• コーディング (LiveCodeBench): REVESは、シングルショットRLベースラインに対して**+6.5ポイント**、標準的なマルチターン訓練に対して**+4.0ポイント**の向上を達成しました。また、異なるテスト時バジェットに対しても堅牢性を示しました。
• 数学 (AIME24/25, MATH500): 「オラクル停止」（正解が見つかった直後に停止する）条件下において、REVESは逐次的修正能力において大幅な向上を示しました。これらの利点は「自己確信（Self-Confidence）」停止ルール下でも維持され、学習された能力が実用的なデプロイメントに転移することを示しました。
• 円充填（Circle Packing）: REVESで訓練されたQwen3-4Bモデルは、Gemini-2.0 Pro/FlashおよびQwen3-8Bを用いた、より大規模な進化的探索システムが以前に達成した**SOTA（最先端）**の結果（半径の総和 2.635983）に匹敵しました。これは、より小さなベースモデルと大幅に少ないロールアウト数で達成されました。
• 分布外（OOD）への汎化: 数学とコードのデータのみで訓練されたモデルは、正解が問題の制約によって完全に定義される制約充足パズル（n_queens, mini_sudoku）においても大幅な性能向上を示し、強力なクロスタスク汎化能力を証明しました。
• 他のTTSアルゴリズムへの転移: 定理 3.1の予測通り、REVESで訓練されたモデルは、MCTS、AB-MCTSのバリアント、およびMind Evolutionを含む、他の修正ベースのTTSアルゴリズムの性能を向上させました。

5. 意義と主張

本論文は、REVESがLLMの訓練における決定的なギャップ、すなわちシングルショットの訓練目的と多段階のテスト時推論の間の不整合に対処することを主張しています。

• 効率性: 長いホライゾンのサンプリングによる計算オーバーヘッドを軽減しつつ、よりシャープでバイアスの少ない学習信号を提供することで、フル軌跡の最適化ではなく、状態ごとのリカバリーに焦点を当てています。
• スケーラビリティ: 増強バジェットに応じて効果的にスケールし、4Bのような小さなモデルが複雑な最適化問題においてより大規模なシステムに匹敵する性能を発揮することを可能にします。
• 汎用性: このアプローチは特定のドメインに限定されません。モデルが「考え直し」、自らを修正するという根本的な能力を向上させ、修正に依存するあらゆる推論戦略に利益をもたらします。

著者らは、テスト時スケーリング（特に逐次的修正）のメカニズムに訓練を適合させることは、コーディング、数学、科学的発見といった検証可能な領域において、LLMの推論能力の全貌を解き放つために必要なステップであると結論付けています。