技術要約：検証器誘導型フレームワークによる適応的テスト時計算量割り当て

問題提起

大規模言語モデル（LLM）の推論性能を向上させるための現在のパラダイムは、モデルパラメータのスケーリングから、推論時の計算量（inference-time computation）のスケーリングへと移行している。しかし、既存のテスト時計算量スケーリング手法には、以下の3つの根本的な限界が存在する：

1. 一律な割り当て： 高価な推論手順がすべての入力に対して一律に適用されるため、簡単な問題に対して計算量を浪費し、真に困難なインスタンスに対しては探索の割り当てが不足するという事態を招いている。
2. 固定された戦略： 推論戦略（例：Best-of-Nにおけるサンプリング数や探索の深さ）は通常、事前に指定され固定されており、中間的な推論の質に基づいて適応することができない。
3. 静的な検証： 一部の手法では、中間的な検証（例：プロセス報酬モデル（PRM）など）を用いて探索をガイドしているが、これらの信号は固定された推論手順に紐付いていることが多い。これらは主に、完了した候補の再ランク付けに使用されるものであり、推論が進行中である段階で、どの推論ツールを呼び出すか、あるいはどれだけの計算量を割り当てるかを動的に選択するために使用されるわけではない。

対処すべき核心的な課題は、推論を単発の生成や固定された検索手順としてではなく、問題の難易度や中間的な検証信号に基づいて計算量を適応的に割り当てる、反復的かつ軌跡レベル（trajectory-level）の意思決定プロセスとして扱う方法である。

メソドロジー

著者らは、推論を反復的な軌跡生成および選択プロセスとして扱う、検証器誘導型の適応的フレームワークを提案している。このシステムは、ベースとなるLLMに適用されるロール条件付きプロンプトテンプレートによって駆動されるモジュール型エージェントアーキテクチャを用いており、事前学習、ファインチューニング、またはパラメータ更新を行うことなく動作する。

エージェント・アーキテクチャ

本フレームワークは、各イテレーションにおいて動作する4つの階層的なコンポーネントで構成される：

1. プランニング・エージェント ($A_P$): 下流の意思決定を導くために、問題の特性に基づいた構造化された高レベルの計画 $\pi$ を生成する。
2. ツール選択エージェント ($A_T$): 問題と計画に基づき、ツールキット（Chain-of-Thought、Self-Reflection、汎用検証器、数値検証器、リフレーマー、要約器）から推論ツールのサブセットを動的に選択する。
3. 計算量選択エージェント ($A_C$): 推論戦略（Best-of-N、ビームサーチ、またはルックアヘッド探索）と、探索パラメータ $m$（予算を定義するもの。例：ビーム幅やルックアヘッドの深さ）を決定する。
4. 回答抽出エージェント ($A_F$): 完了した軌跡から最終的な回答を合成する。

プロセス報酬モデル（PRM）の統合

事前学習済みの数学特化型PRMが、イテレーション内およびイテレーション間の両方の意思決定における統一された制御信号として機能する：

• イテレーション内制御： 生成中、PRMは個々のステップ遷移（$s_{t-1} \to s_t$）を評価して局所的な妥当性スコアを割り当てる。これらのスコアは、オンラインでの枝刈り（pruning）と拡張（expansion）をガイドし（例：ビームサーチやルックアヘッドにおいて最もスコアの高いプレフィックスを保持する）、モデルを局所的に一貫したパスへと導く。
• イテレーション間選択： $K$ 個の独立したイテレーションにわたって、PRMはステップスコアを軌跡報酬 $R(\tau) = \frac{1}{T}\sum v_t$ に集計する。最終的な出力は、完了したすべての軌跡の中でこの集計された報酬を最大化することによって選択される。

効率性指標

精度と効率性のトレードオフを評価するために、論文では2つの指標を導入している：

• 理論的FLOPs ($F_{theo}$): すべてのモデル呼び出し（ベースLLM、コントローラモジュール、およびPRM）にわたる総計算量を考慮する。
• 計算強度スコア ($S_{CI}$): 余剰な生成および検証のオーバーヘッドをペナルティとして課し、補助的なコストに対してベースモデルの推論トークンがいかに効率的に利用されているかを測定する。

主な貢献

1. 軌跡レベルの定式化： 本論文は、適応的なテスト時推論を、軌跡レベルの生成および選択問題として定式化している。PRMを使用して生成中の局所的な正解信号を提供することで、本フレームワークはオンラインでの枝刈りを可能にし、生成が進むにつれてモデルをより良い推論パスへと能動的に誘導する。
2. 実証的な利得： 適応的なアプローチは、直接的なテスト時スケーリングや静的な推論戦略を一貫して上回る。
   • MATH-500: Llama-3.1-8B-Instructで43.8%から65.4%へ、Qwen-2.5-7B-Instructで71.2%から81.4%へと精度が向上した。
   • AIME24: Llamaで3.3%から10.0%、Qwenで6.67%から13.3%へと精度が向上した。
   • AMO-Bench: 両モデルともに精度が2.0%から4.0%へと倍増した。
3. 計算効率の分析： 研究は、有用性の高い推論軌跡に対して選択的に計算量を割り当てることで、性能向上が得られることを示している。適応的手法は、コントローラと検証のオーバーヘッドにより理論的FLOPsはわずかに増加するものの、固定された戦略が探索を一律にスケールさせる場合と比較して、計算強度（$S_{CI}$）が大幅に低くなっており、計算のより効率的な利用を示している。

結果と知見

• 適応性 vs 固定戦略： ツールと計算戦略の動的な選択は、単に固定された戦略にPRMによる選択を適用する場合よりも、大幅に大きな改善をもたらす。本フレームワークは、推論の振る舞いをモデルの構造に適応させ、各モデルの強みに沿った推論パス（例：Qwenは構造化された推論と数値チェックに集中し、Llamaはより多様なツールに意思決定を分散させる）へと導く。
• 難易度依存性： 改善は、中程度の難易度（MATH-500のレベル1〜4）の問題で最も顕著である。最も困難な問題（レベル5）では、検証信号の信頼性が低下し、PRMがもっともらしいが誤った軌跡を誤ってランク付けしてしまう可能性があるため、利得は弱くなる。
• アブレーションによる洞察：
  • イテレーション回数は重要であるが、適度な試行回数を超えると収穫逓減が見られる。
  • 単一の固定構成が支配的になることはなく、最適なツール/戦略の組み合わせに関する事前知識を必要とする最適な固定戦略が存在する。適応的手法は、それと同等の性能を自動的に達成する。
  • 非常に困難な問題（例：AIME24）においては、適応的なマルチツール選択による軌跡の多様性が不可欠であり、一方で一律な反復や探索パラメータの増加は性能を低下させることがある。

意義と主張

本論文は、検証器誘導型の適応的テスト時推論が、計算効率が高く信頼できる推論への、実用的かつモデルに依存しない経路であることを主張している。中間的な検証信号に基づいて推論プロセスを動的に形成することで、本フレームワークは、一律な反復や固定された検索手順よりも効果的に計算量を精度へと変換する。

著者らは、本手法が学習を必要としないトレーニングフリーな手法であり、学習されたポリシーではなく、ヒューリスティックなプロンプト条件付きの意思決定に依存していることを強調している。また、本研究は数学的推論に焦点を当てているが、コアとなるアイデアはドメインに依存しないものであり、明確な中間ステップと信頼できる非終端検証信号（例：ユニットテストを伴うコード生成、含意チェックを伴うマルチホップQA）を持つ、あらゆる推論集約型ドメインに適用可能であると提示されている。

本研究は、オンライン検証（生成の誘導）が事後的な再ランク付けよりも効果的であること、そして適応性が高ユーティリティのパスへの計算量の集中を可能にし、一律なスケーリングに伴う無駄を回避することを浮き彫りにしている。ただし、著者らは、最も困難な問題においては検証信号がノイズを含むため、PRMの品質に依存するという制限についても謙虚に認めている。示唆される今後の方向性には、難易度を考慮した検証や、予算を考慮した学習済みポリシーが含まれる。