技術要約：LLM-as-a-Verifier

1. 問題提起

大規模言語モデル（LLM）の最近の進展は、事前学習データ、事後学習の最適化、およびテスト時計算量（test-time compute）に駆動される「スケーリング」を、能力向上のための主要なパラダイムとして確立してきました。しかし、生成能力はこれらのスケーリング則によって大きな恩恵を受けてきた一方で、「検証（verification）」、すなわち解の正当性や品質を判断する能力は、未開拓かつ限定的なスケーリング軸のまま残されています。

現在の検証手法には、根本的な限界があります：

• 標準的なLMジャッジ（Standard LM Judges）: これらのモデルは通常、離散的なスコア（例：1〜5、または1〜10）を出力するようにプロンプトが設計されています。このアプローチは、スコアリング・トークンの全分布を単一の値へと崩壊させてしまうため、評価が粗くなり、タイ（同点）率が高まり、複雑な解の間の識別能が低下します。
• 学習済み報酬モデル（Learned Reward Models）: これらは学習データに制約され、異なるドメイン（コーディング、ロボティクス、医療など）への汎化に失敗することがよくあります。
• 粒度の欠如: 既存のシステムは、長期的なホライゾンを持つエージェント・タスクにおいて、高品質な軌跡と低品質な軌跡を区別するために必要な、きめ細かなフィードバックを提供できないことが多々あります。

本論文は、検証は独立したスケーリング軸を構成しており、それを解禁することで、追加のモデル学習を必要とせずに候補プールから最適な解を選択する能力を大幅に向上させることができると主張しています。

2. 手法：LLM-as-a-Verifier

著者らは、追加の学習なしにエージェント・タスクに対してきめ細かな高密度フィードバックを提供する汎用フレームワークである LLM-as-a-Verifier を導入します。核心となる革新は、離散的なスコアリングから、スコアリング・トークンの全分布を活用する 確率的定式化（probabilistic formulation） への転換にあります。

2.1. 確率的報酬推定

LLMに単一の離散トークン（例：「5」）を生成させるのではなく、このフレームワークは定義された範囲（例：1〜20）内でスコアを出力するようにモデルに促し、すべての可能なスコア・トークンの ロジット（logits） を抽出します。軌跡 $\tau$ に対する報酬 $R(x, \tau)$ は、これらスコアリング・トークンの分布に対する期待値として計算されます：

$$R(x, \tau) = \frac{1}{CK} \sum_{c=1}^{C} \sum_{k=1}^{K} \sum_{g=1}^{G} p_\theta(v_g | x, c, \tau) \varphi(v_g)$$

ここで：

• $p_\theta(v_g | x, c, \tau)$ は、スコア・トークン $v_g$ に割り当てられた確率です。
• $\varphi(v_g)$ は、トークンをスカラー値にマッピングします。
• $G$ は スコアの粒度（score granularity）（スコア・トークンの数）です。
• $K$ は 反復評価（repeated evaluations） の回数です。
• $C$ は 基準の分解（criteria decompositions） の数です。

これらの連続的な報酬は、Bradley-Terryモデルを用いてペアワイズの選好確率に変換され、候補の中から最良の軌跡を選択するために使用されます。

2.2. 検証のスケーリングにおける3つの軸

本フレームワークは、検証精度を向上させるために、3つの独立した次元を特定し、スケーリングします：

1. スコアの粒度 ($G$): スコア・トークンの数（例：5から20へ）を増やし、分布の期待値を取ることで、フレームワークはタイ（同点）率を減少させ、正解と不正解の解の間の信号対雑音比（SNR）を向上させます。これにより、モデルは粗い整数値の選択を強制されることなく、「わずかに優れている」といった微細な確信を表現できるようになります。
2. 反復評価 ($K$): 独立した評価を平均化することで、報酬推定の分散を減少させます。これは、単一のパスが示す可能性のあるノイズやプロンプト固有のバイアスを平均化することによって、粒度の向上を補完します。
3. 基準の分解 ($C$): 単一のモノリシックな評価基準ではなく、フレームワークは評価をより単純なサブ基準（例：コーディング・タスクにおける仕様、出力、エラー）へと分解します。これにより、プロンプト・バイアスを軽減し、検証器が軌跡の品質の相補的な側面を捉えることが可能になります。

2.3. 確率的ピボット・トーナメント (Probabilistic Pivot Tournament: PPT)

制約された予算の下で、$N$ 個の候補から最良の解を効率的に選択するために、著者らは 確率的ピボット・トーナメント を提案しています。このアルゴリズムは、検証コストを $O(N^2)$ （フル・ラウンドロビン）から $O(Nk)$（ただし$k \ll N$）へと削減します：

1. リング・パス（Ring Pass）: 位置バイアスを相殺するため（すべての候補が一度は「A」のスロットに、一度は「B」のスロットに現れるように）、候補はランダムなハミルトン閉路に従ってスコアリングされます。
2. ピボット選択: リング・パスによるスコアに基づき、上位 $k$ 個の候補が「ピボット」として選択されます。
3. ピボット・ラウンド: 非ピボットの全候補はピボットと比較され、さらにピボット同士も比較されます。
4. 選択: 最も高い正規化勝利質量（normalized win mass）を持つ候補が選択されます。

3. 主な貢献

1. フレームワークの導入: スコアリング・トークンのロジットを利用してきめ細かなフィードバックを生成する、トレーニングフリーのフレームワークである LLM-as-a-Verifier を提案しました。
2. スケーリング軸の特定: 精度を系統的に向上させる3つのスケーリング軸（粒度、反復、分解）を特定し、実証しました。
3. コスト効率の高いランキング: 大規模なプールから最良の候補を効率的に選択することを可能にする、Probabilistic Pivot Tournament を開発しました。
4. 二重の有用性: きめ細かな検証器のシグナルが、単なるセレクターとしてだけでなく、進捗推定器（Progress Estimator）（Value-Order Correlation）および 高密度報酬シグナル（Dense Reward Signal）（強化学習用）としても機能することを実証しました。

4. 実験結果

本フレームワークは、コーディング、ロボティクス、医療の各ドメインにわたる4つのベンチマークで評価され、ドメイン固有のファインチューニングを行うことなく、一貫してSOTA（State-of-the-Art）の性能を達成しました。

• Terminal-Bench V2 (Coding): 86.5% の精度を達成し、ベストなベースライン（84.7%）を上回り、オラクル・ヘッドルーム（92.1%）の大部分を回収しました。
• SWE-Bench Verified (Coding): 78.2% の精度を達成し、Claude Opus 4.5 (76.8%) や Gemini 3 Flash (75.8%) などのベースラインを上回りました。
• RoboRewardBench (Robotics): 87.4% の選好精度を達成し、ゼロショットであるにもかかわらず、学習済み報酬モデルである RoboReward-8B (81.4%) や Robometer-4B (78.8%) を上回りました。
• MedAgentBench (Medical): 73.3% の精度を達成し、Claude Opus 4.8 (70.2%) を含む主要なモデルを上回りました。

スケーリング分析:

• 粒度を $G=1$ から $G=20$ に増やすことで、検証精度は 73.1% から 77.5% に向上しました。
• 反復評価を $K=1$ から $K=16$ に増やすことで、精度は 74.7% から 77.5% に向上しました。
• 基準を3つの要素に分解することで、精度は 78.3% に向上しました。

追加の能力:

• 進捗の追跡: 検証器のスコアは、タスクの進捗と強い相関を示しました（コーディングの成功軌跡で Spearman VOC 0.848、ロボティクス軌跡で 0.966）。これにより、エージェントの挙動をリアルタイムで監視することが可能になります。
• 強化学習: 高密度報酬シグナルとして使用した場合、LLM-as-a-Verifier は、ロボティクス（LIBERO）におけるオフポリシーSACのサンプル効率を 約1.8倍、数学的推論（MATH）におけるオンポリシーGRPOのサンプル効率を 約1.1倍 向上させました。

5. 意義と主張

本論文は、検証がLLMにおける明確かつ未利用のスケーリング軸であることを主張しています。離散的で粗い判断から、連続的で確率的なスコアリングへと移行することで、LLM-as-a-Verifierは強力なモデルによって生成された候補プールに存在する「ヘッドルーム」を解き放ちます。

本研究の意義は、その汎用性と効率性にあります：

• スコアリング・トークンのロジック処理方法を変更するだけで、コーディング、ロボティクス、医療といった多様なドメインにおいてエージェントの性能を向上させる、トレーニングフリーのメカニズムを提供します。
• 検証器を、単なるバイナリのセレクターから、進捗を監視し、ポリシー最適化を導くための高密度なシグナルへと変貌させます。
• 検証の次元（粒度、反復、分解）をスケールさせることが一貫した利点をもたらすことを示し、基礎モデルを再学習させる計算コストをかけることなく、自律型エージェントを向上させるための実用的な道筋を提示しています。

著者らは、LLM-as-a-Verifierが、現実世界の環境における自律型エージェントの評価、監視、および訓練を改善するためのスケーラブルなメカニズムを提供すると結論付けています。