技術的サマリー：推論モデルを評価者として用いた推論時計算の拡張

問題提起

本論文は、大規模言語モデル（LM）開発の現在のパラダイムにおけるギャップに取り組んでいる。生成モデルの推論時計算（例：長い思考の連鎖（CoT）の生成や複数の候補のサンプリング）を拡張することが、生成モデルの問題解決能力を大幅に向上させることは確立されているが、この拡張の原則が評価者にも適用可能かどうかは依然として不明確である。現在の評価者は、直接スコアリング（結果報酬モデル、ORM）や短い CoT 推論（プロセス報酬モデル、PRM）に依存することが多く、推論時に利用可能な計算能力を十分に活用していない。著者らは、LM の評価能力を推論時計算を拡張することで向上させることができるか、また、このように向上した評価が生成モデルのパフォーマンスを向上させることができるかを問うている。

手法

著者らは、推論評価者を用いた評価時拡張のフレームワークを提案する。スコアを推論なしで予測する従来の直接評価者や、短い CoT を持つ微調整済みの生成評価者とは異なり、推論評価者は、長 CoT を生成するように RL や蒸留を通じて訓練された市販の推論モデルを、評価者としてプロンプトで指示して使用する。

手法は以下の 3 つの中核コンポーネントを含む：

1. 推論結果評価者：モデルは、正解スコア（0 または 1）を予測する前に、応答全体を分析するための長い CoT を生成する。スコアは、予測トークンのロジットから導き出される。
2. 推論プロセス評価者：モデルは応答をステップごとに評価する。
   • マルチステップ評価：応答全体に対して単一の CoT を生成するのではなく、評価者は各推論ステップを個別に評価し、それぞれに対して固有の CoT と判断を生成する。
   • モデルベースの分割：構造化されていない出力（例：コード）を処理するために、著者らはヒューリスティックな改行分割に依存するのではなく、ステップ間に [SPLIT] マーカーを挿入するために LM を使用する。
   • 集約：ステップごとのスコアは、単純な最小値ではなく、実験でより効果的であった mean_logit 関数を用いて集約される。
3. 統合評価：最終スコアは、結果スコアと集約されたプロセススコアの重み付き補間（$s_{final} = \alpha \cdot s_{outcome} + (1-\alpha) \cdot s_{process}$）であり、両方のシグナルをバランスさせるために $\alpha=0.5$ が使用される。

著者らは、これらの推論評価者を以下のものと比較する：

• 直接評価者：CoT を用いずにスコアを直接予測する標準的な PRM および ORM。
• 単一ステップ推論評価者：すべてのステップを同時に判断するために 1 つの CoT を生成するモデル（提案手法の除去実験）。

主要な貢献

1. 評価時拡張の証明：本論文は、評価者により多くの推論トークンを生成させること（評価時計算の拡張）が、評価パフォーマンスの単調な向上につながることを確立している。
2. マルチステッププロセス評価の優位性：著者らは、固定された計算予算の下で、各ステップを個別に評価する（マルチステップ）ことが、単一ステップ評価や自己整合性（同じタスクに対して複数の CoT を生成すること）よりも著しく効果的であることを示している。
3. ゼロショットパフォーマンス：明示的に評価者として訓練されていない推論評価者は、テスト時拡張のみによって、最先端の高度に微調整された PRM（例：ProcessBench において、32B 推論評価者が 72B PRM を上回る）を上回る。
4. 評価を介した生成モデルの改善：本論文は、より多くの計算を評価に割り当てること（推論評価者を用いた Best-of-8）が、同じ計算をより多くの候補の生成に割り当てること（直接評価者を用いた Best-of-64）よりも、生成モデルのパフォーマンスを向上させることを実証している。これは、より強力な計算集約的な評価者が「報酬モデルの過剰最適化」を緩和することを示唆している。

実験結果

プロセス評価（ProcessBench）

• 指標：解答内の最初の誤ったステップを特定する際の F1 スコア。
• 知見：
  • 推論モデル（例：DeepSeek-R1-Distill-Qwen-32B）は、同サイズまたはそれ以上のサイズの指示調整モデルを大幅に上回る。
  • マルチステップ対単一ステップ：マルチステッププロセス評価は、単一ステップ手法に対して大幅な改善をもたらす。例えば、32B 推論モデルはマルチステップ評価で 78.6 の F1 スコアを達成し、それまでの最先端であった 72B Qwen2.5-Math-PRM（78.3）を上回った。
  • 自己整合性：自己整合性は役立つが、マルチステップ評価は補完的な利益を提供する。両者を組み合わせることで最高スコアが得られる（例：32B モデルで 82.8）。

問題解決（Best-of-N サンプリング）

• 設定：生成モデル（Eurus-2、Llama-3.1-70B、Qwen2.5-7B）が $N$ 個の応答を生成する。評価者がそれらをランク付けする。
• 比較：固定された総計算予算の下での、推論評価者（Best-of-8）対直接評価者（Best-of-64）。
• 知見：
  • 推論評価者（Best-of-8）は、ベンチマーク（AIME、MATH、LeetCode など）全体で、直接評価者（Best-of-64）を 4.30% から 6.63% 上回る。
  • コードパフォーマンス：推論評価者はコーディングタスク（LeetCode）で特に顕著な改善を示す。これは、直接 PRM が過剰最適化やドメイン転移の悪影響を受けやすいためである。
  • 統合スコア：プロセススコアと結果スコアを統合することは、結果評価者では区別できない応答に対する決着手段として機能し、パフォーマンスをさらに向上させる。

自己評価

• 本論文はまた、推論モデルを用いて自身の出力を生成し、評価することを検討している。結果は、推論モデルが効果的に自己評価でき、Best-of-1 とオラクルのパフォーマンスの間のギャップの大部分を回復できることを示している。これは、同じ推論モデルによって評価された指示調整された生成モデルを上回る場合が多い。

意義と主張

本論文は、評価時拡張が、生成モデルに対する推論時拡張と並行する、実行可能かつ強力な戦略であると主張している。主な意義は、固定された予算において、評価により多くの計算を費やすことが、生成に費やすことよりも効果的であるという発見にある。

著者らは以下を論じている：

1. 推論能力の転移：推論能力（長い CoT による）は問題解決のためだけでなく、高品質な評価に本質的に必要である。
2. 堅牢性：推論評価者は報酬モデルの過剰最適化を受けにくく、最良の候補を選択するためのより堅牢なシグナルを提供する。
3. 一般化：このアプローチは数学とコードのドメイン全体で機能し、ステップバイステップで評価するように指示された場合、非推論モデルにも拡張される。

本論文は、現在の推論評価者が明示的に評価のために訓練されているわけではないが、ネイティブな推論パターン（自己検証、バックトラッキング）が、それらを優れた評価者にするとしている。今後の研究として、これらのモデルを評価者として特別に訓練することや、創造的ライティングのような検証不可能なタスクに手法を拡張することが提案されている。