技術要約：推論計算がフロンティアLLMの評価に与える影響

1. 問題提起

フロンティアAIのベンチマークが飽和するにつれ、評価タスクは、マルチステップのプランニング、ツール利用、および反復的な問題解決を必要とする、より困難で長期的なホライゾンの問題へと移行しています。これらのタスクにおけるパフォーマンスは、テスト時に利用可能な計算量（「推論計算」）の量と割り当てにますます敏感になっています。しかし、既存の評価の多くは、単一かつ制約的な予算（例：固定されたトークン制限やターン数制限）でのパフォーマンスを報告しています。このアプローチは、モデルの能力を過小評価するリスクがあります。なぜなら、失敗はモデルが問題を解く能力がないためではなく、単に推論予算を使い果たしたことを示している可能性があるからです。さらに、固定予算によるスコアは、新しい世代が登場する中で、追加の推論計算をパフォーマンスへと変換するモデルの能力の進歩を追跡できない可能性があります。

2. メソドロジー

著者らは、ソフトウェアエンジニアリング、数学、医学、およびサイバーセキュリティにわたる7つの困難なベンチマークを用いて、推論スケーリングに関する系統的な研究を実施しました。この研究では、統一された実験フレームワークを用いて、最大12のフロンティア言語モデル（2025年5月から2026年3月の間にリリースされたもの）を評価しました。

実験設定

• モデル: 2つのファミリー（Anthropic OpusおよびOpenAI GPT）からなる6つのフロンティアモデルを、5つの主要なベンチマークで評価しました。さらに、2つのサイバーセキュリティ・ベンチマーク（10のモデルを含む）のデータを用いて、推論スケーリングを分析しました。
• ベンチマーク:
  • ステートフル（状態保持型）: TerminalBench 2.0, SWE-Bench Pro, FrontierMath, Cyber CTFs, The Last Ones.
  • ステートレス（状態非保持型）: HealthBench, Humanity's Last Exam (HLE).
• 推論スケーリング介入: 著者らは、すべてのタスクに対して一律に、3つの単純で再現可能な介入を適用しました。
  1. 拡張トークン予算: 合計軌道予算を5M〜30Mトークン（通常のデフォルトよりも1〜3桁高い設定）に拡大。
  2. コンテキスト圧縮: モデル生成による要約で初期のターンを置き換えることで、公称コンテキストウィンドウを超えたシリアルなスケーリングを可能にする。
  3. 反復的な再提出: 非生産的なループを防ぐためのリピートガードを設けた上で、無制限の提出試行（最大999回に制限）を行う。
• フィードバック条件: 各モデル/ベンチマークのペアに対して、2つの条件をテストしました。
  • フィードバックなし: 曖昧な承認のみ。モデルはタスクの完了を自己判断しなければならない。
  • オラクル・スコア・フィードバック: 明示的な正誤信号（またはHealthBenchに対する部分点）。軌道は最初の正しい提出時に終了する。
• 分析: 本研究では、消費された総トークン量に対する累積パフォーマンス（推論スケーリング曲線）を測定し、世代間の利得をリーチ（Reach：解放されたタスク）、効率性（Efficiency：解決までのトークン数）、および**信頼性（Reliability：解放されたタスクへの成功率）**に分解しました。また、固定予算を複数の独立した軌道に分割することで、並列スケーリング（pass@k）も分析しました。

3. 主要な貢献と結果

3.1. 推論スケーリングは実質的だが、ベンチマークに依存する

本研究では、より大きなトークン予算がいくつかのベンチマークにおいてパフォーマンスを大幅に向上させることを示していますが、その改善の大きさはベンチマークによって大きく異なります。

• 高いヘッドルーム（余地）: FrontierMath、Humanity's Last Exam (HLE)、および Cyber CTFs のようなベンチマークは、典型的な公開予算を大幅に超えても大幅なパフォーマンス向上を示しました。例えば、FrontierMathにおいて1Mから10Mトークンへ拡張したところ、平均で+11.7%の利得が得られました。
• 低いヘッドルーム（余地）: ソフトウェアエンジニアリング・ベンチマーク（TerminalBench, SWE-Bench Pro）および HealthBench は、予算を拡大しても限定的な改善しか示しませんでした。TerminalBenchとSWE-Bench Proは、予算を2倍または3倍に増やしても、それぞれわずか約1.3%と約0.3%の利得しか見られませんでした。HealthBenchは、テストされたプロトコル下でのシリアル・スケーリング介入に対して最小限の感度しか示しませんでした。
• プラトー（停滞）: 収穫逓減は、モデルの世代やフィードバック条件によって異なります。新しいモデルは、古いモデルが停滞するような大きな予算においても向上し続けることが多く、これは固定予算の評価がフロンティアモデルの能力を見逃している可能性を示唆しています。

3.2. リーチと信頼性に駆動される世代間の利得

タスクレベルの分解により、大規模な予算における世代間の改善は、主に以下の要素によって駆動されていることが明らかになりました。

• リーチの増加: 新しいモデルは、特に困難なタスクにおいて、より多くの割合のタスクを解放します。
• 信頼性の向上: 新しいモデルは、繰り返される軌道を通じて、解放されたタスクをより一貫して解決します。
• 条件付きの効率性: トークン効率の向上（より少ないトークンでの解決）は、ベンチマーク間で一様ではなく、多くの場合、解決可能なタスク集合の拡大に次ぐ二次的なものです。新しいモデルは、既に到達可能なタスクをより効率的に解決するのではなく、以前はアクセス不可能であった新しいタスクを解決しています。

3.3. プロトコルの選択が引き出し方を左右する

推論スケーリングの価値は、計算量がどのように割り当てられ、どのようなフィードバックが提供されるかに大きく依存します。

• 繰り返しの提出: すべてのベンチマークにおいてパフォーマンスを向上させます。その恩恵は、継続的な探索をガイドするための Oracle Feedback が利用可能な場合に最も顕著になります（例：HLEおよびSWE-Bench Pro）。
• シリアル・スケーリング vs 並列スケーリング:
  • 並列スケーリング（固定予算を複数の独立した軌道に分割すること）は、HealthBench（+0.283のpass@10利得）や HLE（+0.183）のようなステートレスなベンチマークで大幅な利得をもたらしますが、FrontierMathやSWE-Bench Proのようなステートフルなベンチマークでは最小限の利得しかもたらしません。
  • 新しいモデル: 一般に、古いモデルよりも並列サンプリングによる恩恵を受けにくい傾向があり、これは彼らが単一の深い軌道からより多くの価値を引き出していることを示唆しています。

4. 意義と推奨事項

本論文は、ベンチマークのスコアはプロトコル依存的であり、単一の固定予算によるスコアはフロンティアの能力について不完全な図を提供すると主張しています。著者らは、評価の実務における3つの重要な転換を提案しています。

1. 計算量の関数として能力を報告すること: 評価は、単一の固定予算の数値ではなく、さまざまな推論時間の計算量にわたるパフォーマンス曲線を報告すべきです。これにより、評価が飽和に近いのか、あるいは追加の計算量によって測定可能な利得が得られるのかを区別できます。
2. 明示的なプロトコルの仕様: 反復、フィードバック、および計算量の割り当て（シリアルか並列か）に関する選択は、評価設計の不可欠な一部として扱われ、明示的に報告されるべきです。これらは測定されるパフォーマンスを著しく変化させるためです。
3. 一致した予算による比較: 特に安全性やポリシーに関連する設定において、モデルの世代間を比較する場合、モデルは一致した予算の下で大規模かつ共通の計算範囲にわたって評価されるべきです。固定予算による比較は、モデルが拡張された推論時間を活用する能力が高まるにつれて、進歩を誤って表現するようになる可能性があります。

本研究は、単純な推論スケーリングの介入（より大きな予算、コンテキスト圧縮、再提出）によって大幅な能力を引き出すことができる一方で、その利得の程度はタスクの構造と使用される特定のプロトコルに強く依存すると結論付けています。したがって、評価は単一のポイント指標を超えて、さまざまな推論時間の制約下におけるフロンティアモデルの全潜在力を特徴付けるものへと移行しなければなりません。