技術的要約：ベンチマーク飽和後の生活：CORE-Benchのケーススタディ

問題提起

AIエージェント評価における支配的なパラダイムは「引退と置換（retire-and-replace）」である。すなわち、あるベンチマークの精度が飽和したとき（トップレベルのエージェントが統計的に区別不可能なスコアに達したとき）、そのベンチマークを破棄し、より困難な後継のものへと切り替える手法である。著者らは、このアプローチは根本的に不十分であると主張する。なぜなら、それは「精度」という単一の指標を特権化する一方で、他の6つの重要な次元、すなわち構成妥当性（ショートカットや過学習）、分布外（OOD）への汎用性、効率性、信頼性、モデルとスキャフォールド（足場）の相対的重要度、そして人間とエージェントの協調による実用的な向上（アップリフト）を研究する機会を放棄しているからである。本論文は、精度の飽和はさらなる洞察の欠如を意味するのではなく、評価の焦点をこれらの多次元的な軸へとシフトさせる必要があることを示唆している。

メソドロジー

著者らは、科学的コードの計算再現性のためのベンチマークであるCORE-Benchをケーススタディとして用い、精度の飽和後も意味のある洞察が持続することを実証している。この研究は、主に以下の3つのメソドロジー・コンポーネントで構成されている。

1. ベンチマークの洗練と拡張（妥当性とOOD）

• ログ解析: 著者らは、CORE-Bench Hard（45タスク）における高性能エージェントの実行ログを分析し、能力の低いエージェントには見えていなかった、構成妥当性への脅威を特定した。その結果、15個のタスクレベルのエラー（例：誤ったグラウンドトゥルース、採点エラー、解決不可能なタスク）と、エージェントがショートカット（例：既存のアーティファクトの読み取り）を悪用できる20のタスクを特定した。
• CORE-Bench v1.1: この分析に基づき、エラーを修正し、10個の新タスクを追加して、元の規律（CS、医学、社会科学）とプログラミング言語（Python、R）を維持した39タスクのスイート（CORE-Bench v1.1）を作成した。
• CORE-Bench OOD: 汎用性をテストするため、元のベンチマークには存在しない分野（物理学、工学、経済学、およびCS）をカバーする分布外（OOD）スイート（19タスク）を構築した。これは、ドメインの分布を変化させつつ、元のタスク構造を維持している。

2. 多次元評価

パス率のみに依存するのではなく、著者らは以下の軸でエージェントを評価した。

• 信頼性: 結果の一貫性、リソースの一貫性（トークン使用量の分散）、キャリブレーション（表明された自信と実際の成功の間のギャップ）、および識別能（成功と失敗をランク付けする能力）を測定した。
• 効率性: 精度、総トークン使用量、および推定コストの間のトレードオフを分析した。
• モデルとスキャフォールドの分離: 同じモデル（例：GPT-5.4、Opus 4.5/4.6）を異なるスキャフォールド（Codex CLI、Claude Code、OpenCode、CORE-Agent）を用いて評価し、オーケストレーション層と基礎となるモデルの貢献を分離した。

3. 人間とエージェントの協調研究

現実世界の再現性タスクにおける、人間とエージェントの協調による「アップリフト」を測定するために、小規模なランダム化比較試験が行われた。

• セットアップ: 5名の評価者（再現性の経験を持つデータサイエンティスト）が、20本の論文（機械学習10本、社会科学10本）の再現を試みた。
• 条件: 各評価者は、5回の手動による再現と、5回の人間・エージェント協調による再現（Codex CLIとGPT-5.4を使用）を行った。
• 制約: 3時間の制限時間が設けられた。手動実行では生成AIの使用は禁止されたが、協調実行では自律的な実行を許可し、ブロッカーが発生した場合には人間によるエスカレーションを行う標準化されたプロンプトが使用された。
• 指標: セッション時間、完了率、およびブロッカーと介入ポイントに関する定性的分析。

主な結果

1. 精度の飽和とベンチマークの妥当性

• 飽和の確認: CORE-Bench v1.1において、トップレベルのエージェントはほぼ天井に近い精度（最高値は100%、次点は97.4%）に達しており、精度のみではランキングのための統計的な区別が不可能であった。
• 表面化した妥当性の脅威: ログ解析により、能力の低いエージェントは、ショートカットを悪用したり特定の環境障壁に遭遇したりするほどまで進展していなかったことが明らかになった。改良されたベンチマーク（v1.1）は、これらの妥当性の脅威を排除することに成功したが、それでも飽和は継続した。これは、ベンチマークが単なる悪用可能性ではなく、能力を測定していたことを裏付けている。
• OOD転移: v1.1での精度飽和は、ドメインの変化にかかわらず、CORE-Bench OODにおいてもトップエージェントが統計的に区別不可能な高い精度にクラスター化するという現象として現れた。

2. 多次元的な差別化

精度が飽和している状態でも、ベンチマークは他の軸においてエージェントを差別化した。

• 信頼性: 平均精度が高いエージェントは、結果およびリソースの一貫性も高かった。しかし、すべてのエージェントが著しく自信過剰であり（平均報告自信度 ~32% に対し、実測パス率は93%）、正解と不正解をランダムチャンスよりも良く識別することはできなかった。
• 効率性: 高スコアのエージェント間でも、コストには大きな差があった。GPT-5.3-Codex（中程度）は、GPT-5.4（高度）と同じ97.4%の精度を達成しながら、コストを約60%低く抑えた。
• モデル vs スキャフォールド:
  • 失敗モード: 同様の精度が、根本的に異なる失敗モードを隠蔽していた。例えば、Opus 4.5はCORE-AgentとOpenCodeの両方で82.1%を達成したが、両スキャフォールドの間で31%のタスクについて意見が食い違った。
  • 戦略の違い: スキャフォールドは異なる戦略を誘発した。Claude Codeは、ビジョン（視覚情報）よりもテキスト出力（回答の41%）に大きく依存していた。一方、CORE-Agentは、モデルによって31%〜62%の範囲で、ビジョンによる読み取りに大きく依存していた。
  • 修正 vs 書き換え: コードに対してターゲットを絞った修正（targeted fixes）を適用するスキャフォールドは95.2%の成功率であったのに対し、コードをゼロから書き直す（rewrites）スキャフォールドの成功率は67.8%に留まった。
  • 相補性: タスクごとに最適なスキャフォールドを選択するオラクル・ルーターは100%の精度を達成した。これは、すべてのタスクが少なくとも一つの「スキャフォールドとモデルの組み合わせ」によって解決可能であることを意味している。

3. 人間とエージェントの協調によるアップリフト

• スピードアップ: 人間とエージェントの協調は、統計的に有意なスピードアップをもたらした。手動セッションは、協調セッションよりも2.11倍長くかかった（$p = 0.00176$）。
• 完了率: 手動実行の20%が3時間の制限時間に到達して完了できなかったのに対し、協調実行では0%であった。これは、真のアップリフトが測定された2倍という数値よりもさらに高い可能性を示唆している。
• 自律性: 25件の協調実行のうち19件において、エージェントは（初期設定後の）タスクを完全に自律的に完了した。人間の介入は、主にセットアップ、コード実行のデバッグ、またはスコープの明確化に限定されていた。
• ブロッカーの解決: エージェントは、環境のセットアップやコードの実行において最も有用であると認識された。エージェントは人間よりも確実にブロッカーから回復し、遭遇した114個のブロッカーのうち98%を完全または部分的に解決したが、人間は60個中11個のブロカーを未解決のまま残した。

意義と主張

本論文は、「引退と置換」のパラダイムは機会損失であると主張している。効率性、信頼性、スキャフォールド依存性、および人間へのアップリフトといった次元に沿ってエージェントを測定し続けることで、ベンチマークの精度天井に達した後でも豊かな信号を抽出できる。

著者らは以下の通り主張する：

1. 精度は不十分である: 高い精度は、汎用性、信頼性、または実用的な有用性を保証するものではない。
2. スキャフォールドは重要である: オーケストレーション層（スキャフォールド）は、基礎となるモデルと同様に重要であり、解決戦略や失敗モードを決定することが多い。
3. 実世界での有用性: ベンチマークは必要ではあるが、人間とエージェントの協調の十分な代用にはならない。本研究は、エージェントの単独の精度がすでに飽和している場合でも、現実世界の科学的ワークフローにおいて、エージェントが実質的な実用的価値（速度と完了率）を提供することを実証している。

本研究は、精度中心の評価から、ベンチマークのライフサイクル全体（飽和時だけでなく）を通じて機能する包括的なフレームワークへの転換を提案している。