Beyond Static Leaderboards: Predictive Validity for the Evaluation of LLM Agents

タイトル：静的なリーダーボードを超えて：LLMエージェント評価における予測妥当性

問題提起
大規模言語モデル（LLM）エージェントの評価は、静的かつ集約されたスコアによるリーダーボードの限界を超えつつある。今日のエージェントは、プランニング、ツール呼び出し、マルチターンでのアーティファクト再利用、およびエージェント間連携を含む複雑なタスクを実行しているが、現状ではシングルショットのベンチマークから継承された単一または集約的な指標によってランク付けされている。著者らは、このアプローチが展開されたエージェントに関連する次元を系統的に過小指定しており、「ランクの不安定性」を招いていると主張する。最近の149チームによるコンペティション（Patel et al., 2026）からの実証的証拠は、公開リーダーボードから導出されたランキングが、隠蔽された分布外（OOD）評価セットへの転移に失敗することが多いことを示している。例えば、実行トラックにおける公開ランキングと隠蔽ランキングの間のスピアマン相関は、統計的にゼロと区別がつかない（$\rho = -0.13$）ものであり、これはインサンプル・スコアが高いことがアウトオブサンプルでの性能を確実に予測するわけではないことを示している。さらに、「LLM-as-Judge（判定役としてのLLM）」によるスコアリングへの依存は、リーダーボードがシステムの真の能力ではなく、判定モデルのバイアスを測定してしまうという反射性を導入し、判定器のドリフトに対するアンカーを欠いている。

手法
本論文は、新たな制御実験ではなく、統合に基づいたポジションペーパーである。その手法は以下の通りである：

1. 証拠の集約： 著者らは、既存の7つのエージェント・ベンチマーク（AssetOpsBench、MCP-Bench、TaskBench、Exgenticを含む）と、AssetOpsBenchフレームワーク上で行われた14の並行した実装研究の結果を統合している。
2. アーキテクチャ感度分析： 独立したチームによって行われた14の研究では、他の変数を一定に保ちながら、特定のアーキテクチャ変数（例：推論モード、検索戦略、オーケストレーション・パターン、インフラストラクチャ）を変更した。著者らは、これらの多様な実装間での知見の収束を「収束的アーキテクチャ感度」のエビデンスとして扱う。
3. 次元の合成： 著者らは、これらの研究およびベンチマークからの知見を、提案する「12層の測定装置（twelve-tier measurement apparatus）」へとマッピングしている。この装置は、現在のリーダーボードが単一のスコアへと崩壊させている直交する次元を露呈するように設計されている。
4. 提案されるランキング基準： ランキングの基準を「インサンプル平均」から、インサンプル・ランクとアウトオブサンプル・ランクの相関として定義される「予測妥当性（predictive validity）」へと移行することを提案する。

主な貢献
本論文は、主に5つの貢献を行う：

1. 12層の測定装置： 2つのカテゴリに整理された評価次元の合成：
   • コア能力層 (T1–T7): 成功率、ツール呼び出しのハイジーン（適切性）、プランニングの質、能力軸、コスト効率のパレート、失敗モードの分類学、および再現性。
   • デプロイメント拡張層 (T8–T12): デプロイメント・インフラストラクチャ（レイテンシ分解、プロトコル・オーバーヘッド）、マルチターン対話（アーティファクト再利用）、推論モードの適応性、知識拡張（検索戦略）、およびエビデンス・グラウンディング（判定器に依存しない検証）。
2. ポジション論証： 集約スコア型のリーダーボードは展開されたエージェントの複雑さを捉えることができず、分野には予測妥当性によってランク付けされる多層的な装置が必要であるという主張。
3. 3つの反証可能なOOD基準： ポジションをテストするための具体的な基準：
   • 基準 A (保持されたデータ): 層化分割による緩やかな分布シフト。
   • 基準 B (サブセット間): 中程度のシフト（例：HVACチラー vs 油圧ポンプでのランキング）。
   • 基準 C (敵対的): セマンティックな言い換え、識別子の名称変更、タイムウィンドウのシフト、およびディストラクター（妨害要素）の注入による強力なシフト。
4. 予測妥当性スコア・スキーマ： 平均性能とアウトオブサンプルでの信頼性および分散のバランスをとる、提案された複合スコア $PV(c) = \alpha \bar{Y}_c - \beta \sigma_{Y_{c,OOD}} - \gamma IQR(Y_c)$。
5. 事前登録されたパイロット設計： ポジションを検証するためのロードマップであり、検証のための具体的な閾値（例：インサンプルからOODへのランク相関 $\rho \ge 0.85$ であれば、ポジションは論破される）を含む。

結果とエビデンス
本論文は新しい実験結果を提示するのではなく、14の実装研究と7つのベンチマークからの収束的なエビデンスを合成して、その主張を裏付けている：

• ランクの不安定性： CODS-2025コンペティションの分析によれば、公開から隠蔽へのランク相関は、特に実行トラックにおいて弱いか、あるいは存在しないことが多い。
• 次元の崩壊： 合成により、現在のベンチマークは提案された12の層のうち、せいぜい4つまたは5つの層についてしか報告していないことが明らかになった。例えば、シングルターンのベンチマークはマルチターンのアーティファクト再利用のダイナミクスを見落としており、集約スコアは推論の質とレイテンシの間のトレードオフを隠蔽している。
• 収束する知見： 異なる出発点のアーキテクチャにもかかわらず、独立したチームが同様のボトルネックと失敗モードを特定した。例：
  • 推論モード： 「拡張思考（extended thinking）」を有効にすることで明瞭性は31パーセントポイント向上したが、レイテンシは21.5%増加した。これは集約スコアでは見えないトレードオフである。
  • 検索戦略： エージェントによるマルチホップ検索は、約90%の精度を達成したが、シングルパスRAG（精度50–68%）と比較して4.5倍〜10倍のトークン膨張を伴った。
  • インフラストラクチャ： MCP-stdioサブプロセスのオーバーヘッドは、複数の研究において、推論能力と混同される主要なレイテンシの底（最大5〜6秒/コール）として特定された。
  • 判定器の反射性： LLM-as-judgeの判定者間信頼性（$\alpha = 0.61$）は、人間同士の信頼性（$\alpha \in [0.74, 0.82]$）よりも低いことが判明しており、ルールベースのパイプラインやDAGオラクルのような、判定器に依存しないアンカーの必要性を浮き彫りにした。

意義と主張
本論文は、現在の「集約スコア・リーダーボード」のパラダイムは、アウトオブディストリビューション（OOD）での性能を予測できないため、デプロイメントの意思決定を導くには不十分であると主張している。本研究の意義は以下の点にある：

• 予測妥当性の運用化： 特定のベンチマークセットへの過学習ではなく、汎化能力に基づいてエージェントをランク付けするための、具体的で反証可能なフレームワークを提案すること。
• 隠れた次元の露呈： 展開されたエージェントの「測定空間」はおよそ12次元であり、かつ直交している一方で、現在のリーダーボードはこれらを単一の指標へと崩壊させていることを示すこと。
• 分野の転換： 公開された構成（アーキテクチャ、推論モード、検索戦略）、結果の層状提示、および判定器に依存しない検証を必要とする、インタラクティブな評価の「デザインサイエンス」へとコミュニティを導くこと。

著者らは、本論文の限界についても明示している。これは合成およびポジションペーパーであり、実証的な検証ではない。予測妥当性の主張は、収束的なアーキテクチャ感度によって支持される仮説であるが、それを確認するためには、彼らのリサーチアジェンダに記載された制御されたランダム化試験が必要である。また、12の層の装置が現在、直交していると断言されているものの、独立性が経験的にテストされているわけではないことも認めている。