技術的サマリー：実行ハarnessを開示せずに LLM エージェントを比較するな

1. 問題定義

長期タスクにおける大規模言語モデル（LLM）エージェントの現在の評価手法は、モデルの能力と実行ハarnessのパフォーマンスを体系的に混同している。実行ハarnessとは、コンテキスト構築、ツール相互作用の仲介、出力検証、オーケストレーション（リトライ/エスカレーション論理）、および停止基準を担うインフラストラクチャ層である。

標準的なリーダーボード（例：SWE-bench、Terminal-Bench、AgentBench）は、各 {モデル、ベンチマーク} ペアに対して単一のスコアを報告し、その結果を暗黙的にモデルのみに帰属させている。本論文は、比較可能な最先端モデルが関与する長期タスクにおいて、ハarnessがしばしばパフォーマンスに対する**拘束条件（binding constraint）**であると主張する。その結果、現在の評価プロトコルはハarnessレベルの向上をモデルの改善と誤って帰属させ、モデル間の比較を信頼できなく、かつ潜在的に誤解を招くものとしている。この混同は以下の理由から生じる：

1. 観察的証拠： モデルを固定し、ハarnessインフラのみを変更することで、報告されるモデルの改善（通常 2〜4 ポイント）を圧倒する（例：15 パーセントポイント）パフォーマンスのシフトが生じ得る。
2. 構造的現実： エージェントは、ハarnessをコントローラー、LLM を確率的方策として機能する閉ループ動的システムとして動作する。長期の信頼性は、単に方策の生身の能力ではなく、コントローラーの特性（安定性、コンテキストドリフト管理、制御遅延）に依存する。

2. 手法と理論的枠組み

拘束条件仮説

本論文は、拘束条件仮説を形式化する：比較可能な最先端モデルを用いた長期タスクの領域において、ベンチマークスコアに及ぼすハarnessによる分散（$HV$）は、モデル選択による分散（$MV$）と同等か、あるいはそれ以上である。

総パフォーマンス分散は以下のように分解される：
$$\text{Var}(B(M, H)) = \underbrace{\text{Var}_M[E_H[B(M, H)]]}_{MV} + \underbrace{\text{Var}_H[E_M[B(M, H)]]}_{HV} + \underbrace{\text{Var}(\text{interaction})}_{\text{相互作用}}$$
この仮説は、現在の評価において $HV$と相互作用項が$MV$ を支配していると主張する。

制御理論的形式化

著者らは、エージェントの実行を単純な推論ループから閉ループ動的システムへと再定義する：

• LLM ($\pi_\theta$)： 状態 $s_t$ の完全なアクセス権を持たず、コンテキスト射影 $c(s_t)$ を受け取るオープンループの確率的方策。
• ハarness ($C_H$)： 状態を更新し、観測をフィルタリングし、フィードバックループを管理するコントローラー。
• 信頼性量： ハarnessは 3 つの重要な構造的量を決定する：
  1. 安定性： システムが目標に向かって非減少の期待進行を行うかどうか（リャプノフ的な指標）。
  2. コンテキストドリフト ($\delta_t$)： タスクに関連する情報がコンテキストウィンドウから失われる速度。
  3. 制御遅延 ($\tau$)： 異常検知から方策に修正信号が到達するまでの遅延。

実証的アプローチ

本論文は、以下の 2 つの証拠によって仮説を支持する：

1. 観察的データ： SWE-bench Pro、Terminal-Bench、HAL などの公開リーダーボードの分析。モデルを固定し「スケフォールドのみ」を変更（ハarnessを変更）することで、二桁のパフォーマンス変動とランキングの逆転が生じることを示す。
2. 制御された因子実験： 3 つの最先端モデル（GPT-5.4、Kimi K2.6、GLM-5.1）と、SWE-bench Verified の層化されたサブセット上の 3 つの異なるハarness構成（$H_1$：最小/オープンループ、$H_2$：改良/基本的な閉ループ、$H_3$：完全/高度な閉ループ）を変化させる 3x3 グリッド実験。

3. 主要な結果

観察的証拠

• SWE-bench Pro： 標準化されたスケフォールド下では、トップモデル間で 4.9 ポイントの差がある。しかし、モデル（Claude Opus 4.5）を固定し、SEAL スケフォールドから Claude Code に切り替えると、スコアは 9.5 ポイント増加する。
• ランキングの逆転： 同一のインフラに単一の検索サブエージェント（WarpGrep）を追加するだけで、MiniMax 2.5 と Claude Opus 4.6 の間のランキングが逆転した。
• スケフォールド間ギャップ： SWE-bench Verified Mini において、同一モデル（例：Claude Sonnet 4.5）は異なるスケフォールド（SWE-Agent 対 HAL Generalist）間で 34 ポイントのギャップを示した。

制御された因子実験の結果

• 分散の支配： ハarnessによる分散（$HV$）は、モデルによる分散（$MV$）の7.80 倍大きかった。
  • 平均 $HV$：18.48 pp²
  • 平均 $MV$：2.37 pp²
• パフォーマンスシフト： モデルを固定してハarnessを変更すると、スコアは 8.5 から 13.0 パーセントポイント変動したが、ハarnessを固定してモデルを変更してもスコアは 2.5 から 5.0 ポイントしか変動しなかった。
• ランキングの不安定性： 9 つの可能なモデルペア/ハarnessペア比較のうち、6 つでランキングの逆転が生じた。
• メカニズム分析：
  • $H_1 \to H_2$ の向上は、制御ノイズの低減（より良いフォーマット、検索、エラー処理）によって引き起こされた。
  • $H_2 \to H_3$ の向上は、検証と回復ループの閉鎖（自己チェック、異常検知、ロールバック）によって引き起こされた。

4. 提案枠組み：ハarnessを考慮した評価

本論文は、以下の 3 つのコンポーネントを必要とする新しい評価レジームを提案する：

1. ハarnessカード（構造化開示）： 各ベンチマーク提出物は、ETCSOVG分類体系によって整理された開示を含めなければならない：

   • Execution（実行、サンドボックス化、タイムアウト）
   • Tool（リスト、スキーマ、エラー契約）
   • Context（ウィンドウ容量、圧縮、検索、メモリ）
   • Scheduling（ループ、リトライ、エスカレーション、ロールバック）
   • Observability（ログ、トレース）
   • Verification（パース、自己チェック、異常検知）
   • Governance（権限、副作用）

2. 分散分解プロトコル： 評価は以下のいずれかを採用すべきである：

   • ロックド・ハarnessプロトコル： 清潔なランキングのために、すべてのモデルに適用される単一の指定ハarness。
   • 因子プロトコル： モデルとハarnessの両方を変化させ、$HV$、$MV$、相互作用項、およびランキング逆転回数を報告する。

3. 軌道レベル指標： パフォーマンスシフトを特定のハarness層に帰属させるため、本論文は以下を提案する：

   • 回復率（RR）： $k$ ステップ以内に異常後にタスクを進展させる状態に戻る確率（安定性を測定）。
   • コンテキスト保持率： コンテキスト内に存在するタスク関連ファイル/制約の割合（ドリフトを測定）。
   • 制御遅延 ($\tau$)： 異常検知から修正信号の到達までのステップ数。

5. 意義と主張

本論文は、長期エージェントのベンチマークスコアは、実行ハarnessが開示されない限り、モデル間の比較に有効ではないと主張する。

• 科学的正確性： 現在のリーダーボードはモデルとハarnessの混合を測定しており、利益の体系的な誤帰属を招いている。これは研究インセンティブを歪め、ハarnessエンジニアリング（分散のより大きな源泉）への投資不足を招きながら、モデルのスケーリングへの投資を誘導している。
• 実用的影響： 現在のランキングに基づく展開決定は、モデルの貢献を分離していないため欠陥がある。「拘束条件」はしばしばモデル重みではなくインフラストラクチャである。
• 行動喚起： 分野は、ハarnessを隠された変数として扱うことから、主要な実験条件として扱うことへ移行しなければならない。ハarness仕様の開示と分散分解が標準となるまで、リーダーボード比較は不完全なものとして扱われるべきである。

本論文は、「より良いモデルがこれを解決する」という考え方を明確に拒絶しており、モデルが改善するにつれて、能力の増加を管理するためにハarnessは（コンポーネントを削除するのではなく再設計する Claude Code のように）より複雑になると指摘している。解決策は標準化やスケーリングではなく、構造的な開示である。