技術要約：残差のベンチマーク（Benchmarking the Residual）

問題提起

言語モデルエージェントの長期間（ロングホライゾン）ベンチマークは、タスクの長さが増すにつれて成功率が低下することを一貫して示している。しかし、本論文は、エンドツーエンドのパフォーマンスの単純な低下だけでは、根本的な失敗メカニズムを診断するには不十分であると主張する。成功率の低下は、単なる通常の誤差の累積（独立したステージの数が増えることで失敗の統計的確率が増加すること）によるものであり、コンテキストの劣化、状態の汚染、あるいはプランニングの崩壊といった特定の「長期間特有の」限界によるものではない可能性がある。

現在のベンチマークは、以下の3つの異なる性能低下の要因を混同していることが多い：

1. 誤差の累積（Error Compounding）： ステージ自体の難易度が変化しなくても、ステージ数が増えることで失敗の機会が増える。
2. より困難な局所作業（Harder Local Work）： 長いタスクには、本質的に曖昧であったり専門性が高かったりするステージが多く含まれている可能性がある。
3. 履歴・状態依存性（History/State Dependence）： 蓄積されたコンテキスト、ツールの出力、または先行するエラーによって、後続のステップが困難になる（これは軌跡誘発型劣化またはコンテキストの腐敗と呼ばれる）。

これらの要因を区別しなければ、性能低下の曲線から、エージェントが「タスクが長いから」失敗したのか、「ステージが難しいから」失敗したのか、あるいは「エージェントの履歴が将来のパフォーマンスを能動的に低下させているから」失敗したのかを特定することはできない。

メソドロジー

本論文は、一致させた短期間の評価から導出されたベースライン予測と、実際のエンドツーエンドのパフォーマンスを比較する指標である**ホライゾン残差（Horizon Residual, $\Gamma_H$）**を中心とした診断フレームワークを提案している。

1. 分解とチェックポイント

この手法には、任意のターン数ではなく、検証可能な意味的ステージ（例：「バグを見つける」、「APIを更新する」）への事前指定されたタスクの分解が必要である。

• チェックポイント： デプロイされたエージェント（モデル、プロンプト、ツール、メモリ）は、宣言されたチェックポイントから実行される。チェックポイントには、特定の環境状態、可視化された履歴、開示された情報、およびローカル予算が含まれる。
• 条件付き確率 ($q_i$)： 各ステージ $i$ について、すべての先行する必須ステージが完了しており、かつエージェントが宣言されたチェックポイントから開始したという条件下での成功確率を測定する：$q_i = \Pr(S_i = 1 \mid S_{<i} = 1, I)$。

2. 積ベースライン ($P_{expected}$)

連鎖律を用いて、本論文は各条件付きステージ確率を乗算することで、フルタスクの成功率に対する監査可能なベースライン予測を構築する：
$$P_{expected} = \prod_i q_i$$
このベースラインは、エージェントが一致した条件下で各ステージを独立して成功できるのであれば、フルタスクの成功はそれらの確率の積になるという仮定に基づいている。本論文は、これが「帰無モデル」であり、リカバリー（回復）、分岐パス、または状態変化を考慮していない可能性があることを認め、ヘテロジニアス（不均一）なタスクのための拡張（例：チェックポイント・シミュレータ）を示唆している。

3. ホライゾン残差 ($\Gamma_H$)

核となる指標は、期待される成功率（ベースラインから算出）と、自然なエンドツーエンドのロールアウトによる観測された成功率（$P_{observed}$）の間の対数比である：
$$\Gamma_H = \log \left( \frac{P_{expected}}{P_{observed}} \right)$$

• $\Gamma_H > 0$： 自然なロールアウトが、一致させた短期間の予測よりも悪いパフォーマンスを示す。これはミスマッチ（潜在的な軌跡誘発型劣化）を示唆する。
• $\Gamma_H \approx 0$： 自然なロールアウトが予測と一致している。これは、性能低下が通常の誤差の累積によるものであることを示唆する。
• $\Gamma_H < 0$： 自然なロールアウトが予測を上回る（例：ベースラインに含まれていないフィードバックやリカバリーメカニズムが存在する場合）。

4. 構造的アノテーション

タスクの構造と局所的な難易度を分離するために、本論文は2つの補完的なアノテーションを報告することを推奨している：

• 作業量（Work Exposure, $N_{work}$）： 必要とされる、個別に検証可能なステージの数。
• 依存深度（Dependency Depth, $H_{dep}$）： 要求される最長の依存チェーンの深さ。
  これにより、ベンチマークは、タスクが「ボリューム（多数の独立したステップ）」によって長いのか、あるいは「深いステージ間依存関係」によって長いのかを区別できる。

主要な貢献

1. 診断的区別： 本論文は、生のパフォーマンス低下を「記述的なデプロイ結果」として扱い、ホライゾン残差を「プロトコルに依存した診断指標」として扱うべきだと主張する。また、「長期間の失敗」という主張には、一致させた短期間のステージから構築されたベースラインと、フルロールアウトが異なるという証拠が必要であると断言している。
2. 監査可能なベースラインの提案： 単純で監査可能な積ベースライン（$P_{expected}$）を提案し、分岐やリカバリーを伴うタスクのための拡張（条件付きモデル、チェックポイント・シミュレータ）の概要を述べている。また、ベースラインは自然なロールアウトを評価する前に宣言されなければならないことを強調している。
3. 報告と介入のアジェンダ： 分解、チェックポイントの状態、予算などの具体的な報告要件と、介入のアジェンダを明確にしている。残差は因果関係の説明ではなく、特定のメカニズム（例：履歴のリセット、状態の修復、コンテキストの圧縮）を特定するためのターゲットを絞った実験へと導くための信号であると位置づけている。

結果とエビデンス

本論文は新しい実験結果を提示するのではなく、既存の文献を統合して、このフレームワークの必要性を実証している：

• SWE-Milestone vs. 連続実行： 独立したマイルストーンではしばしば80%を超える成功率を示すが、同じコードベース上での連続的な進化では約38%に低下する。本論文は、これらの独立したスコアをチェーンレベルの反事実的（counterfactual）な構成にまとめない限り、このギャップは曖昧なままであると指摘している。
• ChainSWE： オラクルによる正しい事前状態では58.9%の精度を示すが、エージェントが生成した事前状態では36.5%に低下する。これは状態修復の価値を示しているが、構成されたチェーンレベルの予測が欠けていることも指摘している。
• SWE-Marathon： コンテキストの圧縮が失敗と相関していることを示しているが、一致させた介入が行われない限り、圧縮が失敗の原因なのか、単に失敗する軌跡の特徴を示しているだけなのかは不明である。
• Illusion： 制御された履歴操作により、過去の履歴におけるエラー率がその後の精度を低下させることが示されており、内容（content）が長さ（length）よりも重要であることを孤立させている。

本論文は代表的なベンチマーク（SWE-EVO, NL2Repo-Bench, SWE-Chainなど）をレビューし、表4において、既存の研究のどれもが、一致させた局所的測定、宣言された構成、自然なロールアウト、状態適合性の処理、ターゲットを絞った介入、およびプロトコル感受性分析という完全な一連のプロセスを実装していないと結論付けている。

意義と主張

本論文の意義は、「長いほど難しい」という記述的な観察を、監査可能な研究プログラムへと再定義した点にある。

• デプロイ vs. 診断： デプロイメント・ベンチマークはシステムが成功するかどうか（if）を問うが、診断ベンチマークはなぜ失敗するか（why）を問う。ホライゾン残差は、局所的な能力とグローバルなパフォーマンスの間のギャップを定量化することで、これらを橋渡しする。
• 因果的規律： 著者らは、残差は因果的な答えではないと主張している。正の残差は、選択されたベースラインとのミスマッチを示しているに過ぎない。それは、研究者を特定の仮説（例：「コンテキストの腐敗か？」）へと導き、それらをターゲットを絞った介入を通じてテストする必要があることを示す。
• 反証可能性： 以下の条件において、本論文の立場は反証可能である：
  1. $\Gamma_H$ の符号が、許容されるプロトコル間で不安定である場合。
  2. 一致させたチェックポイントを管理可能なコストで構築できない場合。
  3. 残差が、既存の「継続 vs リセット」の比較を超えた、増分的な診断情報を提供しない場合。

最終的に、本論文は、低下する曲線が、事前に指定された構成的予測と、それに続く残差を伴わない限り、「長期間のメカニズム」に関する主張は根拠のないものであると主張している。このフレームワークは、失敗の観察を、履歴、状態、情報、およびリカバリーに関する構造化された調査へと変えるものである。