技術要約：コーディングエージェントのワーキングセット：リポジトリ規模のタスクにおけるコヒーレンス・デット（整合性負債）

問題定義

リポジトリ規模のコーディングでは、エージェントが限定されたコンテキストウィンドウ内で、テスト、インポート、設定、およびマイグレーション・ルール間の整合性を維持することが求められる。現在の評価手法は、最終的なパッチのみを観察することが多く、重要な失敗モードを見落としている。それは、「あるファイルへの編集は、リポジトリ内の他の場所にある事実と整合している場合にのみ正しい」という性質である。エージェントは、読み込み、編集、テストを通じて、この「結合された事実グラフ（coupled-fact graph）」を再構築しなければならないが、外部から構造が提供されることはない。

核心となる問題は、編集の瞬間に結合された事実が利用可能であるかという点である。エージェントは、必要な事実を得るための2つのチャネルを持っている：

1. 最近のコンテキスト ($R_t$): 有効なコンテキストウィンドウ内に存在する事実（読み込みやプロンプト供給によるもの）。
2. パラメトリック・メモリ ($K_M$): モデルの重みに保持されている事実。

どちらのチャネルも必要な事実をカバーしていない場合、編集は不完全なビューに基づいて進行する。著者は、この不足を**コヒーレンス・デット（整合性負債 / coherence debt）**と定義する。仮想メモリのページとは異なり、リポジトリの事実はアドレスや無効化ビットを持たない。ある実装と記述されたルールが、同じ事実の異なるバージョンをエンコードしている可能性があり、エージェントはどちらが最新であるかを本質的に区別できない。

メソドロジー

本論文は、知識の代替、およびコンテキストウィンドウ内での距離の影響を分離するために、制御された実験デザインを採用している。

1. 理論的枠組み

著者らは、タスク $T$ を結合された事実グラフ $G_T = (V_T, E_T)$ としてモデル化する。ここで、ノードは原子的な事実（シンボル、テスト、設定）であり、エッジは整合性の要件を表す。

• コヒーレンス・デット ($D(e_i)$): 編集 $e_i$ によって必要とされる事実のうち、最近のコンテキストにもパラメトリック・メモリにも含まれていない事実の数として定義される：
  $$D(e_i) = |C_T^{(i)} \setminus (R_{t_i} \cup K_M)|$$
• 観測可能なプロキシ（代理指標）: 履歴ログにおいて内部的なコンテキスト保持は観測不可能であるため、著者らはレジデンシー・スコア ($\rho_w$) を使用する。これは、直前の $w$ 個のツールイベントで読み込まれた、あるファイルの1ホップ先のインポート隣接ノードの割合を測定するものである。これは、パラメトリックな事実やインポート以外の依存関係を逃しているため、総カバー率の下限であることを著者らは認めている。

2. 実験ワークロード

研究では、事実の可用性を制御するために設計された4つの架空のAPIマイグレーション（Sprocket, Grimwire, Kestrix, Zynet）と、実在するPydanticのマイグレーションを利用している：

• クローズド・ブック・トライアル（閉書試験）: モデルにはタスクの説明のみが与えられ、ワークスペースやツールは提供されない ($R_{t} \approx \emptyset$)。これはパラメトリック・メモリの限界をテストする。
• フロントロード・トライアル: ルールとソースファイルが正確にプロンプト内に供給される。これは、コンテキストが欠落した事前知識を代替できるかをテストする。
• リネーム・トライアル: パラメトリック・メモリを打破するためにAPI名を語彙的に変更したPydictのマイグレーション。挙動は維持しつつ、名前を変更している。
• 合成的なフォルト注入: 著者らが結合関係（例：3つのファイルを結びつける秘密のリテラル）を構築し、特定の事実を系統的に隠蔽することで、デットの線形な影響を測定するタスク。
• 距離と膨張: 供給された事実のエディット地点からの距離を変化させ、また、スタンドアロンのドキュメントと比較して、ファイル内に無関係なコンテンツを埋め込む実験。

3. 測定

著者らはイベントストリーム（読み込み、編集、テスト、リバート）を用いて軌跡を分析し、以下を測定する：

• 成功: テストスイートの通過、または機械的なマイグレーション要件の充足。
• コヒーレンス・デット: 合成タスクにおけるグラウンドトゥルースの知識、または実タスクにおけるレジデンシー・プロキシを介して算出。
• トークン消費量: 同等のワーキングセットを達成するための異なるハーネス・ポリシーのコストを比較。

主要な貢献

1. コヒーレンス・デットの定量化: 本論文は、事実を隠蔽することは、それらがサポートする作業量と正確に一致するコストを課すことを確立している。ダメージは、結合された事実グラフにおいて線形的かつ加算的である。
2. チャネルの代替可能性: 最近のコンテキストとパラメトリック・メモリは代替可能なチャネルであることを示している。プロンプトを通じて事実を供給することで、モデルに事前知識がなくても成功率はほぼ上限レベルまで回復する。
3. 存在 vs 距離: 調査の結果、可用性が結果を決定する一方で、距離はテストされた範囲内では有用性を低下させないことを示している。著者らは、供給された事実は128k以上のトークンの端にあっても利用可能であることを報告しており、これらの実験は距離に関する効果を排除するのではなく、大きな効果を**境界付ける（bound）**ものであると述べている。メカニズムは近接性ではなく「存在」であると特定された。
4. 行動的補償: エージェントは事実が欠落している場合に断念（abstain）せず、ファイルを捏造したり値を推測したりする。したがって、「読み込みに由来する」計器（レジデンシー・スコアなど）は、エージェントが誤った作業で穴を埋めてしまうため、欠落した事実を検出できないことが多い。
5. 標準の権威: 書かれた標準と動作しているコードが矛盾する場合、エージェントは書かれた標準に従う。たとえそれがより劣悪なコードを規定していたとしてもである。つまり、古い慣習ファイルは、ファイルが存在しないことよりも有害になり得る。
6. 現在の指標の限界: 著者らは、レジデンシー・スコアや読み込みベースの指標が、モデルがすでに該当する事実をパラメトリック・メモリとして保持している可能性が高い実世界のレポジトリ（SWE-benchなど）において、成功を予測できないことを示している。

主要な結果

• クローズド・ブックの底値: 新しいAPIに対する154件のクローズド・ブック・トライアルにおいて、モデルは一度もマイグレーションを完了できなかった（0/12要件）。プロンプトに事実を供給すると、299/300の試行において少なくとも9/12の要件を満たすことができた。
• 記憶による失敗: パラメトリック・メモリを打破するためにAPI名が変更された際、7つの異なるモデルが全く同じ箇所で失敗し、同一の24/79のテストを通過した。
• 線形なダメージ: $m$ 個のモチーフ（それぞれが4つのテストをサポート）を隠蔽した結果、正確に $4m$ 個のテスト通過数の損失が生じた。複合的な失敗は発生しなかった。
• 距離の独立性: 供給された事実がエディット地点から0文字離れていても、128,000文字離れていても、成功率は平坦であった。著者らは、これらのアームは天井（上限）に位置しているため、小さな効果を排除するのではなく、大きな効果を境界付けていると注記している。
• ハーネスの非効率性: 100%のテスト通過率を達成する異なるハーネス構成間では、トークン消費量に12.8倍の差があった。これは、ワーキングセットのサイズの違いではなく、単にリフェッチ率（会話履歴の再送）の違いによるものである。
• 捏造 vs ブロッキング: 事実が隠蔽されたとき、エージェントは「ブロックされた」と報告することは稀であり、代わりに欠落したファイルを捏造するか値を推測した。「ブロッキング」信号の発生率はモデルによって大きく異なり（0%から100%）、デット検出のための信頼できる指標にはならない。
• SWE-bench の無効性: モデルがリポジトリを既知としている可能性が高いSWE-benchにおいて、レジデンシー・スコア（読み込みベースの指標）は成功を予測できなかった（AUC $\approx$ 0.49）。これは、馴染みのあるコードベースにおいては、「読み込み」チャネルが決定的な要因ではないことを示唆している。

意義と主張

本論文は、リポジトリ規模のコーディングにおける主要なボトルネックは、コンテキストの量やタスクの複雑さではなく、コヒーレンス・デットであると主張している。

• ハーネス設計のために: 成功は、次の編集に対して結合された事実が（現在の状態であり、かつ一貫しており）利用可能であるかどうかに依存する。ハーネスは、単にコンテキストウィンドウのサイズや検索ボリュームを増やすのではなく、事実の可用性を確保することに焦点を当てるべきである。
• 評価のために: 「読み込み」に基づく現在の指標は根本的に欠陥がある。なぜなら、エージェントは（捏造するという行為によって）欠落した事実を補完してしまうからである。成功した軌跡であっても、読み込みベースのログには見えない高いコヒーレンス・デットを抱えている可能性がある。
• モデルの振る舞いについて: エージェントは、コードと矛盾する場合、書かれた標準を優先する。これは、ドキュメントファイルが古くなっている場合、それらがコヒーレンス・デットの源になり得ることを示唆している。
• 適用範囲の制限: このフレームワークは、クロスファイルの一貫性を必要とするタスク（マイグレーション、アップグレード）に最も適している。エージェントが書きながらグラフを構築するシングルファイル編集やグリーンフィールド開発の解説を目的としたものではない。著者らは、SWE-benchに関する知見は、パラメトリック・メモリが支配的な実世界のレポジトリには普遍的に転用できないことを明示している。

結論として、コーディングエージェントの「ワーキングセット」は、それがどのチャネル（コンテキストかメモリか）を通じて到達したかにかかわらず、編集時における結合された事実の存在によって定義される。そして、欠落した事実のコストは厳密に線形的かつ加算的である。著者らは、レジデンシー・メカニズムについては、特に距離の効果の限界に関して、実験によって境界付けられたものであり、完全に確認されたものではないとして扱っている。