技術要約：コーディングエージェントのプロセス評価が実際に測定しているもの

1. 問題提起

大規模言語モデル（LLM）コーディングエージェントの現在の評価は、最終的な結果だけでなく、エージェントがいかにタスクを実行するかという「プロセス」に焦点を当てつつある。しかし、本論文は、既存のプロセスレベルの評価が概念的に未定義であることを指摘している。これらは、以下の3つの異なる分析レベルを混同していることが多い：

1. アクション・レベル（Action Level）： エージェントの次の操作を予測する（例：「次にどのツールを使用するか？」）。
2. タスク・レベル（Task Level）： 全体的な実行の不確実性や回復可能性を評価する（例：「このタスクはまだ解決可能か？」）。
3. ステップ・レベル（Step Level）： 特定のアクションに対する因果的な寄与を帰属させる（例：「この特定のステップが失敗の原因となったのか？」）。

本論文は、これらを単一の「プロセス品質」という概念として扱うことは、誤解を招くと主張している。具体的には、フル・トレースLLMジャッジやプロセス報酬モデルのような標準的な手法は、個々のステップに関する因果関係の主張を無効にする情報（将来のステップや最終的な結果など）を条件付けてしまう。核心となる問題は、これらの評価シグナルが実際に何を測定しているのか、そしてそれらがステップレベルの因果効果を信頼性高く特定できるかどうかである。

2. メソドロジー：SCAEフレームワーク

これに対処するため、著者らは**構造的因果モデル（SCM）に基づいた測定フレームワークを導入する。これをSCAE（Step-level Causal Attribution Estimator：ステップレベル因果帰属推定器）**として具体化し、3つの異なるレベルでプロセス評価を測定するように設計されたリプレイベースの推定器とする。

2.1 構造的因果モデル

エージェントの実行は以下のようにモデル化される：

• 外生変数： 潜在的なタスクの難易度（$Z$）、デコーディングノイズ（$G^{(t)}_\pi$）、および環境ノイズ（$U^{(t)}_{env}$）。
• 方策（Policy）： 対数確率を摂動させることでアクションが選択される、ガンベル・マックス（Gumbel-max）定式化によって定義される。
• 結果（Outcome）： 検証可能な終端結果（例：ゴールドファイル集合の想起）。

2.2 同定と推定

目標は、ステップ $t$ においてアクション $a$ を $a'$ に置き換えた際の、接頭辞（prefix）条件付きの因果効果を推定することである：
$$\theta_t(a, a') = E[Y_{A_t=a'} - Y_{A_t=a} \mid \tau_{1:t-1}]$$
ここで、$\tau_{1:t-1}$ は実現された実行の接頭辞である。

主要な仮定：

1. コンテキストの観測可能性： 状態は、イシューおよびログされた接頭辞の決定論的な関数である。
2. 外生的デコーディングノイズ： デコーディングノイズは、タスクの難易度および将来のノイズとは独立している。
3. リプレイ可能な環境： 環境は、ログされた状態とアクションから決定論的に再現可能である。

ハイブリッド推定戦略（SCAE）：
コーディングエージェントはしばしば決定論的な挙動を示すため（純粋な観測的推定に必要な「ポジティビティ」の仮定に反する）、SCAEはハイブリッドアプローチを採用する：

• 観測的ブランチ（Observational Branch）： 接頭辞をリプレイした際に多様な次ステップのアクションが得られる場合（高エントロピー）、複数のリプレイにわたる結果を平均することで効果を推定する。
• 介入的ブランチ（Intervention Branch）： 方策が決定論的である場合（低エントロピー）、システムは代替アクションを代入し、実際の環境でそれを実行して真のツール出力を取得した後、残りの軌跡をリプレイする。これにより、ツール出力を捏造することを避ける。

2.3 測定レベル

このフレームワークは、同一の適合オブジェクトから3種類の測定値を生成する：

• アクション・レベル： 次の操作を何が予測するかを特徴付ける。
• タスク・レベル： リプレイされた継続の分散を通じて、実行の不確実性を測定する。
• ステップ・レベル： 因果的寄与を帰属させるための「随時価値（anytime value）」の増分（$\Delta_t$）を推定する。

3. 実験設定

• タスク： SWE-bench-Verifiedから派生したファイル・ローカライゼーション（特定のイシューに対して修正すべきファイルを特定すること）。
• データ： 12のリポジトリ（djangoが支配的）にわたる499のエピソード。
• プロトコル： エージェントを一度ロールアウトする。選択された接頭辞を再構成し、継続部分を（各ポイントにつき8回）リプレイして、価値関数と不確実性を推定する。
• 評価： 本研究は、エージェントの性能向上ではなく、測定の信頼性に焦点を当てる。

4. 主要な結果

4.1 アクション・レベル：プロベナンス（由来） vs グラフ構造

• 知見： エージェントの次のアクションを予測する最も強力な予測因子は、コードの依存グラフではなく、その実行プロベナンス（直前にツール出力から見たパスやファイル）である。
• 証拠： 「初訪問（first-visit）」ステップ（ターゲットファイルがまだ見られていないステップ）において、直近のツール出力のみを使用する予測器は、トップ3の精度で 0.326 を達成した。対照的に、強化されたコード依存グラフ予測器は、わずか 0.058 であった。
• 示唆： エージェントは、グローバルなリポジトリ構造ではなく、即時的な観測コンテキストに基づいてナビゲートしている。

4.2 タスク・レベル：不確実性は局所的ではなくグローバルである

• 知見： 実行の不確実性は、ステップレベルではなく、主にタスク（インスタンス）レベルで構造化されている。
• 証拠： リプレイされた結果の分散は、特定のインスタンスによって強く説明された（ICC = 0.640）が、ステップの位置やツールの種類では説明されなかった。さらに、190個の推定されたステップレベルの効果のうち、偽発見率（FDR）補正を通過したものは0であった。
• 示唆： 実行が成功するか失敗するかは、個々のステップの累積的な影響ではなく、特定のタスクインスタンスの難易度によって大きく決定される。このことは、ステップレベルの因果帰属が、実行可能なリプレイコストにおいては経験的に不可能であることを示している。

4.3 ステップ・レベル：フル・トレース・ジャッジにおける合流バイアス（Collider Bias）

• 知見： 観測的な帰属手法、特にフル・トレースLLMジャッジは、**合流バイアス（collider bias）**に苦しんでいる。
• 証拠： 下流のステップがジャッジに見えている場合、「責められる」ステップは、下流のステップが隠されている場合と比較して、軌跡のかなり後半へと有意にシフトした（中央値の正規化位置 0.88 vs 0.17）。平均的な変位は、正規化位置で +0.537 後方であった。
• 示唆： フル・トレース・ジャッジは、認定された因果的寄与を測定しているのではない。代わりに、彼らは下流の証拠によって強化された**意味的な関連性（semantic relevance）**を測定している。彼らは、失敗に関連する（例：ゴールドファイルに触れている）ステップを選択するが、アクションの降下（descendants）を条件付けているため、軌跡の終盤にバイアスがかかっている。

5. 貢献と意義

本論文の主要な貢献は、アクション予測、タスクの不確実性、およびステップ帰属を分離する測定フレームワークである。

• 概念的明確化： 「プロセス評価」は単一の問題ではないことを確立した。次のアクションを予測するのに有用なシグナル（プロベナンス）や、タスクの難易度を特徴付けるシグナル（インスタンスの分散）は、ステップレベルの因果帰属と混同されるべきではない。
• 方法論的厳密性： SCAEを導入することで、著者らは、形式的な同定可能性が、不確実性がタスクレベルに存在する場合に、必ずしも経験的な測定可能性を保証しないことを示す、原理的なテスト方法を提供した。
• 現在の慣行への批判： 本論文は、現在のプロセス評価器（フル・トレース・ジャッジなど）が、下流の情報によって系統的にバイアスを受けており、因果的寄与ではなく意味的な関連性を測定しているという経験的な証拠を提示している。

限界と範囲：
著者らは自身の主張について謙虚である。以下の点に言及している：

• これらの知見は、リプレイ可能性と検証可能な結果がある設定として選ばれた、ファイル・ローカライゼーションに特有のものである。
• ステップレベルの因果帰属は、この設定において経験的に弱い（パワー不足である）。これは、因果関係が存在しないからではなく、不確実性があまりにもグローバルであり、実行可能な計算コストでは局所化できないためである。
• 不確実性の分解（タスク vs ポリシー vs モデル）は、実世界のトレースではなく、合成データ上で検証されている。

結論：
本論文は、プロセス評価をモノリス（単一の塊）なベンチマークとして扱うべきではないと結論づけている。代わりに、評価者は、自身が何を測定しているかという特定のレベルに対して検証される必要がある。アクション予測器は強力であり、タスクの不確実性は構造化されている可能性があるが、ステップレベルの因果的な局所化は、実用的な設定においては依然として実行不可能であり続ける可能性がある。プロセス信号を正しく解釈するためには、これらの異なるレベルを認識することが不可欠である。