技术摘要：编码智能体（Coding Agents）的过程评估究竟在测量什么

1. 问题陈述

当前针对大语言模型（LLM）编码智能体的评估正日益从关注最终结果转向关注“过程”——即智能体如何执行任务。然而，本文指出，现有的过程级评估在概念上是不明确的。它们往往混淆了三个不同的分析层面：

1. 动作层面（Action Level）： 预测智能体的下一个操作（例如，“它下一步会使用什么工具？”）。
2. 任务层面（Task Level）： 评估整体执行过程的不确定性或可恢复性（例如，“这个任务是否仍有解？”）。
3. 步骤层面（Step Level）： 将因果贡献归因于特定的动作（例如，“是这个特定的步骤导致了失败吗？”）。

本文认为，将这些层面视为统一的“过程质量”概念会导致误解。具体而言，标准的评估方法（如全轨迹 LLM 评判器或过程奖励模型）通常会以包含未来步骤或最终结果的信息为条件，从而使关于单个步骤的因果主张失效。核心问题在于确定这些评估信号究竟测量了什么，以及它们是否能可靠地识别步骤级的因果效应。

2. 方法论：SCAE 框架

为了解决这一问题，作者引入了一个基于**结构因果模型（SCM）**的智能体执行测量框架。他们通过 SCAE（步骤级因果归因估计器） 对其进行了实例化，这是一种基于重放（replay-based）的估计器，旨在测量三个不同层面的过程评估。

2.1 结构因果模型

智能体的执行被建模为：

• 外生变量： 潜在任务难度 ($Z$)、解码噪声 ($G^{(t)}_\pi$) 以及环境噪声 ($U^{(t)}_{env}$)。
• 策略： 通过 Gumbel-max 公式定义，其中动作是通过扰动对数概率来选择的。
• 结果： 一个可验证的终端结果（例如，金标准文件集的召回率）。

2.2 识别与估计

目标是估计在步骤 $t$ 将动作 $a$ 替换为 $a'$ 后的前缀条件因果效应：
$$\theta_t(a, a') = E[Y_{A_t=a'} - Y_{A_t=a} \mid \tau_{1:t-1}]$$
其中 $\tau_{1:t-1}$ 是已实现的执行前缀。

关键假设：

1. 上下文可观测性： 状态是问题和记录的前缀的确定性函数。
2. 外生解码噪声： 解码噪声独立于任务难度和未来噪声。
3. 可重放环境： 环境可以从记录的状态和动作中进行确定性重现。

混合估计策略 (SCAE)：
由于编码智能体通常表现出确定性行为（违反了纯观测估计所需的“正值性/positivity”假设），SCAE 采用了混合方法：

• 观测分支： 如果重放前缀会产生多样化的后续动作（高熵），则通过对多次重放的结果取平均值来估计效应。
• 干预分支： 如果策略是确定性的（低熵），系统会替换一个备选动作，在真实环境中执行该动作以获得真实的工具输出，然后重放剩余的轨迹。这避免了伪造工具输出。

2.3 测量层面

该框架从同一个拟合对象中产生三种类型的测量：

• 动作层面： 表征什么因素预测了下一个操作。
• 任务层面： 通过重放后续过程的方差来测量执行不确定性。
• 步骤层面： 估计“随时价值”（anytime value）增量 ($\Delta_t$) 以进行因果贡献归因。

3. 实验设置

• 任务： 文件定位（为给定问题识别需要修改的文件），源自 SWE-bench-Verified。
• 数据： 来自 12 个仓库（主要为 django）的 499 个回合（episodes）。
• 协议： 智能体进行一次展开（rollout）。重建选定的前缀，并重放后续过程（每个点重放 8 次）以估计价值函数和不确定性。
• 评估： 研究重点在于测量可靠性，而非智能体性能的提升。

4. 关键结果

4.1 动作层面：溯源性 vs. 图结构

• 发现： 预测智能体下一个动作的最强预测因子是其执行溯源性（即它刚刚在工具输出中看到的路径和文件），而非代码依赖图。
• 证据： 在“首次访问”步骤（即目标文件尚未被看到之前）中，仅使用最近工具输出的预测器达到了 0.326 的 top-3 准确率。相比之下，强化后的代码依赖图预测器仅达到 0.058。
• 启示： 智能体根据即时观测上下文而非全局仓库结构进行导航。

4.2 任务层面：不确定性是全局性的，而非局部的

• 发现： 执行不确定性主要结构化在任务（实例）层面，而非步骤层面。
• 证据： 重放结果的方差主要由特定实例解释（ICC = 0.640），而与步骤位置或工具类型无关。此外，在 190 个估计的步骤级效应中，有 0 个在错误发现率（FDR）校正后依然显著。
• 启示： 执行成功还是失败，很大程度上取决于特定任务实例的难度，而不是由单个步骤的累积效应决定的。这使得在可行的重放成本下进行步骤级因果归因在经验上是不可行的。

4.3 步骤层面：全轨迹评判器中的碰撞偏差（Collider Bias）

• 发现： 观测归因方法，特别是全轨迹 LLM 评判器，存在碰撞偏差。
• 证据： 当下游步骤对评判器可见时，被“指责”的步骤在轨迹中的位置会显著向后偏移（中位数归一化位置为 0.88），而当下游步骤被隐藏时，位置为 0.17。平均位移为向后偏移了 0.537 个归一化位置。
• 启示： 全轨迹评判器并不测量经过认证的因果贡献。相反，它们测量的是受下游证据增强的语义相关性。它们选择的步骤在语义上与失败相关（例如，触及了金标准文件），但由于它们以下游步骤为条件，因此在轨迹末端表现出偏差。

5. 贡献与意义

本文的主要贡献是一个测量框架，它解构了动作预测、任务不确定性和步骤归因。

• 概念澄清： 它确立了“过程评估”并非一个单一的问题。用于预测下一个动作（溯源性）或表征任务难度（实例方差）的信号，不应与步骤级因果归因相混淆。
• 方法论严谨性： 通过引入 SCAE，作者提供了一种原则性的方法来测试过程评估器能够以及不能识别什么。他们证明了形式上的可识别性并不保证经验上的可测量性，尤其是当不确定性存在于任务层面时。
• 对现状的批判： 本文提供了经验证据，表明当前的过程评估器（如全轨迹评判器）受到下游信息的系统性偏差影响，测量的是语义相关性而非因果贡献。

局限性与范围：
作者对其主张保持谦逊。他们承认：

• 研究结果特定于文件定位，这是一个因其可重放性和可验证结果而被选中的场景。
• 步骤级因果归因在此设置下在经验上仍然较弱（统计效力不足），这未必是因为因果关系不存在，而是因为不确定性过于全局化，导致在实际计算成本下难以实现局部化。
• 不确定性分解（任务 vs. 策略 vs. 模型）是在合成数据上验证的，而非完全在真实轨迹上。

结论：
本文得出结论，过程评估不应被视为一种单一的基准测试。相反，评估器必须针对其所测量的特定层面进行验证。动作预测器可以是强大的，任务不确定性可以是结构化的，但步骤级因果定位在实际应用场景中可能仍然是不可行的。识别这些不同的层面对于正确解释过程信号至关重要。