🤖 AI

AgentLens: Revealing The Lucky Pass Problem in SWE-Agent Evaluation

本文介绍了 AgentLens，该框架通过证明仅依赖二元测试结果会掩盖解决方案质量方面的显著差异，揭示了 SWE-agent 评估中“幸运通过”现象的普遍性，并提出了一种利用任务级前缀树接受器参考进行流程级评估的方法，以更准确地对模型性能进行排序。

原作者： Priyam Sahoo, Gaurav Mittal, Xiaomin Li, Shengjie Ma, Benjamin Steenhoek, Pingping Lin, Yu Hu

发布于 2026-05-14

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Priyam Sahoo, Gaurav Mittal, Xiaomin Li, Shengjie Ma, Benjamin Steenhoek, Pingping Lin, Yu Hu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在雇佣一名机械师来修理你的汽车。目前我们测试人工智能软件工程师（称为"SWE 代理”）的方式非常简单：你交给他们一辆坏掉的车，他们带回一辆修好的车，然后你检查它是否能启动。如果能启动，你就给他们一颗金星；如果不能，就给他们一个红叉。

这就是“通过/失败”系统。根据这篇论文，问题在于该系统将两种截然不同的机械师完全等同对待：

大师级机械师：迅速诊断问题，订购正确的零件，高效修复，并双重检查工作。
幸运赌徒：尝试 50 个随机零件，盲目更换，途中弄坏了一些其他部件，感到沮丧，最终——纯粹靠运气——碰巧装上了正确的零件。汽车启动了。

在旧系统下，两人都获得金星。但论文认为这是一个错误。“幸运赌徒”实际上是一个糟糕的雇佣对象，因为他们的过程混乱、浪费且不可预测。

问题：“幸运通过”

研究人员分析了人工智能代理修复真实软件错误的 2,600 多次尝试。他们发现，10.7% 的“成功”修复实际上是“幸运通过”。

这些代理并非逻辑地解决问题。相反，他们：

盲目重试：就像一个孩子不停地敲击钢琴，直到奏出正确的乐曲。
忘记检查：修复了代码，但从未运行测试以确认其是否真正有效。
浪费时间：探索了错误的文件，或在找到答案前兜圈子。

解决方案：AGENTLENS（“过程摄像机”）

为了解决这个问题，团队开发了一种名为AGENTLENS的新工具。把它想象成一台高清摄像机，它不仅观察成品汽车，还会以慢动作记录整个维修过程。

AGENTLENS 主要做两件事：

1. “优质解决方案地图”（PTA）
AGENTLENS 不是将人工智能的工作与单一的“完美”示例进行比较，而是构建了一个前缀树接受器（PTA）。

类比：想象一棵树，树干代表工作的开始。树枝代表修复汽车的不同有效方式。有些树枝经过引擎室，另一些则经过后备箱。
如果人工智能走的是树上存在的路线，说明它做得聪明；如果它偏离树木进入森林，就是在浪费时间。

2. “意图翻译器”
该工具观察人工智能的所作所为，并为每一步标记一个“想法”：

探索：“我正在寻找问题。”
实施：“我正在修复部件。”
验证：“我正在检查它是否有效。”
编排：“我正在整理我的思路。”

如果人工智能在编写代码之前就运行测试，该工具会将其标记为困惑。如果它修复了代码但从未运行测试，则将其标记为有风险。

他们的发现

当他们将这种新的“过程摄像机”应用于数据时，结果令人惊讶：

并非所有获胜者都平等：他们将成功的修复分为三组：
- 理想型（20%）：干净、逻辑清晰且高效。
- 稳健型（69%）：良好，但可能略显杂乱。
- 幸运型（10.7%）：“赌徒”群体。他们得到了正确的答案，但过程混乱。
排名发生了变化：当他们根据人工智能如何解决问题（而不仅仅是是否解决了问题）对模型进行排名时，排行榜发生了翻转。
- 一个模型（GPT-4o）从第 8 名跃升至第 3 名，因为当它确实成功时，其过程非常干净。
- 另一个模型（Opus 4.6）从第 1 名跌至第 6 名。它的成功率很高，但其中许多胜利都是充满浪费努力的“幸运通过”。
幸运的成本：“幸运”代理的成本极高。有些代理为了获得相同的结果，浪费了高达40 倍的计算资源（token）。这就像因为不知道如何使用胡桃夹子，而用大锤去砸开坚果。

“幸运”的五种类型

论文还具体分类了这些代理是如何“幸运”的：

过度自信者：修复了问题，但没有检查是否有效。
蛮力者：不断尝试随机事物，直到有一个奏效。
半途而废者：只解决了问题的一部分，但测试不够严格，未能发现其余部分。
漫游者：在探索中迷失，从未真正专注。
创意天才：找到了一种完全不同的、有效的修复方法，这是“地图”未曾预料到的（这是唯一一种“好”的幸运）。

核心结论

论文总结道，我们不能只问人工智能：“你修好了吗？”我们必须问：“你以正确的方式修好了吗？”

通过使用AGENTLENS，我们可以停止奖励那些靠运气或浪费的人工智能模型。相反，我们可以训练它们像大师级机械师一样：高效、逻辑清晰且可靠。研究人员已发布了他们的工具和数据，以便其他人开始使用这种“过程摄像机”来更好地评估人工智能工程师。

技术摘要：AGENTLENS：揭示 SWE-Agent 评估中的“幸运通过”问题

1. 问题陈述

当前对软件工程（SWE）智能体的评估主要受限于二元信号：最终补丁是否通过测试套件（例如 SWE-bench）。这种“仅看结果”的视角将原则性的高效解决方案与混乱的试错过程等同视之。作者认为，这种等同在经验上是错误的，且不足以评估智能体的行为。

具体而言，该论文指出了“幸运通过”（Lucky Pass）问题：即一部分成功的轨迹通过薄弱、脆弱或低效的过程达到了正确的补丁。这些情况包括：

回归循环：反复失败并重试类似的编辑。
盲目重试：在没有新信息的情况下重复操作。
缺失验证：在未运行测试的情况下应用修复。
时序错乱的探索：在实现之前执行验证步骤，或在修复已验证后探索无关文件。

论文指出，将所有通过的轨迹视为同等价值的监督数据（如 SWE-Gym 数据集中所做的那样），是对演示质量的一种粗略代理。此外，随着模型在通过率基准测试上趋于收敛，过程质量成为模型比较和风险评估的必要维度，因为通过试错成功的智能体在复杂、现实世界的部署中可能会表现出不确定性。

2. 方法论：AGENTLENS 框架

作者引入了AGENTLENS，这是一个用于 SWE 智能体轨迹过程级评估的框架。它分为四个阶段运行：

A. 从原始日志到标记状态

原始智能体日志被解析为结构化的状态序列。每个状态被分配一个来自四个认知阶段的意图阶段标签：

探索（E）：读取文件、搜索、列出目录。
实现（I）：编辑或创建源文件。
验证（V）：运行测试、检查错误、重新读取已编辑的文件。
编排（O）：记账和推理步骤。

关键在于，AGENTLENS 采用上下文敏感的意图阶段标记器。与仅根据工具身份标记动作的朴素方法（例如，假设 grep 总是探索）不同，该标记器利用轨迹历史。例如，在编写补丁之前，grep 被标记为探索；如果在实现步骤之后执行以检查特定更改，则被标记为验证。这解决了终端命令中的歧义，并在七位标注者之间验证了 Fleiss' $\kappa = 0.933$ 的一致性。

B. 构建 PTA 参考

AGENTLENS 不是将候选轨迹与单个参考轨迹进行比较，而是从同一任务的 $k \ge 2$ 条通过轨迹中构建一个前缀树接受器（PTA）。

合并：共享的前缀被合并为公共节点。
分支：发散但成功的策略形成分支。
结果：PTA 是一个有向无环图（DAG），编码了“已知良好”解决方案策略的空间，而非单一范例。这使得系统能够识别有效的替代路径，同时标记偏离已知成功过程的偏差。

C. 对候选轨迹评分

候选轨迹根据任务级 PTA 使用四个互补信号进行评分，合并为 0–100 的质量分数：

结构对齐（ $\Phi_{struct}$ ）：衡量候选者是否以大致正确的顺序访问 PTA 状态（有序召回 + 无序精确度）。
集合覆盖（ $\Phi_{cov}$ ）：衡量候选者匹配的 PTA 状态比例，不考虑顺序。
轨迹连贯性（ $\Phi_{coh}$ ）：总结意图阶段序列，奖励向前进展（例如 $E \to I \to V$ ），并惩罚回溯和盲目重试。
时间分布相似性（ $\Phi_{temp}$ ）：使用 Jensen-Shannon 散度，比较轨迹早期、中期和晚期段中各阶段的分布与 PTA 的分布。

最终得分为加权总和：
$f(\tau_c, G) = 0.20 \cdot \Phi_{struct} + 0.15 \cdot \Phi_{cov} + 0.30 \cdot (100 \cdot \Phi_{coh}) + 0.35 \cdot (100 \cdot \Phi_{temp})$
行为信号（连贯性和时间分布）占 65% 的权重，反映了结构覆盖和过程质量往往在不同的轨迹上失效。

D. 报告与分级

轨迹根据其综合得分被分类为不同等级：

理想（ $\ge 70$ ）：原则性强、低浪费、顺序良好。
稳健（ $47 \le score < 70$ ）：不完美但连贯。
幸运（ $< 47$ ）：偶然通过的薄弱过程（例如回归循环、盲目重试）。
部分失败/偏离轨道：针对失败的轨迹。

该系统还生成结构化的低效报告，将“浪费”（回归循环、盲目重试、冗余步骤、不必要的探索、循环模式）定位到具体的轨迹步骤。

3. 主要贡献

AGENTLENS-Bench：首个经过过程标注的 SWE 智能体轨迹数据集。它包含来自 47 个 SWE-bench Verified 任务的 1,815 条轨迹，具有质量分数、浪费标注、发散元数据和真实 PTA。
“幸运通过”发现：作者证明，10.7% 的通过轨迹是“幸运通过”。这些被分解为五种反复出现的机制：
- 最小化且未验证（15.6%）：简短，无验证。
- 暴力收敛（34.4%）：高浪费，低连贯性。
- 实现不完整（33.6%）：由于测试缺口导致部分修复通过。
- 过度探索（4.1%）：漫长且缺乏焦点。
- 发散但有效（12.3%）：替代的有效方法。
上下文敏感的意图标注：一个经过验证的标记器，解决了终端命令中探索与验证的歧义，实现了 96.0% 的原始一致性。
基于 PTA 的过程参考：一种将多个通过解决方案合并为已知良好策略参考空间的方法，使得能够针对多样化的正确行为集对新轨迹进行评分。
开源工具：发布 AGENTLENS SDK 和 Web 界面，支持 ATIF 和 OpenHands 轨迹，且评分无需调用大语言模型（LLM）。

4. 结果

该框架在来自八个模型后端（包括 GPT-4.1、GPT-4o、Claude Opus 和 Gemini 2.5 Pro）的 2,614 条轨迹上进行了评估，涵盖 60 个 SWE-bench Verified 任务。

通过轨迹的分布：在 1,136 条通过轨迹中，20.2% 为理想，69.1% 为稳健，10.7% 为幸运。
模型排名差异：与仅看通过率相比，感知过程的评分显著改变了模型排名。
- 示例：GPT-4o 按通过率排名第 8，但按质量分数排名第 3。
- 示例：Claude Opus 4.6 按通过率排名第 3，但按质量分数排名第 6，其幸运率为 18.7%（在顶级模型中最高）。
- 各模型的幸运率范围从 0.5%（Opus 4.5）到 23.2%（GPT-4.1）。
分类特异性：模型类型与幸运通过类别之间存在显著关联（ $\chi^2(28) = 102.47, p < 0.0001$ ）。例如，Opus 4.6 不成比例地产生“最小化且未验证”的通过，而 GPT-4.1 主导“暴力”和“过度探索”类别。
区分能力：综合得分将通过和失败的轨迹分离，AUROC 为 0.766（ $p=0.0017$ ）。没有任何单一信号单独达到统计显著性，突显了融合结构和行为信号的必要性。
成本影响：幸运通过产生的计算成本显著更高。“暴力”轨迹的 token 成本约为“最小化”轨迹的 25 倍，“过度探索”的成本约为 40 倍，尽管它们获得了相同的二元通过/失败标签。

5. 意义与主张

论文声称，AGENTLENS 提供了超越二元结果的必要评估层级。其意义体现在三个方面：

数据策展：它挑战了仅按通过率过滤训练数据的做法，表明“成功”的轨迹在质量上差异巨大。使用低质量的“幸运”轨迹进行监督可能会强化脆弱的行为。
模型比较：它为模型比较提供了新的维度。随着模型在高通过率上趋于收敛，通过连贯、低浪费的过程解决问题的能力成为差异化因素。论文证明，按质量分数排名可使模型位置发生多达五个名次的变动。
部署风险：它强调了通过试错成功的智能体在测试昂贵或涉及不可逆操作的环境中可能具有不可预测性。通过揭示“幸运通过”，AGENTLENS 帮助从业者识别那些依赖脆弱探索而非原则性推理的模型。

作者将 AGENTLENS 定位为功能正确性检查的补充诊断工具，而非替代品，旨在改进软件工程智能体的评估、分析和训练。他们发布了数据集和工具，使感知过程的评估成为 SWE 智能体评估管道的标准组成部分。