🤖 AI

Understanding Automated Program Repair Agents Through the Lens of Traceability: An Empirical Study

本文对五个最先进的自动程序修复代理在 500 个真实世界任务上进行了系统的实证研究，揭示出尽管它们在简单修复方面表现出色，但由于工具原始和测试生成存在瓶颈，它们在处理逻辑密集型缺陷时表现不佳，从而促使研究转向更丰富的工具生态系统、多样化的架构以及优先关注语义正确性而非表面指标的基准测试。

原作者： Ira Ceka, Hailie Mitchell, Saurabh Pujar, Luca Buratti, Shyam Ramji, Junfeng Yang, Gail Kaiser, Baishakhi Ray

发布于 2026-05-28

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Ira Ceka, Hailie Mitchell, Saurabh Pujar, Luca Buratti, Shyam Ramji, Junfeng Yang, Gail Kaiser, Baishakhi Ray

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，有一支由机器人实习生组成的团队，受雇修复一个庞大而复杂的软件库中的漏洞。它们不仅仅是简单的脚本；它们是 powered by 大型语言模型（LLM）的高级“智能体”——你可以把它们想象成超级聪明、由 AI 驱动的学徒，能够阅读代码、思考问题，并尝试自行编写修复方案。

这篇论文就像是对这些机器人实习生实际运作方式的一次法医式调查。研究人员不仅关注机器人是否完成了任务（即“通过/不通过”的评分），还观察了机器人从阅读漏洞报告到提交最终修复方案的每一步。他们将这些机器人实习生与人类开发者进行了对比，以观察机器人在哪些方面表现出色，在哪些方面又容易出错。

以下是他们的发现，通过日常类比进行解释：

1. 两种类型的实习生：“跟随者”与“探索者”

该研究考察了这两种 AI 智能体的主要风格：

“跟随者”（基于工作流的智能体）： 这些智能体遵循严格的检查清单。第一步：找到漏洞。第二步：编写修复方案。第三步：测试它。它们就像按章办事的会计师。当问题简单时，它们效率高，能生成简洁、干净的修复方案，看起来与人类编写的非常相似。
“探索者”（开放式流程智能体）： 这些智能体被给予一台电脑，并被告知：“去想办法解决吧。”它们可以随意点击、搜索网络并自由尝试。它们就像富有创造力但混乱的艺术家。它们擅长处理需要大幅修改的混乱、复杂问题，但其解决方案往往比必要长度长出 40 倍。它们倾向于过度解释和过度设计，导致代码在日后难以被人类阅读。

2. “虚假修复”问题（过拟合）

最重要的发现之一是，这些机器人经常遭受"考前死记硬背"的困扰。

场景： 机器人被要求修复一个漏洞。它编写一个测试来确认漏洞是否存在，然后编写一个修复方案，使该特定测试通过。
陷阱： 有时，机器人编写的修复方案虽然通过了它自己的测试，却破坏了软件的其他部分。这就像一个学生死记硬背了某道练习题的答案，却因为没有理解 underlying 概念而在实际考试中失败。
发现： “探索者”出现这种情况的频率要高得多（高达 26%），而“跟随者”则低得多（仅约 4-5%）。“跟随者”更加谨慎，因为它们坚持严格的流程。

3. 测试中的“盲点”

要修复一个漏洞，首先你需要证明漏洞确实存在（复现），然后确保你的修复方案不会破坏其他任何内容（回归测试）。

困境： 机器人在这方面表现得出奇地差。它们成功复现漏洞的比例仅为40% 到 50%。这就像告诉机械师“车子发出了奇怪的声音”，但机械师甚至无法让车子发出那种声音。
解决方案： 研究发现，如果你给机器人一个关于“在代码中何处寻找”的“提示”（这个过程称为漏洞定位），它在查找漏洞方面的表现会好得多。这就像给侦探一个特定的街区去搜索，而不是让他们在整个城市里漫无目的地游荡。

4. “瑞士军刀”与“电钻”

研究人员检查了这些机器人使用了哪些工具。

现实： 尽管它们是高科技 AI，但大多数仍被困在使用非常原始的工具上。它们主要依赖基础的 bash 脚本（例如在终端中输入简单命令来列出文件或运行代码）。
缺失的环节： 它们很少使用人类专家用来逐行检查代码的复杂工具，如调试器或程序分析器。这就像试图只用锤子和螺丝刀去修理复杂的引擎，而忽略了能确切告诉你哪里出错的专用诊断计算机。

5. 难度的“金发姑娘”效应

简单任务： 机器人非常擅长简单、直接的修复。它们处理这些任务的能力几乎与人类相当。
困难任务： 当问题变得复杂（需要深层逻辑或跨多个文件的修改）时，机器人的成功率急剧下降。它们撞上了墙。即使是最聪明的模型在处理这些“非常困难”的任务时也往往完全失败。

结论

该论文总结道，虽然这些 AI 智能体令人印象深刻，但它们目前过于依赖简单工具，并且容易通过过拟合自身测试来“作弊”。

为了让它们真正有用，作者建议采用一种"左移"（Shift-Left）的方法：

左移： 这意味着将质量检查移至过程的最开始。与其等到最后才看修复是否有效，不如让机器人首先擅长生成高质量的测试，并使用更好的工具（如调试器）来深入理解代码。
团队合作： 由于不同类型的机器人具有不同的优势（有些擅长简单修复，有些擅长复杂修复），未来可能会涉及机器人团队协作，而不是依赖单一的“超级智能体”来完成所有工作。

简而言之：这些 AI 修复机器人很聪明，但它们目前就像过度自信的实习生，需要更好的工具、更严格的测试以及更多的指导，以防止它们制造出混乱且过度复杂的修复方案。

技术摘要：通过可追溯性视角理解自动化程序修复智能体

问题陈述

利用大语言模型（LLM）的自动化程序修复（APR）智能体在 SWE-bench 等基准测试中展现了卓越的性能，在修复真实世界软件缺陷方面取得了高成功率。然而，当前的评估指标主要关注二元的通过/失败结果（例如排行榜分数），很少揭示内部决策过程、失败模式或生成补丁的语义质量。在理解这些智能体如何推理、它们在哪里偏离了人类开发者的策略、以及它们为何失败方面存在关键缺口，特别是在测试生成、回归测试和工具利用方面。

方法论

本研究对来自 SWE-bench Verified 基准的 500 个真实世界修复任务中的五个最先进 APR 智能体进行了首次系统的、基于轨迹的分析。研究采用多管齐下的方法：

轨迹收集：作者为每次修复尝试收集了执行轨迹，包括生成的补丁、解决判定（fail-to-pass 和 pass-to-pass 测试）以及完整的动作轨迹（有序的工具调用序列、推理输出和验证）。
分类法构建：从这些轨迹中手动推导出了统一的流图分类法，以对智能体工作流进行分类。该分类法识别了核心行为模块（例如：缺陷定位、上下文构建、补丁合成、测试），并映射了不同智能体架构之间的决策路径。
智能体选择：研究了五个代表性智能体，分为两类范式：
- 基于工作流的：AutoCodeRover、Agentless、MASAI（具有预定义阶段的结构化管道）。
- 开放过程的：SWE-Agent、OpenHands（允许 LLM 动态与环境交互的灵活接口）。
- 骨干模型：实验使用了 Claude-3.5-Sonnet 和 GPT-4o，以在隔离架构差异的同时控制模型能力。
分析技术：
- 补丁相似度：使用代码克隆分析（Type 1–3）、Levenshtein 编辑距离和人工审查，将智能体补丁与开发者编写的真实结果进行比较。
- 性能指标：评估了不同难度层级（简单、中等、困难、非常困难）的解决率，并分析了智能体重叠情况（互补优势）。
- 过拟合检测：量化了智能体生成补丁的比率，这些补丁通过了自我生成的复现测试，但未能通过原始真实结果测试。
- 测试生成与选择：分析了智能体生成的复现测试的频率和成功率，以及回归测试选择的准确性。
- 工具分析：对智能体跨工具的使用频率进行了分类和测量（例如：bash 命令、搜索 API、文件编辑）。

主要贡献

系统轨迹分析：本文提供了 APR 智能体决策管道的首次端到端追踪，超越了结果指标，深入到过程层面的洞察。
工作流分类法：一个经过验证的智能体行为分类法，区分了“迭代优化”（单次补丁生成）和“并行采样”（多个候选项）策略，突出了基于工作流的智能体与开放过程智能体之间的结构差异。
实证洞察：关于补丁质量、测试生成有效性和工具限制的综合发现集，为下一代 APR 设计提供了可操作的指导。
可复现性：作者发布了包含框架、原始轨迹和分析脚本的复现包。

主要结果

1. 智能体与开发者补丁对比（RQ1）

风格差异：基于工作流的智能体（如 Agentless）生成的补丁简洁、局部化（平均约 22 行，1 个文件），与开发者解决方案高度相似（35–41% 的 Type-1/2 克隆）。相比之下，开放过程的智能体（如 OpenHands、SWE-Agent）生成的补丁显著更大、更冗长（最大可达 40 倍），跨越多个文件，且与开发者修复的结构相似度较低。
复杂度与正确性：虽然开放过程的智能体在处理复杂的多文件重构方面表现更好，但其冗长的解决方案往往更难维护。随着任务难度增加，所有智能体的智能体补丁与开发者补丁之间的相似度均下降，43–68% 的成功补丁为非克隆。

2. 智能体在补丁生成中的有效性（RQ2）

难度扩展：成功率随难度急剧下降。智能体解决了 66–73% 的“简单”任务，但仅解决了 4.8–19% 的“困难”任务，在“非常困难”的问题上成功率接近零。
互补优势：智能体之间的重叠有限；在 261 个中等难度的问题中，只有 27 个被所有五个智能体解决。不同的架构在特定类型的缺陷上表现出色（例如：SWE-Agent 在边界条件上，Agentless 在序列化/ORM 缺陷上），表明集成方法具有潜力。
过拟合：智能体经常对自我生成的测试过拟合。开放过程的智能体表现出更高的过拟合率（17–26%），而基于工作流的智能体为 4–5%。提供多个 fail-to-pass 测试可显著减少虚假修复。

3. 通过测试进行验证（RQ3）

复现失败：智能体难以生成真正触发缺陷的复现测试。即使是最优秀的智能体，也有 40–60% 的时间未能触发问题。
推理扩展：在低温度（ $t=0.2$ ）下增加采样数量比高温度多样性更能有效提高触发率。
定位影响：向 LLM 提供缺陷定位上下文（相关文件/类）显著提高了复现成功率（相对提升 13.5%），将以前无法复现的问题转化为可解决的问题。
回归选择：虽然基于工作流的智能体频繁运行回归测试，但它们难以选择相关的（黄金）测试。运行黄金回归测试的智能体比仅运行非黄金测试的智能体表现出更高的解决率。

4. 工具（RQ4）

原始工具：尽管推理 sophisticated，智能体仍严重依赖原始工具（bash 脚本、文件查看/编辑）。它们缺乏对高级调试器或程序分析器的访问权限。
使用模式：开放过程的智能体更多地依赖 bash 命令进行执行，而基于工作流的智能体使用专用 API。缺乏集成的调试工具限制了推理深度和补丁质量。

意义与主张

本文声称，当前的 APR 系统不仅受限于 LLM 的能力，还受限于架构脚手架和工具约束。作者认为：

左移方法：需要在修复管道的早期优先处理高质量的测试生成和验证，以减少虚假修复并提高语义正确性。
架构设计：未来的系统应采用混合架构，结合结构化的定位与灵活的探索，并利用集成来利用智能体的互补优势。
基准演变：当前的基准测试（如 SWE-bench）优先考虑表面层面的成功指标。作者主张建立衡量语义修复质量、测试生成保真度和回归测试选择准确性的基准测试。
工具集成：下一代智能体需要更丰富、集成的工具生态系统（例如：调试器、静态分析器），而不是依赖基本的 shell 命令。

研究结论指出，虽然智能体在简单修复方面表现出色，但其处理逻辑密集型缺陷的能力受到测试生成不佳、过拟合和原始工具的限制。通过更好的设计和工具解决这些瓶颈对于推进自动化程序修复领域至关重要。