🤖 AI

Abstain and Validate: A Dual-LLM Policy for Reducing Noise in Agentic Program Repair

本文引入了一种结合了缺陷弃权与补丁验证的双 LLM 策略框架，通过在人工审查前过滤掉极不可能被修复的缺陷和次优补丁，从而显著降低噪声并提高工业级智能体自动化程序修复的成功率。

原作者： José Cambronero, Michele Tufano, Sherry Shi, Renyao Wei, Grant Uy, Runxiang Cheng, Chin-Jung Liu, Shiying Pan, Satish Chandra, Pat Rondon

发布于 2026-01-30

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： José Cambronero, Michele Tufano, Sherry Shi, Renyao Wei, Grant Uy, Runxiang Cheng, Chin-Jung Liu, Shiying Pan, Satish Chandra, Pat Rondon

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你有一个非常有才华但有点过于急躁的机器人助手，名叫“修复机器人（Repair-Bot）”。你的工作是在一个巨大的仓库（公司的代码库）里修理成千上万件损坏的东西。修复机器人很擅长尝试修复事物，但它也容易犯错、浪费时间，并提出一些根本行不通的修复方案。

如果你让修复机器人向你展示它尝试修复的每一件事，你会感到应接不暇。你会整天都在查看错误的建议，感到沮丧，并最终不再信任这个机器人。

这篇论文介绍了一个两步走的“守门员（Gatekeeper）”系统，旨在在噪音到达你的办公桌之前将其拦截。你可以把它想象成夜店的保安和工厂的质检员。

问题所在：过多的噪音

在软件世界中，“漏洞（bugs）”是代码中的错误。自动化系统（称为智能自动程序修复，即 Agentic APR）试图修复这些漏洞。但这些系统经常尝试修复那些对它们来说过于困难的漏洞，或者生成的“补丁（patches）”（代码变更）看起来还可以，但实际上是错误的。

结果： 开发人员浪费时间在审查糟糕的修复方案上。
目标： 只向开发人员展示那些极有可能奏效的修复方案。

解决方案：双重门禁系统

作者提出了两个作为过滤器（类似于漏斗）的策略。

第一道门： “漏洞弃权”（保安）

它做什么： 在机器人甚至尝试修复漏洞之前，这道门会先查看漏洞报告（问题的描述）。
类比： 想象你是一个夜店的保安。你看着试图进入的人（漏洞）。如果这个人看起来太困惑、描述太模糊，或者问题看起来用现有的工具无法解决，你会说：“抱歉，你不能进来。”
它是如何工作的： 一个 AI 模型阅读漏洞报告并询问：“我们的机器人真的能修复这个吗？”如果答案是“可能不行”，系统就会弃权（拒绝尝试）。它节省了机器人的能量，更重要的是，它节省了人类开发人员去查看失败尝试的时间。
论文的说法： 通过扮演保安的角色，这道门过滤掉了那些“不可能”的漏洞。它将通过此门的漏洞成功率从约 11% 提高到了 21%（使用特定的准则）。

第二道门： “补丁验证”（质检员）

它做什么： 如果机器人确实尝试修复了一个漏洞并产生了一个补丁，这道门会检查结果。
类比： 想象机器人制造了一个新的发动机零件。在安装之前，一名质检员会根据蓝图进行检查。质检员不仅看零件本身；他们首先会根据问题描述写下一份关于“完美零件”应该长什么样的“配方”。然后，他们会将机器人的零件与这份配方进行对比。
它是如何工作的：
1. AI 根据漏洞报告编写一份“规范（specification）”（一套关于正确修复的规则）。
2. 第二个 AI 查看机器人的实际代码变更和该规范。
3. 它给出一个评分：“看起来不错”、“看起来很糟”或“我不确定”。
4. 如果评分过低，补丁将被拒绝。
论文的说法： 这道门捕捉到了机器人的错误。即使机器人尝试修复了一个漏洞，这道门也可以说：“不，那不是正确的修复方式。”这本身就能将展示出的补丁成功率提高到约 29%。

完美的组合：漏斗

当你将两道门结合在一起使用时，它们就像一个高效的漏斗。

第一道门阻止了不可能的问题进入系统。
第二道门阻止了糟糕的解决方案离开系统。

结果：

基准线： 在没有任何门禁的情况下，开发人员每 10 次看到修复方案时，只有 1 次是有效的（11%）。
使用两道门： 如果你将门禁设置得非常严格（只展示最优秀的候选方案），开发人员每 2 次看到修复方案时，就有 1 次是有效的（53%）。
权衡： 你必须接受展示的漏洞总量会减少的事实。系统会过滤掉许多漏洞，以确保它展示出的那部分内容是高质量的。

关于机器生成的漏洞怎么办？

论文还针对由计算机自动发现的漏洞（例如“空指针异常”或内存错误）进行了测试。这些漏洞通常带有清晰的指令（如堆栈跟踪信息）。

对于这些漏洞，他们不需要“保安”（第一道门），因为计算机已经知道这些是可修复的。
然而，“质检员”（第二道门）仍然发挥了作用，显著提高了被接受补丁的成功率。

总结

这篇论文并不声称让机器人修复漏洞的能力变得更聪明。相反，它声称让向人类展示修复方案的过程变得更加聪明。通过使用两道 AI “守门员”来过滤噪音，开发人员不再把时间浪费在糟糕的想法上，并开始重新信任自动化系统。

简而言之： 这不是关于修复更多的漏洞，而是关于修复正确的漏洞，这样人类就不会因为盯着错误的东西看而感到疲惫。

技术摘要：弃权与验证：用于减少智能体程序修复中噪声的双 LLM 策略

问题陈述

智能体自动化程序修复（APR）系统已展现出解决复杂仓库级漏洞的能力，在 SWE-Bench-Verified 等基准测试中取得了极高的 pass@1 率。然而，将这些系统部署到工业环境时面临着一个关键挑战：“噪声”问题。即使修复率在不断提高，生成的补丁中仍有相当一部分不太可能被人类开发者接受。呈现这些低质量或难以处理的补丁会浪费开发者的宝贵时间，削弱对自动化工具的信任，并产生不必要的计算成本。本文解决的核心问题是：如何在尝试修复之前过滤掉智能体不太可能修复的漏洞，以及如何在生成补丁之后拒绝那些不太可能正确的补件，从而优化面向人类审查者的信噪比。

方法论

作者提出了一个由两个互补阶段组成的双 LLM 策略框架：漏洞弃权（Bug Abstention）与补丁验证（Patch Validation）。

1. 漏洞弃权策略

该策略在修复智能体尝试修复之前运行。它作为一个预过滤器，旨在排除被认为不太可能被系统解决的漏洞。

输入： 仅包含漏洞报告（标题、描述、元数据）。该策略不访问代码库或智能体的轨迹，以保持效率。
机制： LLM 预测成功修复尝试的概率。作者将其形式化为估计漏洞 $b$ 的经验成功概率 $\hat{\pi}_b$ 。
表示形式： 评估了两种提示策略：
- 无指南的指令提示： 仅输入基础漏洞报告。
- 带指南的指令提示： 辅以人类衍生的标准（例如，“清晰的问题与行动”、“精确的代码定位”）来引导 LLM 对难度的评估。
决策： 如果预测概率 $P_a(b)$ 低于可配置的阈值 $\tau$ ，则系统“弃权”而不进行修复尝试，从而节省计算资源并防止生成低质量补丁。

2. 补丁验证策略

该策略在智能体生成修复轨迹之后运行。它用于评估特定的补丁是否为正确的修复。

输入： 漏洞报告、智能体的轨迹（思考过程与动作）、生成的补丁（diff）以及测试结果。
机制： 采用多阶段方法：
1. 确定性检查： 通过构建和测试回归检查，剔除存在明显失败的补丁。
2. 修复规范生成： LLM 生成一个“修复规范”——一套基于漏洞报告和原始源文件（不含真值知识）的正确修复标准。
3. LLM 判断： 第二个 LLM 调用根据生成的规范、补丁以及测试结果，对智能体的尝试进行评估。
输出： 一个由二元判断（已修复/未修复）、自然语言解释以及基于 Token 级对数概率得出的置信度分数组成的元组。
决策： 补丁可以基于二元判断或基于百分位数的截断值进行过滤，从而实现可调节的严格程度。

3. 组合框架

这两个策略按顺序组合：漏洞弃权策略首先过滤初始漏洞集，随后 APR 系统对剩余漏洞进行修复尝试，最后通过补丁验证策略过滤生成的补丁。这创建了一个面向开发者的可配置漏斗。

评估与结果

研究人员在 Google 代码库中的三个工业数据集上评估了这些策略：

人类报告的漏洞（174 个）： 已知真值修复方案及无法通过复现测试的漏洞。
机器报告的 NPE 漏洞（198 个）： 来自实时部署且带有堆栈轨迹的空指针异常。
检测器报告的漏洞（50 个）： 具有已知复现测试的内存错误和数据竞争。

主要发现：

人类报告的漏洞：
- 基线： 未经过滤的系统实现的 fail-to-pass@1 率为 11.29%。
- 漏洞弃权： 使用指南（ $r_2$ ）后，过滤后的 fail-to-pass@1 率提升至 21.05%。
- 补丁验证： 使用严格的基于百分位数的验证（第 90 百分位数）后，过滤后的 fail-to-pass@1 率增加到 29%（比基线提高了 15 个百分点）。
- 组合策略： 在最严格配置下（combined-p90），双策略方法实现的 filtered fail-to-pass@1 为 53%（比基线提高了 39 个百分点），有效地将展示给开发者的补丁成功率提升到了 1/2。
机器报告的漏洞：
- 补丁验证显著提高了 NPE 漏洞（从 0.38 到 0.62）和检测器漏洞（比基线高出多达 15 个百分点）的 filtered accept@1 率。
权衡： 研究强调了尝试修复的漏洞数量与补丁精确度之间的权衡。更严格的过滤（例如第 90 百分位数）虽然大幅减少了呈现给开发者的漏洞数量（例如从 174 个减少到 12 个），但确保了剩余补丁具有更高的成功率。

核心贡献

漏洞弃权策略： 一种新型的修复前过滤机制，利用 LLM 仅基于漏洞报告预测修复可行性，从而避免徒劳的修复尝试。
补丁验证策略： 一种多阶段修复后评估框架，利用在没有真值知识的情况下生成的“修复规范”来过滤候选补丁。
广泛的工业评估： 在三种不同类别的漏洞（人类报告、NPE 和检测器报告）中进行的全面研究，证明了两种策略的互补性。
指标创新： 引入了“filtered success@k”指标，该指标仅评估受策略限制的漏洞和补丁子集上的成功率，提供了一个更符合实际的衡量标准。

意义与主张

论文声称，这种双策略方法为可靠、工业规模化的智能体 APR 系统的部署提供了切实可行的路径。通过显著减少无效修复尝试产生的噪声，该框架解决了开发者信任和时间管理这一关键瓶颈。

作者强调，虽然由于激进的过滤（部分可修复的漏洞被拒绝）会导致整体漏洞解决率下降，但呈现给开发者的补丁质量得到了显著提升。在实际应用中，这使开发者的体验从审查一个成功率约为 10% 的补丁，转变为审查一个成功率约为 50%（在严格设置下）或 33%（在宽松设置下）的补丁。这种转变被认为是实现 AI 工具在软件工程领域应用的必要条件，因为它使自动化系统的输出与人类审查者的有限能力相匹配。这项工作并不声称解决了修复所有漏洞的根本难题，而是通过确保只有最有希望的候选对象到达人类阶段，优化了智能体系统与人类开发者之间的交互。