技术摘要：超越“失败-通过”：协同生成的缺陷重现测试与修复程序的迭代强化

问题陈述

由大语言模型（LLM）驱动的自动化程序修复（APR）已取得显著进展，但直接根据自然语言报告进行修复在本质上仍然是欠约束的（underconstrained）。缺陷报告往往是不完整的，且许多候选补丁虽然表面上看起来合理，但并未真正解决根本原因。虽然**缺陷重现测试（BRTs）**正越来越多地被用于引导修复过程（通过将问题描述转换为可执行信号），但这些测试的标准评估准则——失败-通过（Fail-to-Pass, F→P）——是不充分的。

F→P 准则要求生成的测试在错误代码上失败，并在“黄金”（正确）修复程序上通过。然而，作者证明了仅凭 F→P 并不能保证一个测试对于下游修复是有效的。具体而言：

1. 松弛测试（Lax Tests）： 一些 F→P 测试是“松弛的”，这意味着它们虽然检测到了观察到的症状，但却允许那些虽然看似合理但并未解决根本原因的错误补丁通过。
2. 失配测试（Misaligned Tests）： 一些测试会拒绝正确的修复程序，却接受错误的修复程序。
3. 测试-修复耦合（Test-Fix Coupling）： 在协同生成（co-generation）（即智能体同时生成测试和修复程序）的过程中，测试和修复程序的错误是相关的。智能体可能会生成一个弱（松弛）测试以及一个对应的错误修复程序，并因该修复程序通过了测试而过早停止，从而产生成功的假象。

方法论

本文提出了一个名为 COHARDEN 的两阶段框架来解决这些局限性。该方法依赖于一种新的评估指标和一个迭代强化循环。

1. 变异补丁评估 (Mutation Patch Evaluation, MPE)

为了区分有效和无效的测试，作者引入了变异补丁评估（MPE）。MPE 不仅仅依赖于黄金修复程序，而是通过将生成的测试与一组看似合理但错误的变异补丁进行对比来评估测试。这些补丁是通过对黄金修复程序应用语义算子（例如：症状抑制、不完全修复、特定输入的快捷方式、行为替换）生成的。

根据测试对这些变异的反应，测试被分为三类：

• 严谨（Rigorous）： 测试在错误代码上失败，在黄金修复程序上通过，并且拒绝看似合理但错误的变异补丁。
• 松弛（Lax）： 测试在错误代码上失败，在黄金修复程序上通过，但接受看似合理但错误的变异补丁（从而放宽了修复空间的约束）。
• 失配（Misaligned）： 测试拒绝了黄金修复程序（与正确性规范相冲突）。

2. COHARDEN 框架

COHARDEN 是一个旨在生成严谨测试和正确修复程序的协同生成循环，旨在避免标准协同生成中的陷阱。它分为两个阶段运行：

• 阶段 1：松弛初始化（先测试生成）：
  在尝试任何代码修复之前，智能体首先生成一个针对可观察失败（如异常、输出差异）的重现测试（$t_0$）。在此阶段，明确禁止智能体修改源代码。这实现了初始测试与任何特定（可能是错误的）修复假设的解耦，降低了生成“失配”测试（即硬编码了错误解法）的风险。

• 阶段 2：迭代强化：
  从 $t_0$ 开始，智能体进入一个联合优化测试（$t_k$）和修复程序（$c_k$）的循环。在每一轮中：

  1. 变异： 对当前的修复程序 $c_k$ 进行变异，以创建一组对抗性补丁集合 $C_k$。
  2. 评估： 将当前的测试 $t_k$ 和上一轮的测试 $t_{k-1}$ 分别在 $C_k$ 上运行。这会填充一个时间矩阵（Temporal Matrix）（类似于 MPE 混淆矩阵），用于追踪有多少变异被接受或拒绝。
  3. 强化： 智能体会收到关于“幸存变异”（即通过了测试的补丁）的反馈。目标是收紧测试，使其拒绝这些变异。

  收敛准则： 循环持续进行，直到测试发生“非平凡变化”，且松弛率（Laxity Rate）（即被新测试接受但在参考测试中被拒绝的变异比例）降至阈值（$\tau = 0.2$）以下。这确保了测试从松弛向严谨演进，且在循环过程中无需访问黄金修复程序。

核心贡献

1. 变异补丁评估 (MPE)： 一个更细粒度的评估框架，将 BRTs 划分为严谨、松弛和失配三类。它揭示了一个与 F→P 正交的质量维度，证明了 F→P 过于粗糙，无法预测修复效用。
2. BRT 效用的实证分析：
   • 作者展示了通过 F→P 测试获得的修复成功增益完全来自于“严谨”层级；松弛测试带来的增益为零（$\Delta = 0.0$）。
   • 他们发现，在标准协同生成中，测试和修复程序的错误是相关的（联合失败率比独立预测高出 1.87 倍），这导致智能体在错误解法上停滞。
3. COHARDEN 框架： 一个两阶段协同生成循环，利用松弛信号作为循环内的收敛准则。通过首先生成测试并针对变异池进行迭代强化，COHARDEN 能够生成更强的重现测试和更高质量的修复程序。

实验结果

作者在 SWE-bench Verified $\cap$ SWT-bench Verified 子集（433 个实例）上使用以 GPT-5-mini 为后端的 OpenHands 进行了评估。

• 性能： COHARDEN 实现了 69.4% 的解决率（修复程序通过黄金测试）和 78.9% 的 F→P（测试通过黄金修复程序）。
• 对比：
  • 比最强的仅修复基线（SWE-Agent）在解决率上高出 +9.6 个百分点。
  • 比最强的协同生成基线（InfCode）在解决率上高出 +7.9 个百分点。
  • 比 vanilla 协同生成基线（OpenHands + COGEN）在解决率上高出 +8.0 个百分点。
• 泛化性： 在不同的 LLM 后端（GPT-5.4, Claude Opus 4.5）以及 SWE-bench Lite 基准测试中均观察到一致的增益。
• 成本： 每个实例的平均成本为 $0.84，与现有的协同生成方法相当，且大部分增益在最初的几次强化轮次中即可实现。

意义

本文认为，自动化程序修复领域必须超越“失败-通过”准则。作者证明了测试通过特定参考修复程序的能力，并不能作为其能够将搜索空间约束向正确根本原因靠拢能力的代理指标。通过定义严谨与松弛测试的区别，并利用基于变异的反馈进行迭代强化，COHARDEN 弥合了测试生成与有效修复之间的鸿沟。这项工作表明，未来的 APR 系统不应将测试质量视为一个二元的通过/失败指标，而应将其视为一种动态属性，必须通过针对各种合理的变异进行主动强化，以确保稳健的缺陷修复。