Repair Evidence Resolution: Separating Prediction, Structural Resolution, and Transfer in Automated Patch Correctness Assessment
本文介绍了修复证据解析（Repair Evidence Resolution, RER），这是一个将自动化补丁正确性评估从纯粹的预测指标转向结构化分析的框架，旨在分析证据是否能够确定性地分离正确与错误的修复方案，从而揭示出即使是高性能的评估器也往往依赖于无法解决特定修复主张的证据。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在软件工程领域，计算机正越来越多地通过编写自己的代码来修复漏洞。这一领域被称为自动化程序修复（automated program repair），其工作原理是生成数千个可能的解决方案，然后根据一组规则进行测试，以观察哪些方案有效。然而，一个长期困扰这一过程的持久问题是：一个修复方案即使通过了计算机给出的所有测试，在本质上仍可能是错误的。这被称为“过拟合”（overfitting），即解决方案过于完美地契合了它所面临的特定测试，却未能解决实际存在的底层错误。为了解决这个问题，研究人员构建了充当“裁判”的工具，试图预测生成的众多修复方案中，哪些是真正正确的，而哪些仅仅是运气好。多年来，这些裁判的成功一直以它们猜对答案的频率来衡量，就像根据多项选择题给学生评分一样。但这种方法忽略了一个更深层的问题：即便一个裁判擅长猜测，它所看到的信息是否真的包含了能够区分正确修复与错误修复的线索？
由 Usha Martin 大学 Mohammad Amir Khusru Akhtar 进行的一项新研究改变了关注点，不再关注裁判猜测得有多好，而是关注可用于该裁判的证据是否具备做出正确区分的能力。该研究者引入了一个名为“修复证据解析”（Repair Evidence Resolution）的框架，该框架将计算机可见的信息视为一组组的集合。其核心思想是检查是否存在任何单一组别同时包含了看起来对计算机而言完全相同的正确修复和错误修复。如果这样的组别存在，那么无论多么聪明的猜测都无法将两者分开，因为计算机无法分辨它们。这无关算法的智能，而在于数据的局限性。这项研究探讨了用于评估修复方案的特定信号是否足够详细，以将正确答案与错误答案拆分开来，以及用于研究的小规模样本是否足以证明该数据对于更广大的所有可能修复的宇宙是充分的。
为了调查这一点，研究人员分析了一个来自 2020 年软件工程会议的大型公开数据集。该数据集包含了两款不同自动化工具生成的 1,762 条程序修复记录。每条记录都包含一个说明其修复是否正确的标签，以及两种不同类型的数值描述（或称之为“证据通道”），计算机利用这些描述来理解修复方案。研究人员编写了一个计算机程序，根据这些描述对修复方案进行分组。如果两个修复方案具有完全相同的描述，它们就会被放入同一个“桶”中。该程序随后检查每个“桶”，看其中是否混杂了正确和错误的修复。如果一个桶内既有正确也有错误的修复，则意味着证据不足以将它们区分开来，从而为任何裁判制造了一个盲点。
分析结果显示，两类描述之间存在明显的差异。当研究人员仅观察第一种类型的描述时，发现有九个组别包含了正确与错误修复的混杂情况。这九个组别涉及 43 个补丁，代表了在区分真相与错误方面的一个虽小但显著的差距。然而，当研究人员检查第二种类型的描述，或者将两种类型的信息结合起来时，那些令人困惑的组别消失了。在结合后的视图中，每一个组别要么只包含正确修复，要么只包含错误修复。这意味着，第二种类型的证据，或两者的结合，提供了第一种类型所缺乏的完整结构化分离。研究证明，仅仅拥有更好的预测模型是不够的；底层的数据必须首先具备分离两种结果的能力。
或许最令人震惊的发现涉及研究人员如何轻易地被小样本量误导。研究计算了在较小的随机选择的修复方案中，表现出看似完全可解析（即隐藏了所有混淆组别）的概率。对于仅 100 个修复方案的样本，其表现得如同证据完美（隐藏了所有混淆组别）的概率高达 91.29%。即使在 400 个修复方案的样本中，这种混乱被隐藏的可能性仍有 34%。只有当样本量达到 800 时，错过该问题的概率才降至 2.5% 以下。这表明，研究人员很容易在小规模数据集上测试新工具，发现其运行完美，并错误地得出证据充分的结论，而与此同时，更大规模的修复方案群体中仍然充满了无法检测到的错误。
该论文并未声称这些发现解决了自动化修复的问题，也并未声称该特定数据集代表了所有可能的软件漏洞。相反，它建立了一种审计证据质量本身的新方法。它表明，在我们询问计算机是否足够聪明以判断一个修复方案之前，我们必须先询问它所获得的信息是否足够详细，以使判断成为可能。研究证实，增加证据类型可以解决单一类型无法解决的结构性冲突，并警告说小规模测试集可能会给人一种虚假的安全感。通过将“预测问题”与“证据解析问题”分离，这项研究为评估自动化工具能否真正理解其试图修复的代码提供了一条更清晰的路径。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。