💻 computer science

Repairing vulnerabilities without invisible hands. A differentiated replication study on LLMs

本文提出了一项差异化复制研究，证明了大型语言模型在自动化漏洞修复方面的成功可能是由对训练数据的记忆而非真正的推理所驱动的，因为改变提示词中的故障位置会显著降低其生成正确补丁的能力。

原作者： Maria Camporese, Fabio Massacci

发布于 2026-01-15

📖 1 分钟阅读☕ 轻松阅读

原作者： Maria Camporese, Fabio Massacci

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图教一名非常聪明但略显傲慢的学生如何修理一台坏掉的机器。你向他展示了这台机器，准确地指出了损坏的部分，并问道：“你能修好它吗？”

学生看着机器，思考片刻，然后交给你一个完美的修复方案。你为他欢呼！但随后你开始怀疑：这个学生是真的学会了如何修理机器，还是仅仅从他之前读过的一本书中记住了这个特定问题的答案？

这篇论文是一部关于大型语言模型（LLM）及其修复计算机安全漏洞（漏洞）能力的“怀疑论侦探故事”。作者 Maria Camporese 和 Fabio Massacci 怀疑，我们目前看到的惊人结果可能是一种骗局。他们称这些骗术为**“隐形之手”（Invisible Hands）**。

以下是他们利用简单的类比对这项调查进行的拆解：

三种“隐形之手”（嫌疑人）

作者认为有三个隐藏因素在帮助这些 AI 模型表现得比实际更聪明：

“泄题的教科书”（数据泄露）：
想象学生正在参加考试，但答案不小心印在了试卷背面，而且学生在考试前已经学习过那张试卷了。在 AI 世界中，“教科书”就是漏洞和修复的数据库。如果 AI 在训练时已经学习过现在要求它修复的完全相同的漏洞，那么它就不是在进行“修复”，而是在背诵记忆中的答案。
“完美的 GPS”（完美定位）：
通常，当我们要求 AI 修复一个漏洞时，我们会准确告诉它哪一行代码是损坏的。这就像给学生一张地图，并在损坏的齿轮处画了一个巨大的红叉。作者怀疑，如果你去掉那个“红叉”，或者把“红叉”移到错误的齿轮上，学生可能会感到困惑。如果 AI 真的足够聪明，即使你指向了错误的地方，它也应该能找到损坏的部分。如果它失败了，说明它只是在跟随那个“红叉”，而不是理解了机器。
“填空游戏”技巧（补全 vs. 修复）：
有时，我们要求 AI 修复代码的方式就像是在玩“填词游戏”（Mad Libs）。我们删掉损坏的部分，然后说：“请填空。”由于 AI 模型非常擅长预测句子中的下一个词，它们可能会通过猜测最符合逻辑的常见词来完成修复，而不是因为它们理解了其中的逻辑。

实验：“位移 GPS”测试

为了证明他们的理论，作者设计了一个聪明的实验。他们拿了一个标准的 AI 修复安全漏洞测试，并加入了一个转折：他们故意对 AI 撒了谎。

设置： 他们告诉 AI，“漏洞在第 10 行。”
转折： 实际上，他们告诉 AI 漏洞在第 12 行、第 14 行或第 8 行。他们移动了“位置”。

假设：

如果 AI 是“天才”（具备泛化能力）： 它应该观察代码，意识到漏洞实际上在别处，并无论你指向哪里都能正确修复它。
如果 AI 是“作弊者”（仅靠记忆）： 它会忽略你错误的指向，查看它的“记忆库”，然后吐出它为原始问题记忆下的答案。或者，如果指向的位置偏差太大，它会感到困惑并彻底失败。

作者预测，如果 AI 只是在记忆，那么无论你指向正确的位置还是偏移 8 行的位置，它的结果都会是一样的。这就像一个知道答案是“42”的学生，只要问题看起来稍微有点熟悉，无论你问什么，他都会写下“42”。

“第二意见”（评审员）

作者还加入了第二个 AI 来充当“评审员”。在第一个 AI 修复代码后，第二个 AI 会检查它。

理论： 如果第一个 AI 只是在背诵答案，那么第二个 AI（同样也背诵了相同的答案）应该能够非常好地识别出那个“正确的”记忆答案，并拒绝其他的修复方案。
测试： 如果你破坏了指令（即移除了“隐形之手”），第二个 AI 应该会突然感到困惑，并失去分辨好坏修复方案的能力。

他们正在做的工作

他们正在对一个 Java 代码漏洞数据集进行这项测试。他们正在：

移动目标： 告诉 AI 漏洞在错误的地方。
改变语言： 重命名变量，以便 AI 无法通过匹配记忆中的单词来完成任务。
检查工作： 使用自动化测试和人类专家来查看修复是否真的有效。

目标

他们并不是想说 AI 是没用的。他们想知道：AI 真的在学习如何修复安全漏洞，还是仅仅像一只鹦鹉一样重复它听过的内容？

如果他们发现移动“漏洞位置”并不会改变 AI 的成功率，这就证明 AI 只是通过记忆在作弊。如果当他们搞乱指令时，成功率下降了，这意味着 AI 确实在尝试理解问题。

简而言之：这篇论文是一场针对 AI 代码修复的“测谎仪测试”，旨在区分真正的智能与巧妙的记忆。

技术摘要：一项针对 LLM 自动化漏洞修复的差异化复现研究

问题陈述
利用大语言模型（LLM）进行的自动化漏洞修复（AVR）近期展现出了超越传统基于测试的程序修复方法的成果。然而，作者认为这些“卓越”的成果可能是由三个“无形之手”驱动的：

代码泄露： LLM 可能在其用于评估的基准数据集（如 Vul4J、PrimeVul）上进行了训练，使其能够通过记忆修复方案而非进行泛化来完成任务。
提示词设计（补全 vs. 修补）： 许多研究将修复过程框架化为代码补全任务，即用占位符替换易受攻击的代码。如果模型记住了修复方案，它只需完成该模式即可。
完美的故障定位： 研究通常提供漏洞的确切行号。结合代码补全提示，这使得记忆型模型能够在不理解底层逻辑的情况下重现修复方案。

核心假设是：如果 LLM 确实具备泛化能力，那么引入故障定位错误应当会导致性能下降。相反，如果它们仅仅是通过记忆在“作弊”，它们将忽略定位错误，并无论提示词是否准确都重现已知的修复方案。

方法论
作者提出了一个使用差异化流水线对 Vul4J 和 VJTrans（转换/重构后的版本）基准数据集进行“怀疑式复现研究”。该方法包括：

受控错误注入： 与提供完美定位的先前工作不同，该流水线刻意将提示词中的故障定位相对于真实位置偏移 $n$ 行（具体偏移量为正向或负向的 2、4 和 8 行）。
提示词变体： 研究使用了四种不同的提示词模板（P1–P4），其信息量各异：
- 通用信息 + 仅函数。
- 函数 + 行级定位标记。
- 函数 + 漏洞类型描述。
- 函数 + 行级标记及漏洞类型。
两阶段 LLM 流水线：
1. 生成器（Generator）： 初始 LLM 根据（可能存在错误的）提示词生成补丁。
2. 评审器（Reviewer）： 第二个 LLM 评审生成的补丁，若认为正确则输出 “TRUE”，若失败则输出 “FALSE”。
验证： 生成的补丁通过以下方式进行验证：
- 回归测试： 确保功能得以保留。
- 漏洞证明（PoV）测试： 确保漏洞确实已被修复。
- 人工审计： 对通过自动化测试的补丁样本进行人工检查，以将其分类为“正确”、“部分正确”或“错误”。
统计分析： 本研究采用 TOST（双单侧检验） 来证明统计等效性，而非仅仅是缺乏显著差异。这用于测试性能是否在面对定位错误时保持稳定（从而支持记忆假设）。使用 Agresti-Coull-Wilson 方法来计算人工审计结果的置信区间。

核心贡献

差异化复现： 本研究通过引入一个受控变量（定位错误）来测试 LLM-based AVR 的鲁棒性，从而超越了简单的复现。
隔离记忆效应： 通过使用 VJTrans（通过重命名标识符和改变控制流进行重构的漏洞），本研究试图将模型的泛化能力与数据记忆效应区分开来，因为在这些转换案例中，确切的开发者修复方案是不可用的。
等效性统计框架： 作者提出使用等效性检验（TOST）来科学地验证“作弊型”模型在扰动条件下下的表现是否与完美条件下的表现一致。
对“无形之手”的批判性分析： 该研究明确挑战了当前 AVR 基准测试的有效性，指出完美的定位和代码补全框架可能会人为抬高成功率。

结果与预期结果
注：由于这是一项研究提案/计划（由“执行计划”和“研究陈述”部分所示），论文并未呈现最终的实证结果，而是提出了测试这些假设的假设和实验设计。

论文概述了关于预期结果的假设：

关于记忆的假设： 如果 LLM 依赖记忆，那么在具有完美定位的提示词与具有偏移定位的提示词之间，性能将呈现统计学上的显著等效性（RQ1ERR）。模型将忽略错误并输出已知的修复方案。
关于泛化的假设： 如果 LLM 具备泛化能力，当定位发生偏移时，性能应当显著下降，因为模型会尝试修复错误的代码。
评审器行为： 如果“作弊”假设成立，第二个 LLM（评审器）也将依赖记忆。即使提示词中的定位是错误的，它也可能识别出“看似合理”的（记忆中的）补丁，但在面对重构后的（未见过的）漏洞时，它可能会无法识别正确的补丁。
偏移敏感度： 作者预计，如果模型在作弊，则在小位移（ $\le 2$ ）和大幅位移（ $>3$ ）之间不会出现有意义的性能差异，因为模型完全忽略了提示词中的位置提示。

意义
该论文声称其意义在于解决了 LLM 驱动的软件工程中的可复现性危机。通过证明当前的成功率可能是数据泄露和完美定位的产物，本研究旨在：

为评估 AVR 工具提供更严格的基准。
区分哪些模型真正理解漏洞模式，哪些模型仅仅是回忆训练数据。
建立一套方法论（错误注入 + 等效性检验），可应用于未来的研究，以确保报告的程序修复改进是真实的泛化而非记忆伪影。

作者总结道，若不进行此类控制，该领域可能会高估 LLM 在安全关键型任务中的实际能力。

三种“隐形之手”（嫌疑人）

实验：“位移 GPS”测试

“第二意见”（评审员）

他们正在做的工作

目标

技术摘要：一项针对 LLM 自动化漏洞修复的差异化复现研究

类似论文