🤖 AI

On the Impact of Code Comments for Automated Bug-Fixing: An Empirical Study

这项实证研究表明，在训练和推理阶段均保留代码注释能显著提升大语言模型自动修复缺陷的准确性，从而挑战了去除注释的普遍做法，并强调了实现细节在辅助模型性能方面的价值。

原作者： Antonio Vitale, Emanuela Guglielmi, Simone Scalabrino, Rocco Oliveto

发布于 2026-02-02

📖 1 分钟阅读☕ 轻松阅读

原作者： Antonio Vitale, Emanuela Guglielmi, Simone Scalabrino, Rocco Oliveto

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图教一个非常聪明、但有点过于死板的机器人如何修理坏掉的玩具。这个机器人是一个大语言模型（LLM），而这些“玩具”则是带有漏洞（bug）的计算机程序。

长期以来，研究人员一直认为，要教好这个机器人，你应该剥离掉附在这些坏掉玩具上的所有“笔记”或“贴纸”（代码注释）。他们认为机器人应该只观察原始的塑料和齿轮（代码本身），以此来弄清楚如何修理它。

这个论文的核心思想
作者安东尼奥·维塔莱（Antonio Vitale）及其团队提出了一个简单的问题：如果那些笔记其实才是拼图中最关键的部分呢？ 他们假设，由原始人类开发者编写的笔记解释了为什么要这样构建这个玩具，而这可能正是修复它的关键。

为了测试这一点，他们不仅仅是观察原始代码。他们创建了一个庞大的全新训练集，利用人工智能为每一个坏掉的玩具编写了高质量的“贴纸”（注释）。这些贴纸解释了：

这个玩具是做什么的。
为什么它是这样被制造出来的（设计初衷）。
内部的齿轮是如何运作的。
如何正确使用它。
它必须遵守哪些规则（比如“不要摔落”）。

然后，他们使用两种不同类型的机器人老师（CodeT5+ 和 DeepSeek-Coder）进行了一系列实验，以观察它们在四种不同场景下的修复漏洞能力：

无笔记： 使用无笔记进行训练，测试时也无笔记。
仅训练时有笔记： 使用带笔记的代码进行训练，测试时无笔记。
仅测试时有笔记： 使用无笔记的代码进行训练，测试时提供笔记。
到处都有笔记： 训练时有笔记，测试时也有笔记。

实验结果：“贴纸”的力量

以下是他们的发现，使用了简单的类比：

“到处都有笔记”效应： 当机器人在训练时带有笔记，且在测试时也带有笔记时，它变成了一个超级英雄。它修复漏洞的能力比完全没有笔记时提升了高达三倍。这就像是给了机器人一本手册，并让它在工作时也能随时阅读这本手册。
“最后时刻有笔记”效应： 即使机器人在训练时使用的是原始的、无笔记的代码，只要在它尝试修复漏洞时（即“推理时”）把笔记交给它，仍然能显著提高它的表现。这就像是在机器人遇到困难时，及时把手册递到它手里。
“无害原则”： 有趣的是，用带笔记的代码训练机器人并不会在稍后缺少笔记时损害其性能。它不会感到困惑；它只是表现得比巅峰状态稍差一些，但仍优于那些从未见过笔记的机器人。

哪些笔记最重要？

研究人员还窥探了机器人的“大脑”，观察它在关注哪些部分的笔记。他们发现：

“如何”类的笔记是王道： 那些解释代码究竟是如何运作（实现细节）的笔记是最关键的。如果机器人知道代码本应采取的具体步骤，它就能精准地发现哪里出了错。
“什么”类的笔记没那么关键： 仅仅说“这个功能是排序列表”之类的笔记帮助较小。机器人通常可以通过查看代码或函数名来猜出“是什么”。
糟糕笔记的危险性： 论文还测试了如果根据损坏的代码来编写笔记会发生什么。结果是一场灾难。机器人学到了错误的规则，变得更加混乱。这就像是为一辆坏掉的汽车编写了一本手册，却教你如何把它开进墙里。

底线结论

这项研究的结论是，我们在训练 AI 修复代码时，不应该丢弃那些“笔记”（注释）。事实上，我们应该写出更好的注释。

可以这样想：如果你想让一名技工（AI）修理你的车，你不仅要递给他们发动机块，还要把车主手册也一起交给他们。手册越清晰、越详细，技工的工作就能做得越出色。作者建议，开发者编写清晰的注释不仅是为了人类，也是为了帮助这些 AI 助手发挥出最佳水平。

技术摘要：论代码注释对自动缺陷修复的影响

问题陈述
利用大语言模型（LLMs）进行自动化缺陷修复（ABF）是软件工程中的一个关键应用。一种在 ABF 研究中普遍存在的预处理实践（由 Tufano 等人 [56] 等早期工作确立）涉及移除代码注释并抽象标识符，以减轻噪声和词汇表外（OOV）问题，这在以往使用循环神经网络（RNNs）时尤为常见。然而，本研究假设代码注释包含了理解需求和识别缺陷所必需的关键设计与实现见解。作者质疑，在训练和推理阶段移除注释的常规做法，是否会对现代 LLMs 的缺陷修复能力产生负面影响，因为现代模型比其前身更擅长处理自然语言。

研究方法
作者进行了一项实证研究，旨在评估在四种不同条件下，代码注释对 ABF 性能的影响：包括在有/无注释的情况下进行训练，以及在有/无注释的情况下进行推理。

数据集构建：
- 研究使用了由 Tufano 等人 [56] 引入的数据集，该数据集包含从 GitHub 中挖掘的具有缺陷的 Java 方法及其修复版本。
- 与原始工作不同，作者从原始源代码中重新提取实例，保留了原始标识符和注释。他们合并了原始的小规模（≤50 个 token）和中等规模（≤100 个 token）数据集，并将其扩展到包含更大的方法（高达 512 个 token），从而形成了一个包含 116,372 个配对的“更新后”数据集 ( $D_b$ )。
- 注释生成： 由于 $D_b$ 中仅约 20% 的实例包含开发者编写的注释（且质量通常较低），作者使用了一种自动化程序来生成高质量、多意图的注释。通过使用带有上下文学习（in-context learning）的 GPT-3.5，他们为每个方法的修复后版本生成了五类特定的注释：What（功能性）、Why（原理/原因）、How（实现细节）、Usage（预期用法）以及 Property（前置/后置条件）。这创建了一个注释增强型数据集 ( $D_c$ )。
- 验证： 对 400 条生成的注释进行的人工分析证实，其类别一致性达到 93%，且中位充分性评分为 4/5。
实验设置：
- 模型： 微调了两个 LLM 系列：CodeT5+（2.2 亿参数，编码器-解码器架构）和 DeepSeek-Coder（13 亿参数，仅解码器架构）。
- 训练条件： 每个模型都在两个数据集上进行了微调：一个包含生成的注释 ( $\Phi_c$ )，另一个不包含注释 ( $\Phi_b$ )。
- 推理条件： 模型在包含注释 ( $T_c$ ) 和不包含注释 ( $T_b$ ) 的测试集上进行了测试。
- 指标： 性能通过精确匹配（Exact Match, EM）和 CodeBLEU（CB）进行衡量。通过 McNemar 检验和优势比（Odds Ratios, OR）进行统计显著性评估。
- 可解释性： 为了理解注释为何重要，作者采用了基于 GradientExplainer 方法的 SHAP（Shapley Additive Explanations）技术，为输入 token（代码 vs. 注释）以及特定注释类别分配重要性得分。

核心贡献

重新审视预处理： 本研究挑战了在 ABF 训练期间移除注释的标准做法，证明了注释不仅不是噪声，反而是有价值的上下文信号。
数据集革新： 作者提供了一个规模更大、经过革新的数据集，该数据集保留了原始源代码并包含了自动生成的、多意图的注释，解决了高质量注释缺陷修复对（bug-fix pairs）稀缺的问题。
全面评估： 该工作首次针对注释的存在与否，对 LLMs 在所有训练与推理组合情况下的表现进行了受控评估。
可解释性分析： 研究提供了细粒度的洞察，展示了哪些类型的注释（例如实现细节 vs. 功能描述）对模型推理的贡献最大。

结果

注释的影响 (RQ1)：
- 推理阶段： 在推理时存在注释会显著提高所有模型的性能。
- 训练阶段： 在推理时不存在注释的情况下，使用注释进行训练并不会降低性能（其效应量可以忽略不计）。
- 综合效应： 当模型在训练和测试时都使用注释时，性能提升最为显著。
  - 对于 CodeT5+，在训练和测试时均使用注释使精确匹配率从 2.78% 提高到 9.80%（约 3 倍的提升）。
  - 对于 DeepSeek-Coder，同样的配置使精确匹配率从 5.09% 提高到 12.77%（约 2.5 倍的提升）。
- 模型比较： DeepSeek-Coder 的表现通常优于 CodeT5+，这可能归功于其更大的参数量和架构。然而，CodeT5+ 在利用注释时展现出更剧烈的相对提升（3 倍），相比之下 DeepSeek-Coder 约为 2 倍，这表明较小的模型可以通过显式的上下文引导来缩小与大型模型的性能差距。
注释的重要性 (RQ2)：
- SHAP 分析显示，模型总体上始终将更高的重要性分配给代码 token 而非注释 token，但注释仍然做出了显著贡献。
- 在注释类别中，“How”注释（记录实现细节）对两个模型的影响力都是最大的。
- “What”注释（描述功能）对 CodeT5+ 而言是最不重要的（可能是因为与方法名功能冗余），而 “Property” 和 “Usage” 注释对 DeepSeek-Coder 而言是最不重要的。
其他发现：
- 基于缺陷代码（而非修复后代码）生成的注释并无帮助，甚至略微阻碍了性能，因为它们强化了错误的逻辑。
- 即使没有“How”注释，模型仍然比基准线有显著提升，这表明非实现类的注释同样具有价值。

意义与主张
本文声称，代码注释是自动化缺陷修复中一个关键且未被充分利用的资源。作者断言：

文档对 LLMs 有益： 开发人员编写文档不仅是为了人类的可维护性，也是为了让 LLMs 能够提供更好的辅助。
训练实践： 研究人员应重新考虑从训练数据集中移除注释的做法；这样做可能会丢弃有助于提高模型准确性的宝贵信号。
质量至关重要： 虽然注释是有益的，但其质量和正确性是至关重要的。从缺陷代码生成的或具有误导性的注释会降低性能。
实现细节是关键： 详细说明方法是如何实现的（How）的注释在引导模型修复缺陷方面最为有效，这可能是因为它们突出了在缺陷版本中被违反的具体逻辑。

研究结论指出，虽然大型模型本身具备缺陷修复能力，但集成高质量、多意图的注释可以显著增强 LLMs 的性能，在特定配置下甚至能使准确率翻三倍。

技术摘要：论代码注释对自动缺陷修复的影响

类似论文