💻 computer science

Balancing Usefulness and Naturalness: An LLM-based Curation Pipeline for Code Review Comments

本文提出了两种基于大语言模型（LLM）的策展流水线，包括 CuREV 数据集和一种基于示例引导的方法，旨在系统地提高代码审查评论的质量、清晰度和真实性，从而增强下游自动化任务（如评论生成和代码优化）的性能。

原作者： Oussama Ben Sghaier, Martin Weyssow, Houari Sahraoui

发布于 2026-07-13

📖 1 分钟阅读☕ 轻松阅读

原作者： Oussama Ben Sghaier, Martin Weyssow, Houari Sahraoui

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

将代码评审想象成一个巨大的、混乱的群聊，开发者们试图在其中修复一座巨大的、共享的乐高城堡。有时，反馈是精彩的：“嘿，那个蓝色积木放错位置了；让我们把它换成红色的，让塔楼更稳固。”但通常，聊天内容充满了噪音：“呃，真恶心”、“我也一样，哈哈”，或者是毫无帮助的刻薄谩言。

长期以来，科学家们一直试图教机器人（具体来说是大语言模型或 LLM）扮演好用的评审员角色，方法是把这些整个混乱的聊天记录喂给它们。问题在于，机器人也学会了那些坏习惯。它们开始吐出模糊、无礼或令人困惑的评论，因为这就是它们在训练数据中所看到的。这就像试图通过喂给厨师美食和烧焦的面包混合物来教他们烹饪；最终，这位厨师也会开始端出烧焦的面包。

核心发现：清理厨房
论文作者决定在教机器人之前先“清理厨房”。他们并没有简单地扔掉坏数据，而是创建了两种不同的“策展流水线”（可以理解为两种不同的整理杂乱图书馆的方法），将嘈闻杂乱的聊天日志转化为高质量的机器人教科书。

流水线 1：“严格的编辑”（CuREV）
第一种方法被称为 CuREV，它就像聘请了一位严格的编辑，重写聊天中的每一条评论。

他们做了什么： 他们获取每一条评论，即使是好的评论，并强迫它们变得清晰、简短、有礼貌且切中要害。
结果： 机器人学习得非常快，因为指令非常统一。当被要求编写评审意见时，机器人几乎总是以同一个短语开头：“考虑……”（Consider...）。
代价： 虽然机器人非常擅长遵循“考虑……”这条规则，但它们听起来有点机械化且重复。这就像是一个合唱团，每个人都完美地唱着完全相同的音符，但缺乏变化。论文显示，这种方法提高了机器人生成评论的能力（在名为 BLEU 的测试中得分为 11.26，高于原始混乱数据的 7.71），但也让机器人的声音听起来太像单一的模板。

流水线 2：“聪明的导师”（CuREV+）
第二种方法 CuREV+ 更聪明。作者没有重写一切，而是扮演了一个智者的角色。

他们做了什么： 他们首先将评论分为“好”和“坏”。
- 好的评论（清晰、有礼、有帮助）被原样保留。它们被作为“范例”（完美的例子）保留下来。
- 坏的评论（无礼、模糊或混乱）由机器人进行重写，但这一次，机器人会先看到“好”的范例以获得启发。
结果： 最终的数据集是真实人类声音与经过润色的有益建议的结合。机器人学会了清晰且有礼貌，同时又不会失去人类对话的自然多样性。
证据： 在编写代码评审的测试中，这种方法在 BLEU 测试中得分 11.05——几乎与严格的编辑不相上下，但有一个巨大的加分项：评论听起来更像人类。
- 多样性检查： 严格的编辑（CuREV）使用了“考虑”（consider）这个词超过 142,000 次。而聪明的导师（CuREV+）仅使用了 10,000 次，并混入了诸如“我们可以……”、“我们是否应该……”以及“我认为……”之类的短语。
- 现实世界测试： 当机器人需要根据评论实际修复代码时，CuREV+ 方法成为了赢家。它帮助机器人修复代码的得分（CodeBLEU）为 0.49，击败了严格编辑的 0.44 以及原始混乱数据的 0.36。

论文排除了什么
论文明确反对仅仅将原始、混乱的数据喂给机器人的想法。他们表明，在未经处理的原始数据上进行训练会导致机器人生成无关、不清晰甚至不文明的评论。他们还指出，仅仅重写所有内容（如第一种流水线）可能过于极端，因为这剥夺了人类说话时自然的差异性。论文认为你需要一种平衡：保留好的声音，只修正坏的。

他们有多确定？
作者对他们的数字非常有信心，但他们在措辞上非常谨慎。

他们测量了评论质量，使用了一个复杂的系统，其中一个强大的 AI（Llama-3.1-70B）充当评委，检查清晰度、文明度和相关性。他们通过人类评审员进行了双重检查，发现 AI 与人类的意见高度一致（一致性得分为 0.88）。
他们模拟了机器人的学习过程，通过在这些新数据集上进行训练，并在特定任务（编写评论和修复代码）上进行测试。改进在这些测试中是真实且可衡量的。
他们建议这种方法在“有用性”（完成工作）和“自然度”（听起来像人）之间创造了更好的平衡。他们并不声称这是永恒的、完美的解决方案，但数据有力地支持了 CuREV+ 相比于旧有的、混乱的方式是一个显著的进步。

简而言之，论文建议，如果你想让机器人成为一名优秀的编码评审员，不要只喂给它一本由完美句子组成的字典。相反，向它展示最好的真人范例，修复那些坏的部分，并让它从这种混合物中学习。这样，它就能学会提供帮助，而不会变成一个只会重复的复读机。

技术摘要：在代码审查数据清洗中平衡实用性与自然度

问题陈述

代码审查是软件开发中的一项基本实践，依赖于书面评论来确保代码质量、可维护性和正确性。然而，利用大语言模型（LLM）实现这一过程的自动化受到了现有训练数据集质量低下的阻碍。公开的代码审查数据集通常直接从代码仓库中挖掘，存在显著的噪声，包括无关、不文明、模糊以及语法错误的评论。在这些数据上训练 LLM 会降低学习效率，并可能放大不良行为，例如生成无用或不当的反馈。

此外，以往对这些数据集进行清洗的尝试（如作者此前引入的 CuREV）涉及系统性地重构所有评论，以提高其清晰度、简洁度和文明度。虽然这提高了质量，但也导致了数据集的同质化，丢失了人类编写评论中自然的风格多样性和差异性，使得数据不再能代表真实的开发者交互场景。

研究方法

作者提出了一套全面的方法论，用于评估、清洗和评价代码审查数据集，该方法围绕五个研究问题（RQ）展开。该流程包含一个评估框架、两条不同的清洗流水线以及下游任务验证。

1. 评估框架 (RQ1)

作者采用 LLM-as-a-Judge 方法，使用 Llama-3.1-70B-Instruct 对包含 176,613 条代码审查评论的大规模数据集（Li et al., 2022b）进行评估。该框架从以下维度评估评论：

类别维度： 类型（如 Bugfix、重构）、性质（指令型、描述型、澄清型）以及文明度（文明 vs. 不文明）。
质量评分： 相关性、清晰度和简洁度（评分范围 1–10）。
验证： 通过 100 个人工标注样本进行的完整性检查确认，人类标注者与 LLM 评判者之间具有高度一致性（文明度的 Cohen's $\kappa$ 高达 1.00，其他维度也接近完美）。

2. 清洗流水线 (RQ2)

引入了两条流水线来转化原始数据集：

CuREV（系统性重构）：
- 过滤： 移除相关性评分较低（< 4）的评论。
- 重构： 使用 LLM 重写所有剩余的评论，在保留语义意图的同时，提高其清晰度、简洁度和文明度。
- 结果： 一个完全标准化、高质量的数据集。
CuREV+（选择性、示例引导的重构）：
- 过滤： 与 CuREV 相同的相关性阈值。
- 选择： 将过滤后的数据划分为“高质量”（文明度高，且清晰度 $\ge$ 7，简洁度 $\ge$ 7）和“低质量”评论。高质量评论以其原始形式保留。
- 示例引导的重构： 低质量评论由 LLM 通过**上下文学习（in-context learning）**进行重构。模型会获得 10 个随机抽取的高质量评论作为示例，以激发风格多样性和语调变化。
- 结果： 一个在提升质量的同时，保留了自然人类写作风格和多样性的数据集。

3. 多样性分析 (RQ3)

作者通过类型-标记比（TTR）、n-gram 多样性（bi- 和 tri-gram）、Self-BLEU 和熵来分析语言多样性。通过这些指标对比了 CuREV 的统一性与 CuREV+ 的多样性。

4. 下游任务影响评估 (RQ4 & RQ5)

通过在 Original、CuREV 和 CuREV+ 数据集上微调三个模型（DeepSeek-6.7B-Instruct）来评估：

评论生成： 通过 BLEU 分数衡量。
代码精炼： 通过 CodeBLEU 和精确匹配（EM）来评估评论引导代码变更的效果。

核心贡献

改进的清洗流水线： 引入了 CuREV+，一种选择性的、基于上下文示例引导的流水线，平衡了质量提升与风格多样性的保留。
全面的评估： 在多个质量维度（清晰度、简洁度、文明度）和多样性指标上，将 CuREV 和 CuREV+ 与原始数据集进行了严格对比。
下游任务的实证研究： 展示了数据集清洗如何影响自动评论生成和代码精炼任务。
多样性分析： 证据表明，虽然系统性重构（CuREV）会产生统一性，但选择性重构（CuREV+）能维持更广泛的写作风格和词汇量。

结果

数据集质量与特征

原始数据集： 特点是侧重于重构（80%）和 Bugfix（18%），但存在清晰度低（平均 6.89）、简洁度中等（7.71）以及存在不文明评论（1.23%）的问题。
CuREV： 在清晰度（6.89 $\to$ 8.96）和文明度（98.8% $\to$ 100%）方面取得了显著提升。然而，它引入了极端的统一性，90.2% 的评论变得具有指令性，且单词 "consider" 在前缀 n-gram 中占据主导地位（出现 126k 次）。
CuREV+： 实现了相当的清晰度（8.95）和完美的文明度。至关重要的是，它实现了更优的简洁度（7.71 $\to$ 8.53），优于 CuREV（8.05）。它保留了自然的差异性，具有更低的 Self-BLEU 分数（0.1431 vs. 0.2466）以及多变的前缀分布（例如，“can we”、“should we”、“please”），而非单一的模板。

下游任务表现

评论生成： 两个经过清洗的数据集都优于原始数据集。由于句式统一，CuREV 获得了最高的 BLEU 分数（11.26）；而 CuREV+ 的得分略低（11.05），但它提供了对超越公式化模式的泛化能力的更现实评估。
代码精炼： CuREV+ 取得了最佳结果，实现了 0.49 的 CodeBLEU 和 463 的精确匹配（EM），优于 CuREV（0.44, 445）和 Original（0.36, 408）。这表明，清晰且经过重构的评论与真实且多样的人类评论相结合，能为代码精炼提供最有效的指导。

意义与主张

本文声称，清洗代码审查数据集不仅需要提升质量，还需要平衡标准化与多样性。

权衡解决： 虽然全量重构数据集（CuREV）能最大化清晰度和短期模型学习效果（高 BLEU），但它面临着产生合成的、重复性数据的风险，这类数据可能无法很好地泛化到现实场景。
最优策略： CuREV+ 方法证明，通过选择性地保留高质量的人类评论，并将其作为重构低质量评论的示例，可以得到一个既高质量又具有类人特性的数据集。
实际影响： 研究结论指出，CuREV+ 通过提供清晰的指令而不牺牲实现稳健泛化所需的风格丰富性，为下游任务（尤其是代码精炼）提供了最佳的权衡方案。

作者将这项工作定位为克服软件工程自动化中噪声多、未经过精炼的数据局限性的关键一步，并建议未来的数据集清洗应在提升质量的同时，优先考虑保留自然的变化。