🤖 machine learning

Do Coverage and Mutation Scores of LLM-Generated Test Suites Correlate with Their Effectiveness? (Replicability Study)

这项大规模复制研究表明，在被测代码本身可能已经存在缺陷的情景下，代码覆盖率和变异分数并不是衡量大语言模型生成的测试用例检测真实缺陷能力的可靠指标，但在回归测试场景中，它们仍然是具有意义的信号，这挑战了先前关于测试套件规模作为主要混淆变量的结论。

原作者： Junda Zhao, Shurui Zhou, Eldan Cohen

发布于 2026-07-28

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Junda Zhao, Shurui Zhou, Eldan Cohen

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你是一名正在试图破解犯罪案的侦探，但你寻找的不是指纹或脚印，而是“漏洞”——即那些会导致程序崩溃或运行异常的隐藏代码错误。几十年来，软件工程师一直依赖两个主要线索来判断他们的测试是否有效：代码覆盖率（Code Coverage）和变异分数（Mutation Score）。把代码覆盖率想象成一把手电筒；它告诉你向黑暗房间（代码）中照亮了多少面积。如果你照亮了100%的房间，你会感到很有信心，觉得没有遗漏任何东西。而变异分数则更像是一种“压力测试”或“陷阱”。想象一下有人偷偷把墙上的几块砖头换成了脆弱的假砖（这些就是“变异”）。如果你的测试撞倒了这面墙，说明你的测试足够敏锐，能够发现这些薄弱环节。

长期以来，软件测试领域的一个大问题是：“照亮更多的空间或撞倒更多的假墙，真的意味着你能找到真正的罪犯吗？”一些早期的研究表明，一旦考虑到运行了多少次测试，这些线索就会变得不再那么有用。他们认为，仅仅因为你覆盖了更多的范围或消灭了更多的假漏洞，并不一定意味着你在寻找真实的、隐藏的错误方面做得更好。现在，一个新玩家进入了游戏：大语言模型（LLM）。这些是超级聪明的 AI 聊天机器人，它们可以编写代码，最近甚至可以为其他代码编写测试。但由于这些 AI 机器人的工作方式与人类侦探或传统的自动化工具不同，我们不知道旧的线索（手电筒和假墙）对它们是否仍然有效。这些 AI 生成的测试是真的在寻找真实的漏洞，还是仅仅擅长照亮房间或撞倒假砖？

这篇论文是一部宏大的侦探故事，作者 Junda Zhao、Shurui Zhou 和 Eldan Cohen 决定再次对这些旧线索进行测试，只不过这次的对象是 AI 生成的测试。他们选取了 11 个最先进的可用 AI 模型，并要求它们为现实世界的软件项目编写了超过 10 万个测试。然后，他们检查了“手电筒”（覆盖率）和“假墙”（变异分数）是否真的能预测 AI 是否找到了真实的漏洞。

这里的转折在于：结果与大家的预期大相径庭。作者发现，旧的规则并不完全适用于 AI。当 AI 正在测试的代码被认为是“干净”的（就像一个尚未发生犯罪、只是在等待未来可能出错的犯罪现场）时，旧的线索表现得非常出色。如果一个 AI 模型生成的测试覆盖了更多的代码或消灭了更多的假变异，它确实在未来能更好地发现真实的漏洞。在这种特定场景下，手电筒和压力测试是比较哪位 AI 是更优秀侦探的可靠指南。

然而，当被测试的代码本身已经“损坏”时，故事发生了彻底的变化。在现实世界中，我们经常要求 AI 在已经混乱的代码中寻找漏洞。作者发现，在这种混乱的场景下，手电筒和假墙都失效了。即使一个 AI 照亮了 100% 的代码或撞倒了每一块假砖，这也不意味着该 AI 真的能找到隐藏在混乱中的真实漏洞。事实上，AI 有时会被损坏的代码所迷惑，写出的测试竟然是在“庆祝”这个错误而不是捕捉它。所以，如果代码本身已有漏洞，旧的指标就变得不可靠了；它们无法告诉你 AI 是否真的擅长发现错误。

另一个重大的惊喜在于测试团队的规模。之前的研究曾认为，测试的数量是最大的骗局，让规模更大的团队看起来更好，仅仅是因为他们有更多的人手。但本论文指出，对于 AI 而言，测试的数量并不是主要的驱动因素。无论 AI 写了 3 个测试还是 10 个测试，它对代码的覆盖程度与发现漏洞之间的关系大致保持不变。团队的大小并不是神奇的秘诀；关键在于 AI 是如何“思考”这段代码的。

简而言之，这篇论文表明，在使用 AI 时，我们不能盲目信任旧的指标。如果你是在测试干净的代码以捕捉未来的错误，那么覆盖率和变异分数仍然是比较不同 AI 模型的有用工具。但如果你是想在已经损坏的代码中寻找漏洞，这些数字可能会欺骗你。作者总结道，我们需要更加谨慎地对待我们正在测试的“内容”以及“目的”，而不仅仅是计算 AI 写了多少测试或触及了多少代码。他们并没有解决如何让 AI 完美寻找漏洞的谜题，但他们澄清了大量关于如何衡量 AI 是否在做好工作的困惑。

技术摘要：LLM 生成的测试套件的覆盖率和变异分数与其有效性是否相关？（复现研究）

问题陈述
大型语言模型（LLM）的最新进展激发了人们对自动化测试生成的兴趣。然而，对 LLM 生成的测试套件的评估过度依赖于代理指标（主要是代码覆盖率和变异分数），而非直接的真实缺陷检测。先前关于人工编写测试的研究（例如 Inozemtseva 等人，Papadakis 等人）表明，一旦控制了测试套件的大小，覆盖率、变异度和真实缺陷检测有效性之间的相关性基本消失。这引发了人们的担忧，即通过这些代理指标来评估 LLM 生成的测试可能会产生误导。此外，目前尚不清楚这些结论是否适用于 LLM 生成的测试，因为后者通常是在白盒设置下生成的，即在提示词中将待测代码作为主要输入提供。至关重要的是，现有的 LLM 评估实践通常假设输入代码是无误的（回归测试），而实际场景可能涉及有缺陷的代码，其目标是暴露现有的故障。

研究方法
作者针对 LLM 时代进行了 Inozemtseva 等人和 Papadakis 等人研究的大规模概念性复现。

基准测试： 本研究利用 Defects4J v3.0 基准测试，重点关注来自 17 个开源 Java 项目的 318 个有缺陷的焦点方法（focal methods）。每个方法都包含一个有缺陷的版本和一个修复后（无缺陷）的版本。
模型： 评估涵盖了来自六大主要开发商（包括 Google、Anthropic、OpenAI、xAI、DeepSeek 和 Alibaba）的 11 种最先进的 LLM，包括基础模型和推理变体。这产生了 13 种不同的模型设置。
测试生成： 通过一个标准化的自动化流水线，分别为每个焦点方法的有缺陷版本和修复版本生成单元测试。工作流包括提取周围的代码上下文（参数、类字段、构造函数）以构建提示词，随后基于 AST（抽象语法树）提取生成的测试。这最终产生了 8,268 个测试套件，包含超过 101,000 个独立的测试用例。
实验设计： 为了解决混杂因素，研究采用了随机采样策略来构建不同大小和固定大小（ $k \in \{3, 5, 10\}$ ）的测试套件。
指标与分析：
- 覆盖率： 使用 CodeCover 进行测量（语句、分支和修正条件覆盖）。
- 变异度： 使用 PIT 进行测量（原始和归一化变异分数）。
- 有效性： 真实缺陷检测被定义为测试套件在修复版本上通过但在有缺陷版本上失败的能力。
- 相关性分析： 作者在三个粒度上分析相关性：(1) 合并（跨所有模型汇总）、(2) 模型内（在单个模型内部）以及 (3) 模型间（比较不同模型之间的聚合统计数据）。他们在不受限和受控大小的条件下，检查了套件大小、覆盖率、变异度和缺陷检测之间的关系。

核心贡献

大规模复现： 本研究通过由 11 种 SOTA LLM 生成的 10 多万个测试用例，复现了关于测试有效性的基础性发现，揭示了 LLM 生成的测试的相关性与人工编写的测试所报告的结果存在显著差异。
有缺陷代码的上下文分析： 作者通过研究当输入代码有缺陷时，覆盖率如何与真实缺陷检测相关联，扩展了前人的工作，而这一场景在 LLM 测试生成评估中经常被忽视。
行动指南： 本文为在 LLM 时代解释覆盖率和变异度指标提供了具体指导，区分了回归测试型（无缺陷输入）和缺陷暴露型（有缺陷输入）场景。
制品可用性： 提供了一个完整的复现包，包括实现、数据和分析脚本，以支持未来的研究。

关键结果

套件大小作为混杂因素： 与先前关于人工编写测试的研究相反，作者发现没有证据表明测试套件的大小是 LLM 生成测试的主要混杂因素。套件大小与变异度/缺陷检测之间的相关性微弱或可以忽略不计。
覆盖率与变异度的相关性（无缺陷输入）：
- 当待测代码无缺陷时，覆盖率和变异度分数在单个模型内（模型内）显示出弱相关性，但在跨不同模型比较时（模型间）表现出中等或强相关性。
- 这表明，虽然覆盖率可能无法区分单个模型内各个测试套件的质量，但它是比较不同 LLM 相对有效性的有效信号。
- 不同类型的覆盖率（语句、分支、修正条件）并非完全可以互换；它们之间的相关性是中等或强相关的，但在累积聚合下并非完美相关。
覆盖率与变异度的相关性（有缺陷输入）：
- 当从有缺陷的代码生成测试时，覆盖率与真实缺陷检测之间的相关性在所有粒度上均表现为一致的微弱。
- 在这种设置下，覆盖率失去了预测能力，因为 LLM 可能会推断出有缺陷的行为是预期的，从而生成断言错误结果的测试。
- 变异分析被认为在有缺陷代码的设置下不适用，因为它预设了测试套件在待测代码上是可以通过的。
变异度与缺陷检测： 与覆盖率类似，变异度分数在合并/模型内视图中显示出与缺陷检测的弱相关性，但在模型间视图中（特别是原始变异分数）表现出中等或强相关性，使其成为在无缺陷设置下比较模型的有用指标。

意义与主张
本文声称，覆盖率和变异度分数作为测试有效性代理指标的有效性是高度依赖上下文的。

对于回归测试（无缺陷输入）： 覆盖率和变异度分数是具有信息量的，并且即使在控制了测试套件大小的情况下，也可以作为比较不同 LLM 有效性的有意义信号。
对于缺陷暴露（有缺陷输入）： 这些指标是不可靠的。在以检测现有代码中的缺陷为目标的场景中，覆盖率与有效性不相关，且变异测试不适用。
重新评估先前研究： 作者认为，与先前研究（Inozemtseva 等人，Papadakis 等人）的差异源于测试套件构建方式的不同（LLM 生成的套件反映了每个方法的自然测试需求，而非从项目池中进行随机采样）以及 LLM 提示词的独特性质。
建议： 未来的 LLM 测试生成评估应优先考虑直接的真实缺陷检测，尤其是当输入代码可能存在缺陷时，而不是仅仅依赖代理指标。在使用代理指标时，研究人员应谨慎解释不同模型之间与单个模型之内的结果，并应考虑具体的测试场景（回归测试 vs. 缺陷暴露）。

技术摘要：LLM 生成的测试套件的覆盖率和变异分数与其有效性是否相关？（复现研究）

类似论文