💻 computer science

A Comprehensive Study on Large Language Models for Mutation Testing

本文通过一项全面的实证研究表明，虽然大语言模型在生成多样化且行为准确的变体方面显著优于基于规则的方法（其故障检测率高出 111.29%），但同时也导致了更高的不可编译率、重复率和等价变体率。

原作者： Bo Wang, Mingda Chen, Ming Deng, Youfang Lin, Mark Harman, Mike Papadakis, Jie M. Zhang

发布于 2026-01-23

📖 1 分钟阅读☕ 轻松阅读

原作者： Bo Wang, Mingda Chen, Ming Deng, Youfang Lin, Mark Harman, Mike Papadakis, Jie M. Zhang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你是一名试图在复杂代码中寻找漏洞的软件工程师。为了测试你的安全网（你的测试套件）有多好，你决定玩一个名为“寻找伪装者”的游戏。你故意在代码中引入微小、微妙的错误，看看你的测试是否能发现它们。在软件世界中，这些刻意的错误被称为变异体（mutants）。

多年来，工程师们一直使用一本“规则手册”来创建这些错误。这就像是一个遵循严格清单的机器人：“把每个加号改为减号，”或者“把这个数字换成零。”这种方式快速且可靠，但它制造的错误往往过于明显，不像现实生活中人类犯下的那些混乱、真实的错误。

最近，一位新玩家进入了这场游戏：大语言模型（LLMs）。把它们想象成超级聪明的 AI 助手，它们几乎读过所有写过的代码。它们不仅仅是遵循规则手册；它们理解上下文、逻辑和风格。它们可以观察一段代码并说：“啊，如果我在这里改变这个变量，看起来就像是一个疲惫的开发者会犯的错误。”

这篇论文是一场大规模的“味觉测试”，旨在看看谁更擅长创造这些伪装的错误：是传统的规则手册机器人，还是新的 AI 助手。

宏大的实验

研究人员从流行的 Java 软件项目中收集了 851 个真实的漏洞（bugs）。这些是真实开发者犯下并修复的实际错误。然后，他们要求两组人尝试重现这些漏洞：

传统主义者： 使用传统的工具（如 PIT 和 Major），它们遵循严格的规则。
AI 团队： 使用各种大语言模型（如 GPT-4o 和 DeepSeek）以及不同的“提示词”（指令）。其中一种提示词是作者设计的新方案，称为 LLMut。

他们生成了超过 700,000 个伪造的错误（变异体），以观察它们与真实漏洞的对比情况。

结果：AI 在“真实感”上胜出

研究结果非常明确，但也有一个前提条件。

1. AI 更擅长模仿真实的漏洞
想象一下你正在试图欺骗一名保安。

传统主义者放置了一个纸板人扮成的强盗。它是假的，但显然一眼就能看穿。保安（测试套件）能立刻发现它，但这并不能告诉你一个真正的强盗会如何潜入。
AI 则创造了一个看起来、走起来、说话都和真强盗一模一样的强盗。它甚至还穿着合适的衣服。

研究发现，AI 生成的变异体比传统工具更能成功“欺骗”测试，其效率高出 1.75 倍。具体而言：

传统工具捕捉到了大约 44% 的真实漏洞。
AI 工具捕捉到了大约 76% 的真实漏洞。

AI 变异体的“行为特征更接近”真实漏洞。它们不仅仅是以明显的方式破坏代码，而是以人类那种微妙、令人困惑的方式来破坏代码。这意义重大，因为这意味着 AI 正在帮助工程师发现软件中真正的薄弱环节。

2. AI 更具创造力
传统工具主要进行微小的、简单的改动（比如改变一个数字）。然而，AI 则像是一位创意作家。它进行复杂的改动，重新排列逻辑和结构，其方式是规则手册从未想过的。它引入了更广泛的“错误”，覆盖了更广的领域。

缺陷：AI 很“粗糙”

虽然 AI 在创造现实主义错误方面表现出色，但它也更加“粗糙”。

编译错误： 传统工具就像一台完美的打印机；几乎每一张纸出来的都是可读的。然而，AI 就像一个正在写作文的学生：它经常出现拼写错误或忘记闭合括号，导致生成的代码根本无法运行。大约 32% 的 AI 尝试是“不可编译的”（即损坏的代码），而传统工具的这一比例几乎为 0%。
重复： AI 有时会感到厌倦或困惑，从而生成完全相同的错误，甚至生成一个看起来与原始代码无异的“重复项”（duplicate）。传统工具很少出现这种情况。
成本： 与闪电般快速的传统工具相比，AI 生成单个变异体所需的时间更长，消耗的“Token”（AI 计算的货币单位）也更多。

“幸存”的变异体

变异测试的一个关键部分是观察那些“幸存”（测试未能捕捉到）的变异体。

传统工具经常创建一些极其微妙以至于溜掉的变异体，但这些变异体通常出现在已经被测试覆盖的代码区域。
AI 工具则倾向于在未测试区域创建变异体。这对工程师来说是一个金矿。这就像是 AI 用手电筒照向房间的阴暗角落，并对你说：“嘿，这部分还没人检查。你应该为它编写一个测试。”

结论

论文得出结论，LLM 是一个强大的新工具，用于软件测试。它们创建的变异体比我们以往拥有的任何工具都更具现实感和多样性，有助于工程师发现软件中更深层的缺陷。

然而，它们还没有准备好完全取代旧工具。它们太容易出现“拼写错误”（编译错误），而且速度较慢。根据论文的说法，理想的未来是一个混合方案：利用 AI 来生成具有现实感和创造性的漏洞，但使用传统工具来确保代码的整洁和有效。

简而言之： AI 是那个能提出天才、现实想法的创意天才，但需要一个编辑来修正它的语法。传统工具则是那些从不出错但缺乏创造力的可靠编辑。两者结合，便成了完美的团队。

技术摘要：关于变异测试中大语言模型的全面研究

问题陈述

变异测试是评估测试套件质量的一项关键技术，但由于生成有效变异体的成本过高，其工业应用在历史上一直受到限制。虽然大语言模型（LLMs）近期已被应用于工业界（例如由 Meta 和 Google 使用），用于生成更接近真实故障的变异体，但目前仍缺乏大规模、全面的实证研究来验证其相对于传统方法的性能。该领域缺乏一个关于基于 LLM 的变异测试在有效性和效率方面的最先进水平（state-of-the-art）的可靠基准。此外，变异体的生成面临三个持续存在的挑战：(1) 生成能有效模拟真实故障的变异体（耦合性）；(2) 确保变异体的语法和语义有效性（可编译性）；以及 (3) 确保变异体的多样性和可杀伤性，同时避免产生等价或重复的变异体。

研究方法

作者进行了一项全面的实证研究，将传统的基于规则和基于学习的方法与各种基于 LLM 的策略进行了对比。

评估的方法：
- 传统方法： 四种广泛研究的方法：PIT（基于规则）、Major（基于规则）、LEAM（基于学习的序列到序列）以及 $\mu$ BERT（基于预训练 BERT）。
- 基于 LLM 的方法： 两种现有的最先进方法（BugFarm 和 LLMorpheus）以及一种新设计的提示词模板，称为 LLMut。
- 模型： 本研究使用了包含 12 个 LLM 在内的多样化集合，包括闭源模型（GPT-3.5, GPT-4o, GPT-4o-Mini）和开源模型（DeepSeek-V3-671b, DeepSeek-Coder-V2-236b, StarChat-16b, CodeLlama-Instruct-13b）。
数据集： 实验在来自两个基准测试的 851 个真实世界 Java 缺陷上进行：
- Defects4J 2.0： 来自 12 个开源项目的 605 个缺陷。
- ConDefects： 来自近期编程竞赛（AtCoder）的 246 个缺陷，以减轻关于模型训练数据的训练数据泄露担忧。
指标： 研究从三个维度评估了变异体：
- 有效性： 真实缺陷检测率、平均 Ochiai 系数（语义相似度）、耦合率以及 AST 节点多样性。
- 有效性（Validity）： 可编译率、重复变异体率以及等价变异体率（通过采样进行人工验证）。
- 效率： 生成时间及 Token 消耗。
实验设计： 研究涉及生成超过 701,400 个变异体。研究包括针对提示工程（上下文长度、少样本示例）、高阶变异体生成以及不可编译变异体根因分析的敏感性分析。

核心贡献

全面评估： 首次大规模实证研究，通过多个模型和数据集，将基于 LLM 的变异体生成与传统的基于规则和基于学习的方法进行了对比。
新型提示词设计 (LLMut)： 引入了一种结合了来自真实缺陷的少样本示例和结构化 JSON 输出的新型提示词模板，并在多种模型上进行了评估。
高质量数据集： 构建了一个带有详细质量和行为指标标注的 Java 变异体数据集，并将其开放用于未来的研究。
错误分析： 对 LLM 生成的变异体中的编译错误进行了详细分类，识别了容易发生失败的具体代码上下文（例如方法调用）。

关键结果

有效性

卓越的缺陷检测： 基于 LLM 的方法在检测真实缺陷方面显著优于传统方法。基于 LLM 的方法实现了 76.47% 的真实缺陷检测率，而基于规则的技术为 44.15%（绝对增益为 32.99 个百分点）。
最佳表现者： LLMut (DS-671b) 达到了最高的检测率 91.1%，相比之下，Major 为 66.9%，PIT 为 40.1%。
语义相似度： LLM 生成的变异体具有更高的行为相似性。LLMorpheus (DS-671b) 实现了最高的耦合率（52.0%），而 LLMut 变体显示的平均 Ochiai 系数也显著更高（最高达 59.8%），而传统方法最高仅为 35.5%（Major）。
多样性： LLMs 引入了显著更多样化的语法变化。LLMut (DS-671b) 和 LLMut (DS-236b) 引入了 49 种新的 AST 节点类型，而传统的基于规则的方法 Major 仅引入了 2 种。LLMs 也执行了更复杂的代码转换，与传统方法相比，其 AST 编辑距离为 1 的变异体比例较低。

有效性（Validity）

可编译性的权衡： 虽然 LLMs 更有效，但其可编译性较低。基于规则的方法（PIT 和 Major）实现了近乎完美的编译率（分别为 100% 和 97.6%）。相比之下，基于 LLM 的方法范围从 16.4%（StarChat）到 77.6%（LLMut DS-671b）不等。
冗余性： LLMs 生成了显著更多的重复变异体（LLMs 平均为 9.38%，而基于规则的方法为 0%）以及略高的等价变异体率（LLMs 平均为 4.74%，而基于规则的方法为 1.10%）。
错误类型： LLM 生成的变异体中最常见的编译错误是“使用未知方法”（27.3%）和“代码结构破坏”（22.9%）。这些错误最频繁地与 MemberReference 和 MethodInvocation 上下文相关联。

效率

时间与成本： 基于规则的方法比 LLMs 快几个数量级（例如 PIT：0.02s/变异体），而 LLMs 的范围在 1.31s 到 9.06s/变异体之间。Token 消耗因提示工程而异；由于其结构化输出的要求，所提出的 LLMut 提示词比 BugFarm 和 LLMorpheus 更具 Token 效率。

生存变异体

对生存变异体的分析表明，基于 LLM 的方法更有可能在未覆盖的代码区域（未覆盖）生成变异体，而传统方法生成的更多是已覆盖但未能传播状态变化（未注入）或未被检测到的变异体。这表明 LLMs 在引导测试套件增强以提高覆盖率方面特别有价值。

意义与主张

本文声称，LLMs 代表了变异测试有效性的重大进步，它们生成的变异体在行为上比传统方法更接近真实缺陷，且更具多样性。这使得从业者能够更有信心地部署基于 LLM 的变异测试，以改进测试套件。

然而，作者也谦虚地指出，这些有效性的提升是以成本为代价的：即更高的非编译、重复和等价变异体率，以及增加的计算时间。本研究提供了一个最先进水平的基准，使研究人员能够开发进一步提高有效性并减轻成本的技术（例如通过更好的提示工程或混合方法）。作者强调，虽然 LLMs 擅长模拟真实缺陷，但未来的工作必须解决语法有效性和特定的错误模式（特别是方法调用中的错误），以使这些方法在工业规模的部署中更加稳健。