想象一下你是一位大师级厨师，正试图教一位非常有天赋但有点手忙脚乱的副厨如何烹饪一道完美的菜肴。你给了副厨一份食谱（代码），并要求他写一个“味觉测试”（单元测试）来证明这道菜是成功的。在软件的世界里，这些“味觉测试”是用来检查特定代码是否按预期运行的小程序。多年来，人类一直通过手工编写这些测试，但这是一项枯燥的工作。最近，我们开始使用人工智能，特别是大语言模型（LLM）来替我们编写这些测试。你可以把 LLM 想象成一个超级聪明的机器人，它读过几乎世界上所有的食谱，并且可以瞬间写出新的菜谱。

然而，这里有一个陷阱。虽然这些 AI 厨师很擅长编写味觉测试的“故事”，但它们经常忘记“厨房规则”。它们可能会忘记拿取正确的食材（导入/imports）、使用错误的锅具（框架/frameworks），或者尝试在没开火的情况下就开始烹饪（缺失设置/setup）。在现实世界中，如果一个测试无法编译——意味着它甚至无法启动运行，因为存在这些小错误——那么无论它的逻辑多么聪明，它都是无用的。这篇论文探讨了为什么 AI 生成的测试在混乱的现实厨房中经常失败，并提出了一种帮助 AI 成功的新方法。

问题所在：忘记了锅具的 AI 厨师

这篇论文的作者们（来自天津大学和华为云的一个团队）注意到，在处理大型工业软件项目时，他们遇到了令人沮丧的问题。他们尝试使用最新的 AI 工具来自动编写单元测试，虽然 AI 可以生成聪明的测试想法，但在实践中结果往往是一场灾难。

想象一下，你要求一个机器人搭建一座乐高城堡。机器人可能会设计出非常精妙的塔楼和旗帜，但如果它忘了包含底座，或者试图使用一个不匹配的零件，整个建筑就会坍塌。用软件术语来说，AI 经常无法让测试“编译”。这是因为现实世界的软件就像一座巨大的、互联互通的城市。一段代码（“目标方法”）可能依赖于库、其他文件以及特定的框架，而 AI 因为只看到了被要求测试的那一段代码，所以并不了解这些背景。

研究人员发现 AI 不断失败的主要原因有三个：

1. 上下文失配（Context Mismatch）： AI 在猜测厨房的规则（比如使用哪种测试框架），而不是被告知规则。它会猜错食材，导致立即报错。
2. 脆弱的脚手架（Fragile Scaffolding）： AI 试图从头开始构建整个测试结构，包括设置和导入。这就像要求机器人同时搭建底座和城堡；它经常把底座搞错，导致整个城堡倒塌。
3. 昂贵的修复成本（Costly Repairs）： 当测试失败时，通常的做法是要求 AI 再试一次，一次又一次。这就像是把机器人送回绘图板前十次，只为了修好一颗丢失的螺丝。这耗费了大量时间，消耗了大量的计算资源（token），而且机器人往往只是在重复同样的错误。

解决方案：CATGen，智能厨房助手

为了解决这个问题，团队构建了一个名为 CATGen 的新工作流。与其让 AI 去盲目猜测一切，他们决定扮演一个严格但乐于助人的厨房经理，在厨师开始烹饪之前，先把工作台布置得完美无缺。

他们的方法包含四个主要步骤，他们称之为“上下文感知工作流”：

1. 收集上下文（Gathering the Context）： 在 AI 编写任何一行代码之前，CATGen 会扫描整个项目以寻找所需的“食材”。它会查看构建文件，以确定正在使用哪些测试框架（如 JUnit）和模拟库（如 Mockito）。它还会检查代码与其他文件的交互情况。这确保了 AI 明确知道有哪些工具可用。
2. 构建骨架（Building the Skeleton）： CATGen 不再要求 AI 从头构建整个测试类，而是先构建一个“骨架”。你可以把它想象成预先组装好的乐高底座和城堡框架。它使用严格的规则来确保导入、类名和设置方法 100% 正确。随后，AI 仅被要求填充这个预建的、安全的结构中的“肉”——即实际的逻辑部分。
3. 填补空白（Filling in the Gaps）： 现在 AI 开始编写测试方法，但由于它是在一个完美的骨架内工作，因此产生结构性错误的概率大大降低。它只需专注于测试的逻辑本身。
4. 安全网（静态分析/Static Analysis）： 如果 AI 仍然犯了一些小错误（比如漏掉了一个分号或变量名错误），CATGen 不会要求 AI 重试，而是使用“静态分析”工具。这就像是一个针对代码的拼写检查器，能够根据项目的规则立即修复常见错误。它速度快、具有确定性，且不会浪费时间让 AI 再次进行猜测。

结果：更快、更聪明、且真正有效

该团队在真实的工业项目（这些项目非常复杂）以及著名的开源基准测试集 Defects4J 上测试了 CATGen。他们将其与另外六种顶尖方法进行了对比，包括传统的基于搜索的工具和其他 AI 方法。

结果令人印象深刻。在工业环境下，CATGen 实现了 91.83% 的编译成功率。这意味着在 100 个生成的测试中，超过 91 个能立即正常工作。相比之下，排名第二的 AI 方法仅能达到约 67%，而传统工具（EvoSuite）达到了 75.80%。

但不仅仅是能否运行的问题，还有质量问题。CATGen 覆盖了更多的代码行（70.10% 行覆盖率）和更多的逻辑分支（63.92% 分支覆盖率），优于其他方法。或许最重要的一点是，它的效率极高。当其他方法需要数千秒和数百万个“token”（AI 计算的货币）来生成和修复测试时，CATGen 仅用 1,836 秒 就完成了整个任务，且仅使用了 203,000 个 token。这是一个巨大的减幅——比其他方法减少了约 50% 到 80% 的时间和成本。

研究人员还进行了“消融实验”（Ablation Study），即拆解机器以观察每个部件的作用。他们发现，如果移除“骨架”步骤，成功率会显著下降；如果移除“静态分析”修复步骤，成功率甚至会大幅崩溃。这证明了他们新系统中的每个部分都是必不可少的。

总结

这篇论文给出的核心启示是：让 AI 在现实世界中发挥作用，不仅仅是编写一个更好的“提示词”（Prompt，即你给 AI 的指令），更重要的是围绕 AI 构建一个更好的系统。通过为 AI 提供正确的上下文，为它搭建一个坚实的基础，并使用快速的非 AI 工具来修复微小的错误，我们可以让 AI 生成的测试真正变得有用。

作者认为，要让 AI 在软件工程领域真正发挥作用，我们不能再把它仅仅视为一个能解决一切问题的“魔杖”。相反，我们应该把它视为一个更大、更完善的工程化系统中的强大组件。正如他们所言，可靠的测试生成不仅取决于“提示工程”（Prompt Engineering），更取决于“系统性的工程支持”。最终，CATGen 展示了当你在给 AI 厨师提供了一个合适的厨房和清晰的食谱时，它确实能做出非常棒的测试。