From Business Requirements to Test Assertions: Evaluating LLM-Generated Oracles on Real Bugs
本文介绍了一项试点研究，旨在评估五种大语言模型直接从自然语言业务需求中为真实世界缺陷生成可泛化测试预言（test oracles）的能力，研究发现虽然大语言模型取得了不容忽视的成功，但其性能因模型和缺陷的不同而表现出显著差异，且在需求属性与预言准确性之间未检测到明显的线性关系。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下你是一名正在试图破解谜题的侦探，但你既没有犯罪现场的照片，也没有嫌疑人的供词。你手里有的只是受害者老板的一张模糊便条：“小偷可能拿走了那个红色的闪亮盒子，但也可能是蓝色的那个，他们肯定没拿绿色的那个。”你的任务是编写一本规则手册（即“预言机”），以便将来能准确地识破小偷。
这正是这篇论文所要解决的挑战。在软件世界中，“测试预言机”（test oracle）就是这样一本规则手册。它是测试的一部分，用于说明：“如果程序执行了 X，那么答案应该是 Y。”多年来，编写这些规则手册一直是一件令人头疼的事，尤其是对于那些使用 AI 编写代码但无法检查代码是否正确的非专业人士来说。
研究人员提出了一个问题：一个超级聪明的 AI（大语言模型，简称 LLM）能否在只读到那张模糊的老板便条的情况下，在从未见过实际代码或犯罪现场的前提下，自主编写出一本完美的规则手册？
为了验证这一点，他们建立了一个“训练营”，使用了 10 个真实的、历史性的软件缺陷（就像数字机器中的小故障）。针对每个缺陷，他们采取了巧妙的步骤：
- 他们观察了该缺陷是如何被修复的。
- 他们将该修复过程转化为一段白话文形式的“业务需求”（即那张模糊的便条）。
- 他们亲自编写了那本“完美”的规则手册（“金标准”）。
- 然后，他们要求五个不同的 AI 模型（如 DeepSeek-V3、Llama-3 和 Mistral-7B）仅根据那段白话文便条来编写它们自己的规则手册。
重大发现：AI 是一个“梦想家”，而非“现实主义者”
结果既让人惊叹，又让人觉得“慢着，别高兴太早”。
首先，AI 模型确实能够编写出可以运行的规则手册！它们并非胡言乱语。事实上，在处理某些缺陷时，它们的表现相当出色。例如，在一个关于时区的缺陷（缺陷 8）中，所有 AI 模型都得到了满分。但在一个涉及特定方式统计数字的复杂缺陷（缺陷 3）上，模型表现挣扎，得分低至 0.20（在以 1.0 为满分的量表中）。
最有趣的部分在于：AI 模型更擅长遵循“想法（意图）”，而非“代码的现实”。
当研究人员将 AI 的规则手册与“金标准”（人类编写的关于“应该发生什么”的想法）进行对比时，AI 的匹配度平均约为 88%。但当他们将 AI 的规则手册与实际的计算机代码（“被测系统”）进行对比时，匹配度下降到了约 85%。
你可以这样理解：如果你根据一张画作来描述一辆“快速行驶的汽车”，你可能会描述一辆线条流畅的红色跑车（符合画作）。但如果车库里的实际车辆是一辆锈迹斑斑的慢速卡车，那么 AI 的描述就与这辆车不符了。AI 太擅长理解需求中的“文字”了，以至于有时会忘记去检查“代码”实际在做什么。它是一个“规范梦想家”，而不是“代码现实主义者”。
“难度”之谜：并不是因为便条太令人困惑
研究人员想知道：“是不是因为便条太令人困惑或者充满了技术术语，导致 AI 失败了？”他们从 1 到 5 分对每份便条的“技术性”和“歧义性（模糊程度）”进行了评分。
他们原本预期会发现一种模式：“噢，便条越令人困惑，AI 的表现就越差。”
但事实并非如此。
研究结果显示，便条的困惑程度与 AI 的表现之间并没有明确的联系。 无论便条是极其简单还是充满技术性，AI 的表现都没有遵循某种可预测的曲线。这就像是在说，一个谜题的难度并不取决于它用了多少大词，而取决于谜题本身的逻辑。AI 挣扎于特定的逻辑类型（如复杂的数字数学或 Unicode 字符），无论问题的表达方式如何。
我们有多确定？
作者谨慎地指出，这是一个初步研究（pilot study）——一个旨在观察这种方法是否可行的初步实验。他们测试了 10 个属于同一个特定项目（Java 的 “Lang” 库）的缺陷。他们并不声称已经“解决了”这个问题，也不认为 AI 已经可以取代各处的真人测试员。
他们的结论是：
- 是的，AI 可以根据业务需求生成有用的规则手册。
- 是的，AI 在匹配需求的“意图”方面比匹配代码的“现实”做得更好。
- 不，“困惑程度”并不能预测 AI 的表现。
- 但是，AI 仍然会犯错，尤其是在处理棘手的数学或特殊的字符处理时，而且较弱的模型有时会写出甚至无法运行的代码。
底线总结
这篇论文表明，AI 是一个很有前景的助手，可以根据业务需求编写测试规则，它就像一个完美理解老板愿景、但可能会忽略机器微小且混乱细节的得力实习生。它不是解决一切问题的魔杖，但它是一个强大的新工具，如果我们在处理数字变得棘手时记得复核它的工作，它可能会帮助我们更快地捕捉到缺陷。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。