On the Flakiness of LLM-Generated Tests for Industrial and Open-Source Database Management Systems
本研究调查了针对四种数据库管理系统所生成的 LLM 测试的 Flakiness（测试不稳定性）问题，揭示了此类测试由于主要依赖于非保证的执行顺序，其 Flakiness 率略高于现有测试，并且 LLM 经常会从其提示词中传播现有的 Flakiness 模式，尤其是在闭源环境下。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你正在雇佣一个才华横溢、博学多才的机器人助手，来帮助你为一台复杂的机器编写安全检查程序，比如一个存储了公司所有重要信息的数据库。你给了机器人一些你编写这些检查程序的示例，于是它开始源源不断地生成数百个新的检查程序。
这篇论文就像是一份关于这些机器人编写的检查程序到底有多可靠的“成绩单”。研究人员想知道：这些机器人编写的测试运行起来是否一致，还是会表现出“不稳定（flaky）”的特性？
什么是“不稳定（Flaky）”的测试？
把“不稳定”的测试想象成一次你预期每次都会是正面的硬币投掷。
- 正常的测试： 你运行它，它显示“通过”。你再次运行它，它显示“通过”。它是可靠的。
- 不稳定的测试： 你运行它，它显示“通过”。你再次运行它，它显示“失败”。你第三次运行它，它又显示“通过”。
这对工程师来说是一场噩梦。如果测试随机失败，他们就无法判断到底是机器真的坏了，还是仅仅这个测试今天“心情不好”。这既浪费时间，又会让人们对安全检查失去信任。
实验：机器人 vs. 现实世界
研究人员设置了一个包含四种不同“机器”（数据库）的实验：
- SAP HANA： 一个庞大、复杂、闭源的工业级数据库（就像一个神秘的高科技保险库）。
- MySQL, SQLite, 和 DuckDB： 流行的开源数据库（就像广为人知的公开蓝图）。
他们使用了两种不同的“机器人大脑”（大语言模型，简称 LLM）：GPT-4o 和 Mistral。他们要求这些机器人观察现有的测试，并编写新的测试以覆盖更多场景（这个过程被称为“测试扩充”）。
主要发现
1. 机器人比人类更“躁动不安”。
研究人员发现，机器人编写的测试比人类工程师编写的测试更容易出现“不稳定”现象。虽然人类编写的测试大多很稳健，但机器人的测试出现随机失败的概率更高。
2. “顺序”混乱（主要诱因）。
机器人测试不稳定的最大原因是什么？对顺序的混淆。
想象一下，你要求机器人列出班级里的前三名学生。如果你没有告诉它如何排序（按成绩、按姓名还是按身高），机器人每次运行时可能会给你一个不同的列表。
- 人类的错误： 机器人编写的测试假设数据库总是会以特定的顺序返回结果（比如按 A-Z 排序的列表）。
- 现实情况： 除非你明确要求它们进行排序，否则数据库通常会返回随机顺序的结果。
- 结果： 测试有时会通过（因为随机顺序恰好符合机器人的猜测），有时会失败（因为顺序改变了）。这种情况发生在 63% 的不稳定机器人测试中。
3. “模仿”效应（不稳定性传递）。
这是最有趣的部分。研究人员决定玩一个把戏。他们拿了一个现有的、本身就具有“不稳定”特性的测试（一个坏例子），并将其作为编写测试的示例喂给机器人。
- 结果： 机器人不仅复制了代码，还复制了这种坏习惯。它开始编写以完全相同方式不稳定的新测试。
- 差异： 机器人对 SAP HANA（那个秘密的工业级数据库）表现出这种行为的频率比对开源数据库更高。为什么呢？因为机器人在训练阶段从未见过 SAP HANA 的代码。它极度依赖你提供的示例，即使这些示例是错误的。对于开源数据库，由于机器人见过类似的编码，所以它表现得更具独立性。
4. 编译困境。
对于复杂的闭源系统 SAP HANA，机器人编写的代码甚至无法通过“编译”（即无法作为程序正常运行）的比例大约占了一半。这就像机器人试图根据你给出的几张图纸，去编写一套从未见过的汽车发动机的指令。它产生了困惑，并出现了语法错误。
总结
论文的结论是，虽然 AI 非常擅长编写看起来自然且像人类写的代码，但它有一个盲点：它并不总是理解它正在测试的系统的“隐藏规则”。
- “顺序”陷阱： 它经常忘记，除非另有说明，否则数据库并不保证结果的顺序。
- “坏例子”陷阱： 如果你给 AI 展示一个不稳定的测试，它很可能会模仿这种不稳定性，尤其是在它对该系统了解不足的情况下。
建议： 在让你交给 AI 编写安全检查之前，你需要确保你现有的检查程序是极其稳固的。如果你给 AI 提供坏的示例，它会学会坏习惯。此外，你需要给 AI 非常具体的指令来描述系统的运作方式，因为它无法靠自己猜出那些隐藏的规则。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。