STMutants: A Mutation Testing Dataset for Structured Text Programs in Industrial Automation
本文介绍了 STMutants，这是首个公开可用的用于工业自动化中 IEC 61131-3 结构化文本程序的变异测试数据集，该数据集包含 108 个经过筛选的变异体，旨在为测试套件有效性以及针对安全关键型 PLC 软件的 AI 辅助质量保证提供可复现的研究。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你是一名工厂的质量检测员。流水线上的机器由一种叫做 PLC（可编程逻辑控制器）的特殊计算机控制。这些机器运行在一种叫做 结构化文本 (Structured Text, ST) 的特定编码语言之上。如果代码中有一个微小的错误，整个工厂可能会停工，甚至更糟——机器可能会损坏并伤及人员。
长期以来，研究人员确实有一种很好的方法来测试他们的安全检查对于常规计算机程序（如手机上的 App）是否足够有效，但他们一直缺乏针对这些工业工厂机器的标准化“模拟考试”。这就像是在从未让学生坐进半挂卡车驾驶室的情况下，试图教他们如何驾驶这种大型车辆。
这篇论文介绍了 STMutants，这是一个专门为这些工厂机器设计的全新“模拟考试”。以下是其工作原理的简单解释：
1. “制造假错误”游戏（变异测试）
为了测试一个安全检查是否有效，你不能仅仅观察代码；你必须尝试去破坏它。
- 类比： 想象一位老师给学生出一道数学题。为了看学生是否真的掌握了答案，老师会秘密地将题目中的一个数字改掉（例如，将“5”改为“6”），然后观察学生是否仍能得到正确答案。
- 在论文中： 研究人员提取了 11 个真实的工业程序，并制造了 110 个“假错误”（称为变异体）。他们改变了一些细微之处，比如将开关从“开”切换到“关”，将“大于”号改为“小于”号，或者将加号换成减号。
- 结果： 他们清理了这份名单，得到了 108 个真实的、棘手的错误，这些错误是计算机实际可以运行的。这就是 STMutants 数据集。这是首次有人为这些特定的工业代码制作并公开这样一个标准化的“假错误”列表。
2. “AI 学生”考试
有了这份假错误清单后，研究人员想看看现代 人工智能 (AI) 是否可以充当安全检查员。他们要求三种不同的 AI 模型（可以把它们想象成三个非常聪明的学生：GPT-5.2、Gemini 2.5 和 Claude Sonnet 4.5）去做两件事：
- 编写测试： 创建一个输入清单（checklist），以检查代码是否正常工作。
- 寻找错误： 利用该清单来查看它们是否能发现之前埋下的 108 个假错误。
3. 结果：谁通过了考试？
AI 模型表现得相当出色，但并非完美。
- 获胜者： Gemini 2.5 是表现最好的学生，它抓住了 94.4% 的假错误。
- 并列第二： GPT-5.2 和 Claude Sonnet 4.5 不分伯仲，分别抓住了 86.1% 的错误。
- 简单 vs 困难：
- 简单部分： AI 非常擅长发现简单的数学错误或错误的数字（比如将“5”改为“6”）。
- 困难部分： AI 在基于时间的谜题面前遇到了麻烦。其中一个特定的程序被称为 SEQUENCE 8，它就像一段复杂的舞蹈编排，其中的步骤取决于前一个步骤发生了什么。AI 会感到困惑，因为它无法在时间维度上“记住”事件的序列。它在这个特定程序中漏掉了许多错误。
4. 为什么这很重要
在这篇论文发表之前，研究人员没有一种标准化的方法来比较用于测试工业机器代码的不同工具。这就像每个人都在用不同的尺子来测量同一张桌子。
- STMutants 现在成为了那把标准的尺子。
- 它证明了 AI 可以帮助编写工厂机器的安全检查，但也表明 AI 在处理复杂的、具有时间敏感性的任务时仍需要帮助。
- 论文并未声称 AI 已经准备好取代人类工程师，但它提供了第一个坚实的“计分卡”，以帮助研究人员为未来构建更强大、更安全的工具。
简而言之： 作者构建了一个针对工业机器代码的假错误“模拟考试”，并用它来测试三种 AI。这些 AI 擅长发现简单的错误，但在处理复杂的、基于时间的逻辑时会出错。这个数据集现在已开放，供任何人用于构建更好的工厂安全工具。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。