Using Large Language Models for Black-Box Testing of FMU-Based Simulations
本文提出了一种人机协同方法，利用大语言模型自动生成结构化测试场景和断言，以用于功能样机单元（FMU）的黑盒测试，旨在降低动态仿真模型中的手动工作量并提升结果的可解释性。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你拥有一台崭新的、高科技的船舶发动机，但它被锁在一个黑盒子里。你无法看到内部的齿轮、电线或代码。你只有一份说明书，上面写着：“这个盒子输入水和燃料，输出热量和动力。”你的任务是确保这个黑盒完美运行，却永远不能打开它。这就是测试FMU（功能样机单元）所面临的挑战，FMU 是工程师用于模拟复杂系统的标准数字模型。
本文提出了一种巧妙的解决方案，利用人工智能（大型语言模型）作为“创意助手”，但有一条至关重要的规则：人类专家必须始终掌控方向盘。
以下是他们的“人在回路”（Human-in-the-Loop）方法如何运作的分解步骤：
1. 设置：阅读说明书
首先，人工智能阅读黑盒的“说明书”（技术规格和数据文件）。它像图书管理员一样，列出输入项（如温度或压力）和输出项（如油温或阀门位置）。
- 类比：这就像人工智能阅读蛋糕预混料包装盒上的配料表，以了解它能做什么，而无需知道内部的秘密配方。
2. 头脑风暴：编写“如果”故事
接下来，要求人工智能设想不同的测试场景。它以一种名为“给定 - 当 - 那么”（Given-When-Then）的简单故事格式编写这些内容。
- 给定：发动机正常运行。
- 当：突然，船只遭遇风暴（输入发生变化）。
- 那么：发动机应保持冷却，不过热（预期结果）。
- 类比：人工智能就像一位创意作家，为电影构思情节。它提出：“如果主角感到害怕会怎样？如果下雨会怎样？”它生成许多不同的“如果”故事，以观察系统如何反应。
3. 现实核查：人类专家
这是最关键的部分。人工智能的“故事”仅仅是想法。一位人类专家（了解真实发动机如何运作的领域专家）会审查这些想法。
- 类比：想象人工智能是一位初级厨师，提出疯狂的食谱。主厨（人类）品尝这个想法后说：“不，我们不在汤里放巧克力，”或者“是的，那个香料混合物听起来很完美。”人类过滤掉疯狂的想法，保留现实可行的想法。
- 为何重要：研究发现，如果让人工智能在没有人类检查的情况下随意运行，会产生约 50% 无用或错误的测试。有了人类检查，准确率跃升至近 100%。
4. 执行：运行模拟
一旦人类批准了测试想法，人工智能就会将它们转化为精确的指令（数值、时间和特定值）。然后，它运行模拟数千次，将这些输入喂给黑盒，并观察输出。
- 类比：此时，人工智能变成了舞台经理，按照导演（人类）批准的方式精确设置灯光和音响，并上演剧目，以观察演员（系统）是否表现正确。
5. 裁决：通过了吗？
系统检查结果是否与故事的“那么”部分匹配。温度是否保持在限制范围内？阀门是否按正确方向移动？
- 类比：这就像裁判吹哨。如果发动机在不该过热的时候过热，测试失败。如果它表现完美，测试通过。
秘诀：人工智能的两种不同“性格”
作者注意到，要实现这一目标，人工智能需要处于两种不同的心境：
- 创意模式（高随机性）：在构思想法时，他们要求人工智能大胆且多样化，以免它陷入反复思考同一测试的困境。
- 严格模式（低随机性）：在将这些想法转化为实际数值并运行测试时，他们要求人工智能精确且枯燥，确保数学计算准确无误。
结果
他们在润滑油冷却系统（一种防止船舶发动机油过热的系统）上测试了这种方法。
- 他们将人工智能辅助的测试与完全由人类创建的测试进行了比较。
- 发现：人工智能生成的测试在发现“缺陷”或潜在故障方面，与人类制作的测试一样有效。
- 关键点：人工智能速度快，能生成大量想法，但它需要人类来过滤掉无稽之谈。没有人类，人工智能会犯错；有了人类，它就成为节省时间和精力的强大工具。
简而言之：本文表明，你可以利用人工智能帮助工程师测试复杂的、不可见的计算机模型，但前提是将人工智能视为需要高级经理复核其工作的得力实习生。你并非取代专家，而是为他们配备了一位超高速的助手。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。