💻 computer science

Simulator Ensembles for Trustworthy Autonomous Driving Systems Testing

本文介绍了 MultiSim，这是一种基于搜索的测试方法，它利用仿真器集成来优先识别并发现自动驾驶系统的仿真器无关型失效场景，证明了其相比于单仿真器或独立多仿真器测试方法具有显著更高的有效性和效率。

原作者： Lev Sorokin, Matteo Biagiola, Andrea Stocco

发布于 2026-07-10

📖 1 分钟阅读☕ 轻松阅读

原作者： Lev Sorokin, Matteo Biagiola, Andrea Stocco

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你正在训练一辆机器人汽车自动驾驶。你不能直接把它放到真实的公路上，那样太危险也太昂贵了。所以，你构建了一个数字游乐场——一个视频游戏世界，让这辆车可以在其中发生碰撞、打滑，并从错误中学习。这就是工程师们所称的模拟器（simulator）。

但棘手的地方在于，并不只有一种视频游戏引擎。有很多种，就像不同的游戏机品牌一样。就像游戏在 PlayStation 和 Xbox 上的表现或外观可能会略有不同一样，这些驾驶模拟器有时也会产生分歧。

问题所在：“不稳定”的游戏机

这篇论文指出了一个令人沮ros的问题：有时，机器人汽车在一种模拟器中表现完美，但在另一种模拟器中却会发生碰撞，即使道路看起来完全一样。这被称为**“不稳定性”（flakiness）**。这就像你在玩一个游戏关卡时，一个显示“游戏结束”，但当你尝试完全相同的操作在另一台游戏机上时，它却显示“关卡完成”。

如果你只在一个模拟器上测试你的机器人汽车，你可能会认为你发现了一个危险的缺陷，但实际上那只是特定游戏引擎的一个小故障。或者更糟的是，你可能认为汽车是安全的，因为它在一个引擎中通过了测试，但它在另一个引擎中其实会发生碰撞。这使得测试很难让人信任。

解决方案：“模拟器委员会”

作者 Lev Sorokin、Matteo Biagiola 和 Andrea Stocco 提出了一种名为 MultiSim 的新测试方法。与其只问一个模拟器：“这条路安全吗？”，不如同时询问一整个模拟器团队。

把这想象成一场选秀节目的评委小组。

旧方法（单模拟器）： 你问一位评委。如果他们说“你被解雇了”，你就解雇这个表演者。但也许那位评委只是讨厌你的音乐风格。
旧的多路方法 (DSS)： 你分别询问两位评委。如果两人都说“被解雇”，你就解雇这个表演者。但你必须等待两场独立的表演都结束后才能做出决定。
新方法 (MultiSim)： 你让表演者同时站在所有评委面前。只有当所有评委都一致认为表现很差时，你才会保留该表演。如果一位评委说“很棒！”，而另一位说“糟糕！”，系统就会暂时忽略这个表演，因为这种分歧表明问题可能出在评委（模拟器）身上，而不是表演者（汽车）身上。

通过同时在多个模拟器上运行测试，MultiSim 过滤掉了由模拟器故障引起的“虚假”失败。它只保留那些在所有地方都会发生的“真实”失败。

他们的发现

团队在三种不同的机器人汽车（使用不同的脑架构，如 CNN 和 Transformer）和三种不同的模拟器（BeamNG、Donkey 和 Udacity）上测试了这个想法。

以下是数据说明：

更擅长发现真实问题： 与仅使用单个模拟器进行测试相比，MultiSim 多发现了 66% 的“模拟器无关型”（simulator-agnostic）失败（即在所有模拟器中都会发生的真实问题）。
击败竞争对手： 与之前的最佳方法（称为 DSS）相比，MultiSim 发现的有效失败次数最多可达 3.4 倍。
成功率： 在所有的测试中，MultiSim 识别出的发现中有 70% 是有效失败。相比之下，单模拟器方法仅为 47%，而旧的多模拟器方法 (DSS) 为 65%。
速度： 它并没有拖慢进度。找到第一个真实失败所需的时间与其他方法大致相当，尽管结果的波动稍大一些。

“魔力水晶球”升级版

研究人员还尝试让 MultiSim 变得更聪明。他们训练了一个机器学习模型（“代理模型”）来充当“水晶球”。在运行沉重且缓慢的模拟器之前，这个水晶球会预测：“嘿，这两个模拟器会对这条路产生分歧。先别急着运行它！”

这个技巧效果很好。它帮助系统跳过了浪费时间的测试，并将精力集中在有趣的测试上。在他们的测试中，这个升级使发现的有效失败数量平均增加了约 38%，并使搜索过程更加稳定。

他们没有证明什么

了解这篇论文并未声称的内容很重要。

它不是解决一切问题的万灵药： 论文明确排除了“你可以直接忽略模拟器差异”的想法。你必须检查这些差异。
它并非针对所有汽车的终极方案： 他们针对三种特定类型的车道保持型汽车进行了测试。他们暗示这可能适用于紧急制动等其他系统，但尚未证明这一点。
它并没有修复模拟器： 他们没有深入到模拟器的代码中去修复导致分歧的 Bug。他们只是构建了一个能够绕过 Bug 的系统，即通过忽略那些意见不一的情况来工作。
它是基于模拟的： 结果是基于在这些数字世界中运行测试得出的。他们还没有证明这在真实的道路上的真实汽车上同样有效，尽管目标是让现实世界的测试变得更安全。

底线

论文表明，如果你想发现自动驾驶汽车中真正的危险缺陷，不要只信任一个视频游戏引擎。要信任一个团队。通过在一组模拟器中运行测试，并且只听取那些达成一致的意见，你可以更快、更有信心地发现真正的危险。这是在汽车真正驶上街道之前，一种更聪明的“假设”游戏玩法。

技术摘要：用于可靠自动驾驶系统测试的模拟器集成（Ensembles）

1. 问题陈述

基于场景的测试是验证自动驾驶辅助系统（ADAS）并减少高成本实车路测的标准方法。然而，现有研究表明，测试执行结果往往具有不一致性。这些不一致性主要源于两个方面：

测试缺陷（Test Flakiness）： 非确定性行为，即即使在同一个模拟器内，相同的测试场景也会产生不同的通过/失败结果，这通常是由时间、同步或环境不确定性引起的。
模拟器分歧（Simulator Disagreement）： 不同的模拟器（例如 BeamNG、Udacity、Donkey）可能会由于物理引擎、渲染或实现细节的不同，对相同的测试输入产生迥异的结果。

目前缓解这些问题的手段非常有限。一些方法会丢弃不稳定的测试，而另一些方法（如“数字孪生兄弟”框架，DSS）则是在不同的模拟器上运行独立的测试生成任务，并在事后进行结果合并。这种事后合并效率低下，因为搜索算法是基于单一模拟器的反馈来演化测试用例的，这可能导致在这些失败被过滤掉之前，就浪费了大量资源在模拟器特有的（无效）失败上。

核心问题在于缺乏一种能够在搜索过程中直接识别模拟器无关型失败（即代表真实缺陷的有效失败）而非在搜索结束后进行识别的测试方法论，同时还要保持高效。

2. 方法论：MultiSim

作者提出了 MultiSim，这是一种新型的基于搜索的软件测试（SBST）方法，它在测试生成过程中将多个模拟器视为一个集成（Ensemble）。

2.1 多目标优化公式化

MultiSim 将测试问题重新表述为一个多目标优化（MOO）问题。系统不再是在单个模拟器中评估测试输入，而是在一个模拟器集成中同时评估该输入。测试输入 $x$ 的适应度向量定义为：
$F(x) = (f_1(x), \dots, f_j(x), f_d(x), f_a(x, A))$
其中：

$f_k(x)$ : 从模拟器 $S_k$ 中获得的适应度值（例如，横向偏差）。
$f_d(x)$ : 所有模拟器之间适应度值的平均距离。最小化这一项会驱动搜索趋向于模拟器达成一致的场景。
$f_a(x, A)$ : 当前测试输入到存档 $A$ 中已发现测试之间的距离。最大化这一项可确保搜索空间的差异性。

通过最小化适应度值（表示失败）和模拟器之间的距离，该算法优先考虑模拟器无关型失败——即在不同模拟环境下一致失败的场景。

2.2 测试表示与算子

表示法： 道路场景使用通过 Catmull–Rom 插值生成的控制点进行建模。搜索空间由段角度和长度进行参数化。
遗传算子： 该方法采用了针对道路几何结构调整的标准遗传算子（选择、交叉、变异）。交叉操作在父代道路之间交换道路段，而变异操作则随机改变段的角度或长度。无效道路（例如，与地图边界相交的道路）会被重新生成。
判别函数（Oracle Function）： 如果最大横向误差（XTE）超过预设阈值（例如 2.2 米），则认为测试失败，这表明车辆已偏离车道。

2.3 验证策略

为了确认识别出的失败确实是模拟器无关型的，作者采用了验证阶段：

特征映射： 将生成的失败测试映射到由道路曲率和转弯次数定义的特征空间中。
重执行： 在未在搜索阶段使用的模拟器上多次重执行失败测试（以消除不稳定性影响）。
阈值判定： 只有当测试在所有验证模拟器中保持一致失败（例如 100% 失败率）时，才被归类为“有效失败”。

2.4 代理模型增强 (RQ3)

为了提高效率，作者提出了一种使用代理模型（机器学习分类器）的增强方案。该模型可以预测一个候选测试输入是否会导致模拟器分歧。如果预测的分歧概率超过阈值，该候选输入将在运行昂贵的完整模拟之前被丢弃。这使得搜索能够专注于高价值的输入空间区域。

3. 实证研究与结果

该研究使用三个复杂度递增的车道保持 ADAS 模型，将 MultiSim 与 SingleSim（单模拟器测试）和 DSS（数字孪生兄弟）进行了对比评估：

DAVE-2: 卷积神经网络（CNN）。
ViT: 基于 Vision Transformer 的架构。
TCP: 混合轨迹控制策略网络。

实验使用了三个模拟器：BeamNG、Udacity 和 Donkey，并进行了各种配对测试（BD, BU, UD）。

3.1 有效性 (RQ1)

有效失败率： MultiSim 实现了平均 70% 的有效失败率，优于 DSS (65%) 和 SingleSim (47%)。
配置性能： BD (BeamNG + Donkey) 配置在 DAVE-2 (99%) 和 Viit (98%) 上取得了最高的有效率。BU (BeamNG + Udacity) 配置在 TCP (80%) 上表现最好。
统计显著性： Wilcoxon 秩和检验确认，MultiSim 在生成有效失败方面显著优于 SingleSim 和 DSS，且在大多数比较中具有较大的效应量。

3.2 效率 (RQ2)

搜索预算： MultiSim 展示了与 SingleSim 相当的效率，在找到第一个有效失败时需要相似的搜索预算。
与 DSS 的比较： MultiSim 通常显示出比 DSS 更高的效率，特别是在 BD 配置中，它比事后处理的 DSS 方法更快地找到了有效失败。

3.3 预测与代理模型 (RQ3)

分类器性能： 随机森林分类器在预测模拟器分歧方面表现最佳（F-1 分数为 74–83%，AUC 为 0.81–0.89）。
影响： 集成代理模型（BD-P）使有效失败的数量平均增加了约 38%，并降低了找到第一个有效失败所需的搜索预算的波动性。它成功绕过了低价值的模拟，同时没有牺牲对有效缺陷的发现。

4. 核心贡献

MultiSim 方法： 一种新型的基于搜索的测试框架，它将多个模拟器直接整合进优化循环中，将模拟器一致性视为一等目标，以识别模拟器无关型失败。
实证验证： 通过广泛的研究证明，MultiSim 在有效失败识别率方面优于单模拟器测试和最先进的 DSS 框架。
代理模型集成： 展示了可以使用机器学习预测器在搜索过程中过滤模拟器分歧，从而提高有效性和效率。
开放复现： 作者提供了源代码、实验数据和测试生成方法，以鼓励开放研究。

5. 重要性与主张

本文主张，在搜索过程中结合模拟器集成是自动化 ADAS 测试中进行跨复制（cross-replication）的一种极具前景的方法。其重要性在于将范式从事后验证模拟器结果转向过程中的共识构建。

可靠性： 通过优先考虑模拟器达成一致的场景，MultiSim 降低了识别出仅为特定模拟器实现产物的失败（模拟器相关型失败）的风险。
效率： 该方法避免了生成后再丢弃模拟器特定失败的低效过程，这是像 DSS 这样的后处理方法的常见问题。
泛化性： 虽然研究侧重于车道保持，但作者指出，其模块化架构（基于 OpenSBT）以及模拟器耦合的概念可以推广到其他 ADAS 功能（如紧急制动）和更高等级的自动驾驶，前提是能够建立一致的场景表示。

作者对研究范围保持谦逊，承认最优的模拟器配对取决于具体的受测系统（SUT）及其主要的失效模式（例如，控制相关型 vs 感知相关型）。他们还指出，虽然该方法缓解了模拟器分歧的症状，但它并不能从根本上解决分歧的根源，后者需要对模拟器代码进行更深入的检查。