💻 computer science

Constrained Co-evolutionary Metamorphic Differential Testing for Autonomous Systems with an Interpretability Approach

本文介绍了 CoCoMagic，这是一种新颖的自动化测试框架，它采用约束协同进化搜索和可解释性方法，有效生成逼真的测试用例，以识别和诊断自主系统不同版本之间的行为差异。

原作者： Hossein Yousefizadeh, Shenghui Gu, Lionel C. Briand, Ali Nasr

发布于 2026-05-18

📖 1 分钟阅读☕ 轻松阅读

原作者： Hossein Yousefizadeh, Shenghui Gu, Lionel C. Briand, Ali Nasr

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你拥有一辆自动驾驶汽车，它像智能手机接收新软件版本一样，持续学习并获取更新。问题在于，每次汽车获得更新时，都存在某种原本运行完美的功能突然失效或行为异常的风险。如何测试这一点？你无法只是让它在各地行驶并寄希望于好运，也无法始终准确预测每一种交通状况（例如行人在街道上四处奔跑的拥挤街道）下“完美”的反应应该是什么。

本文介绍了一种名为CoCoMagic的新工具，旨在解决这一问题。可以将 CoCoMagic 想象成一个专为自动驾驶汽车设计的超级智能、自动化的“找不同”游戏主持人。

以下是其工作原理，分解为简单概念：

1. “找不同”游戏（差异测试）

通常，测试软件时你会问：“这是对还是错？”但对于自动驾驶汽车而言，往往很难界定什么是“正确”的答案。相反，CoCoMagic 提出了一个不同的问题：“新版本汽车的行为是否与旧版本不同？”

它让旧车（“参考”）和新车（“测试”）在完全相同的虚拟场景中行驶。如果旧车为行人减速而新车却加速，CoCoMagic 就会将其标记为“分歧”。它不一定需要知道在真空中加速是否错误；它只需知道两个版本的行为存在差异，这就构成了需要调查的红色警报。

2. “如果……会怎样”场景（蜕变测试）

有时，仅行驶相同路线不足以发现漏洞。CoCoMagic 使用一种称为蜕变测试的技巧。想象你有一个汽车在阳光下行驶的场景。CoCoMagic 随后创建一个“后续”场景，其中突然开始下雨，或者有行人踏上道路。

它会检查一致性规则。例如，一条规则可能是：“如果开始下雨，汽车应该减速。”

旧车：看到下雨，减速。（良好）
新车：看到下雨，继续加速。（不良分歧）

CoCoMagic 自动生成成千上万种此类“如果……会怎样”的变化，以查看新车是否破坏了这些基本安全规则。

3. “进化”搜索（协同进化）

驾驶世界极其广阔。天气、交通和道路类型的组合无穷无尽。你无法测试所有情况。CoCoMagic 采用进化方法，类似于自然界选择最适应的物种。

它创建一个测试场景的“种群”（例如一组不同的驾驶情境）。
它同时创建一个变化的“种群”（例如添加行人或改变天气）。
这两组进行“交配”和“变异”，以生成新的、更有趣的场景。
系统保留那些能揭示新旧汽车之间最大差异的场景，并淘汰那些无趣的场景。随着时间的推移，它进化出一套高效的测试集，非常擅长发现隐藏的漏洞。

4. 保持现实性（约束）

自动化测试的一个主要问题是，它经常创造出 impossible 的情况，例如汽车在天花板上行驶，或行人凭空出现。这些情况没有用处，因为它们不会在现实生活中发生。

CoCoMagic 拥有一个**“现实检查”过滤器**。它查看真实汽车在真实道路上行驶的数据。它强制其搜索保持在这些现实世界条件附近。这就像在说：“帮我找出漏洞，但只找那些在繁忙城市的一个周二下午实际可能发生的漏洞，而不是在幻想世界中。”这确保了测试对工程师而言既实用又有用。

5. “侦探”报告（可解释性）

当 CoCoMagic 发现差异时，它不会只说“发现错误”。它像侦探一样行动。它使用一种称为RuleFit的技术，撰写一份简单、人类可读的报告，解释为何会出现这种差异。

它不会呈现令人困惑的代码墙，而是可能会说：

“新车仅在‘下雨’且‘行人站在道路左侧’时未能减速。”

这有助于开发人员立即理解导致问题的具体条件，从而进行修复。

结果

作者在名为Carla的模拟器上，对顶级自动驾驶系统测试了 CoCoMagic。他们发现：

它能发现更多漏洞：与标准测试方法相比，它发现了汽车版本之间显著更多的差异。
它能更快发现：它使用更少的计算机时间就发现了这些漏洞。
它能发现真实的漏洞：它生成的测试比其它方法生成的测试更接近现实世界的驾驶情境。
它能自我解释：它生成的规则易于人类专家理解，并可用于优先处理修复工作。

简而言之，CoCoMagic 是一种智能、高效且现实的方法，可确保自动驾驶汽车在获得更新时，不会意外地忘记如何安全驾驶。它帮助工程师在“找不同”的时刻演变为现实世界的事故之前将其捕捉到。

技术摘要：用于自主系统差分变异测试的 CoCoMagic

1. 问题陈述

自主系统（ASs），特别是自动驾驶系统（ADSs），经常进行涉及模型重训练、超参数调整和架构变更的迭代更新。这些更新可能引入先前版本中不存在的意外行为退化或安全违规。测试这些系统面临三大主要挑战：

预言机问题（Oracle Problem）： 在复杂、开放的环境中，为每个场景定义一个真实预期的输出往往不可行。
场景真实性： 人工构建的边界案例虽然可能暴露弱点，但往往缺乏实际相关性。对于安全评估而言，在类似真实世界运行条件的场景中发生的故障更为关键。
可解释性： 当检测到不同版本之间的行为差异时，开发人员往往缺乏关于驱动这些分歧的根本原因（例如，特定的环境因素或交互）的可操作见解。

现有的基于搜索的测试方法在高维空间中往往难以兼顾计算效率，且未能系统地比较版本以隔离由更新引起的退化。此外，标准的差分测试（DT）虽然能识别输出差异，但在缺乏测试预言机的情况下无法评估安全影响；而标准的变异测试（MT）虽然解决了预言机问题，却可能无法高效地针对特定版本的差异进行定位。

2. 方法论：CoCoMagic

作者提出了CoCoMagic（可解释案例的协同进化差分与变异自动生成器），这是一个将差分测试、变异测试和协同进化算法（CCEA）与可解释性层相结合的框架。

2.1 核心框架

CoCoMagic 将测试用例生成形式化为一个约束搜索问题，旨在寻找源场景（ $s$ ）和变异扰动（ $q$ ）的对，以最大化参考版本（ $V_{ref}$ ）和测试版本（ $V_{test}$ ）之间变异关系（MR）违规程度的差异。

差分测试（DT）： 比较两个 AS 版本在相同输入下的输出，以检测行为差异。
变异测试（MT）： 通过定义 MR 来解决预言机问题，MR 是输入与预期输出关系之间的关系（例如，“如果行人出现，速度应降低”）。当输出关系不成立时，即发生违规。
协同进化算法（CCEA）： 搜索空间被分解为两个协同进化的种群：
1. 源场景（ $P_s$ ）： 代表初始运行条件。
2. 扰动（ $P_q$ ）： 代表源自 MR 的变换（例如，添加行人、改变天气）。
  来自两个种群的个体协作形成完整的解决方案（场景 - 扰动对）。个体的适应度由其与相反种群成员的最佳协作表现决定。

2.2 关键机制

适应度函数： 目标是最大化 $V_{ref}$ 和 $V_{test}$ 之间 MR 违规程度的绝对差值：
$\text{Diff}(s, q) = | \max(E(s, q, V_{test}), 0) - \max(E(s, q, V_{ref}), 0) |$
其中 $E$ 量化 MR 违规的程度。
约束搜索与真实性： 为确保生成的测试用例具有实际相关性，搜索受到从真实系统运行中收集的一组执行场景（ $S$ ）的约束。一个差异度度量会对那些与这些真实场景显著偏离的解决方案施加惩罚，从而引导搜索趋向于运行上合理的条件。
运行时初始化（RI）： 初始种群使用从执行场景集 $S$ 中采样的场景进行种子化，而非随机生成，以加速向真实故障模式的收敛。
可解释性（根本原因分析）： 生成后，作者采用RuleFit算法。RuleFit 在已识别的测试用例上训练模型，以提取人类可读的规则（例如，“如果速度 > 70km/h 且有大雾，则违规增加”）。这解释了为什么版本会出现分歧，将特定的场景属性与观察到的行为差异联系起来。

3. 主要贡献

新颖的测试方法： 引入 CoCoMagic，该方法在协同进化框架内独特地结合了 MT 和 DT，专门针对 AS 版本之间的行为差异。
真实性引导的搜索： 整合约束和运行时初始化策略，以确保生成的测试用例反映真实世界的运行条件，解决自动化测试中的“真实性差距”。
可解释性集成： 结合基于 RuleFit 的分析层，将高维测试结果转化为可操作、人类可读的规则，用于调试和安全评估。
实证验证： 在 Carla 模拟器中对工业级 ADS（InterFuser）进行了全面评估，证明了其优于基线搜索方法。

4. 实验结果

作者在 Carla 模拟器中使用 InterFuser ADS 评估了 CoCoMagic，对比了随机搜索（RS）和标准遗传算法（SGA）。

有效性（RQ1）： CoCoMagic 识别出的揭示 MR 违规的不同测试用例数量显著多于基线方法。其平均适应度（差异严重程度）比 SGA 高出53%，比 RS 高出40%。
效率（RQ2）： CoCoMagic 更快地发现不同的解决方案，其曲线下面积（AUC）比 SGA 提高了126%，比 RS 提高了169%。此外，与基线相比，其执行时间减少了约17%，部分原因是它生成了更少的无效（导致模拟器崩溃）场景。
约束和初始化的影响（RQ3）：
- 应用约束和运行时初始化（RI）显著提高了平均执行距离（AED），使测试用例与真实世界执行场景的相似度提高了约50%。
- 然而，这种对真实性的关注导致了权衡：发现的独特解决方案总数减少（结合 RI 和约束后最多减少约 34%），且找到的最极端边界案例的严重程度略有下降。
可解释性（RQ4）：
- 准确性： RuleFit 的准确性与复杂的黑盒模型（随机森林和 GBDT）相当，同时生成了一组紧凑的规则（约 29 条规则，而 GBDT 有数千条路径）。
- 专家验证： 工业专家对生成的规则的可理解性给予了高度评价（平均得分 4.0/5.0），并认为其对于优先排序测试条件很有用（平均得分 3.8/5.0）。

5. 意义与主张

该论文声称，CoCoMagic 为演进中自主系统的差分测试提供了一种高效、有效且可解释的方法。其意义在于：

弥合预言机差距： 通过使用 MR，它能够在不需要真实输出验证的情况下验证安全属性。
版本感知测试： 与仅测试单个版本的先前方法不同，CoCoMagic 明确针对版本之间的差异进行优化，直接支持回归测试和更新验证。
可操作见解： 可解释性组件超越了简单地标记故障，转而解释导致更新性能退化的具体条件（例如，天气、速度、物体接近度），从而支持有针对性的调试。
实际适用性： 使用约束确保测试工作集中在部署中可能出现的场景上，提高了该测试过程对安全关键系统的实际价值。

作者保持了谦逊的立场，承认虽然他们的方法提高了真实性和效率，但在探索搜索空间的全部广度（发现罕见、严重的边界案例）与专注于真实、基于运行条件的场景之间，存在固有的权衡。他们将 CoCoMagic 定位为一种支持而非取代人类在安全评估中判断的工具。