🤖 machine learning

SeFaR: Semantic Feature-aware Robustness Testing of Deep Neural Networks

本文提出了 SeFar，这是一个利用层次化概念建模和生成式人工智能来系统性地测试深度神经网络语义鲁棒性的新颖框架，该框架通过生成逼真的、保持需求的扰动，并通过自适应反馈过程来识别导致失效的特征。

原作者： Nusrat Jahan Mozumder, Divya Gopinath, Corina Pasareanu, Matthew Dwyer

发布于 2026-08-12

📖 1 分钟阅读☕ 轻松阅读

原作者： Nusrat Jahan Mozumder, Divya Gopinath, Corina Pasareanu, Matthew Dwyer

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一个机器人开车，或者在像火星这样多岩石的星球上导航。你给了机器人一套规则，比如“如果前面有车，不要加速”。但问题在于，机器人是通过看图片来学习的，而且它们有时会表现得非常傻气。如果前面的车是蓝色的而不是红色的，或者天空变成了尘土飞扬的橙色，它们可能会感到困惑。这就是**深度神经网络（Deep Neural Networks）**的世界——它是自动驾驶汽车和太空探测器背后的“聪明”软件。虽然这些系统在完美条件下表现出色，但当世界变得古怪、黑暗或仅仅是与它们在学校里学到的样子不同时，它们往往会发生碰撞或犯错。

为了让这些机器人保持安全，我们不能只用随机噪声来测试它们，而需要使用语义特征（semantic features）。把这些特征想象成图片中有“意义”的部分：汽车的颜色、天气类型或岩石的形状。研究人员提出的核心问题是：“如果我们改变了汽车的颜色，但保持‘不要加速’这一规则仍然成立，机器人还会惊慌失措吗？”本文介绍了一种回答该问题的新方法，它超越了仅仅微调像素，而是以一种受控且智能的方式，真正改变了图片的“故事”。

机器人的“如果……会怎样？”机器

见见 SeFAr（语义特征感知鲁棒性测试）。你可以把 SeFAr 想象成一位非常有创意、甚至带点恶作剧精神的机器人艺术老师。它的工作是获取机器人的“规则”和一系列遵循这些规则的照片，然后问道：“如果我们只改变照片中的某一个东西，比如把轿车变成卡车，或者把天气变成沙尘暴，同时保持场景的其他部分完全不变，会发生什么？”

以往测试机器人的方式就像是在它们的眼睛里撒沙子或模糊它们的视线。这并没什么帮助，因为现实生活不仅仅是模糊，而是充满了特定的变化，比如绿灯变红灯，或者行人出现。SeFAr 则不同。它使用了一个特殊的“层级概念模型”，这就像是思想的“家族树”。在顶层，你有像“车辆”或“天气”这样宽泛的类别。随着你沿着分支向下走，你会变得更加具体：“车辆”会分为“卡车”或“轿车”，“颜色”会分为“蓝色”、“绿色”甚至“青绿色”。

SeFAr 使用强大的 AI 工具——扩散模型（diffusion models）（可以把它们想象成超级聪明的数字画家）来重绘图片。如果你告诉它，“把车改成一辆蓝色的卡车”，它会将一辆蓝色卡车画入场景中，而不会弄乱道路、天空或其他车辆。然后，它会检查机器人是否仍然遵守规则。如果机器人因为车现在变蓝了就突然决定加速，SeFAr 就会抓住它！

侦探工作

最酷的部分在于 SeFAr 如何找到机器人失败的确切原因。有时，机器人失败可能是因为某种特定的颜色，比如“青绿色”，而机器人的创造者甚至从未想到过要测试它。SeFR 扮演着侦探的角色。它观察失败的图片，并使用另一种 AI 工具（视觉语言模型）来描述发生了什么变化。它可能会说：“嘿，车变成了青绿色，这就是机器人惊慌的原因。”

论文在三个不同的场景中测试了这一点：

自动驾驶汽车 (SGSM)： 测试规则如“如果前方有车在 10 米处，不要加速”。
校园漫游车 (RRAV)： 测试它是否能识别交通锥和行人。
火星探测器 (AI4MARS)： 测试它是否能识别火星表面巨大的岩石。

他们的发现

研究人员发现 SeFAr 是一个非常出色的艺术家。当它改变图片时，平均有 93.4% 的时间保持了规则的真实性。这意味着它成功地改变了汽车的颜色或天气，而没有意外破坏规则（比如让汽车消失）。

但真正的惊喜在于那些失败案例。SeFAr 发现机器人其实非常脆弱。

在驾驶测试中，将汽车颜色改为绿色会导致机器人约 39.7% 的时间失败。将车改为卡车会导致 10.5% 的失败。
更有趣的是，当它们结合变化时——比如一辆绿色的卡车——失败率跃升至 25.5%。
对于火星探测器，沙尘暴是一个主要问题，导致了失败，而其他的天气变化则没那么困扰它。

论文指出，这些失败之所以发生，是因为机器人依赖于“伪相关”（spurious correlations）——它们根据一些不该重要的东西进行猜测，比如特定的蓝色阴影或树木的影子，而不是基于实际的规则。

总结

SeFAr 不仅仅告诉我们机器人失败了；它通过寻找导致机器人大脑失效的特定“特征”来告诉我们为什么。它发现机器人通常是非常脆弱的，当遇到像青色汽车或沙尘暴这样具体的、现实的变化时，即使这些变化并没有违反安全规则，它们也会失败。

作者们确信这种方法非常有效，可以用于发现这些隐藏的弱点。他们证明了通过系统地探索这些“如果……会怎样”的情景，我们可以发现标准测试所忽略的故障。虽然他们并未声称已经永久解决了机器人安全问题，但他们展示了 SeFAr 是一个强大的新工具，能确保我们的未来机器人不会仅仅因为颜色的改变或一场突如其来的沙尘暴就陷入恐慌。这是迈向确保当我们把方向盘交给机器人时，它不会仅仅因为天空看起来有点不一样就惊慌失措的一大步。

技术摘要：SeFaR —— 基于语义特征的深度神经网络鲁棒性测试

1. 问题陈述

深度神经网络（DNN）正越来越多地部署在自动驾驶汽车、无人飞行系统和行星探测等安全关键领域。尽管这些模型表现出强大的经验准确性，但它们经常在罕见、代表性不足或语义复杂的场景中失效，从而导致不安全行为。验证其在所有相关场景下的性能具有挑战性，特别是在像太空探索这样现实世界数据收集成本高昂且不切实际的环境中。

现有的测试方法通常侧重于像素级变换或潜空间操作，而这些操作可能无法对应于有意义的语义变化。其他利用模拟器或场景图的方法在捕捉现实世界感知多样性方面存在局限性。虽然最近的生成模型技术推动了图像编辑和表示分析，但它们并非专门为针对非预期语义变化进行下游视觉模型的系统性鲁棒性评估而设计。具体而言，目前缺乏能够系统评估模型相对于那些与系统功能需求正交（即无关）但仍会影响模型决策的语义特征之鲁棒性的框架。

2. 方法论：SeFaR 框架

作者提出了 SeFaR（语义特征感知鲁棒性），一个用于视觉模型系统化、以语义特征为中心的测试框架。该框架通过沿着语义特征生成既能保持高层需求满足，又能潜在暴露失效的现实主义扰动，来评估模型的鲁棒性。

核心组件

层次化概念模型（特征树森林 - FFT）：
- SeFaR 使用了一种新型的层次化概念模型，组织为特征树的森林。该结构跨越多个抽象层级，从粗粒度因子（例如：背景、物体类型）到细粒度属性（例如：特定颜色、姿态）。
- 该模型允许使用用户定义的领域知识（由专家填充），并通过占位符（例如：_）支持“开放世界”建模（用于未指定的特征）。
- 特征使用逻辑运算符（or、xor）来定义，以表示关系（例如：“是...的一种”或“是...的一部分”）。
扰动与违规检测：
- 输入： 一个神经网络 ( $N$ )，一个形式化的正确性需求 ( $\phi = \phi_x \Rightarrow \phi_y$ )，一组满足该需求的输入 ( $D$ )，以及一组预期的不变语义特征集合 ( $F_\phi$ )。
- 过程： 该框架采用最先进的扩散模型（具体为 Qwen-Image-Edit）作为扰动算子 ( $\Delta$ )。给定一张图像和一个指定要修改特征的自然语言提示，该模型会生成写实的变体，在改变目标特征的同时保留场景的其他语义。
- 验证： 扰动后的图像根据需求的后置条件 ( $\phi_y$ ) 进行评估。如果尽管满足了前置条件 ( $\phi_x$ )，模型仍未能满足后置条件 ( $\phi_y$ )，则记录一次违规。
自适应失效分析与发现：
- 特征定位： 为了识别导致失效的具体语义因子，SeFaR 使用视觉语言模型（VLM）（具体为 Qwen2.5-VL）来分析原始图像与扰动图像对。VLM 被提示以自然语言描述差异。
- 语义聚合： 文本描述的变化被嵌入到句子转换器中，并通过聚类来识别常见的失效诱发概念。这一过程可以发现此前未知的特征（例如：“青绿色”颜色或“沙尘暴”天气），这些特征在初始的用户定义层级中并不存在。
- 迭代优化： 该框架采用反馈驱动的自适应过程。检测到的失效特征被用于优化后续轮次的特征层级，包括移除鲁棒特征、降低低风险特征的优先级，或针对导致失效的特征在树中探索更深的路径。

3. 主要贡献

本文概述了五项主要贡献：

SeFaR 框架： 一个系统化的、以语义特征为中心的测试框架，用于评估视觉模型针对与需求正交的语义特征变化的鲁棒性。
层次化概念模型： 一种结构化表示（FFT），有助于探索语义特征空间，容纳用户定义的领域知识，并支持对未指定特征的发现。
基于扩散的生成： 利用扩散模型生成满足需求且写实的语义变体，以检测在现实、罕见场景下的非鲁棒性。
自适应发现： 通过基于 VQA 的语义分析，提供一种发现面向特征的失效解释的机制，生成能够见证模型特征非鲁棒性的测试集。
实证证据： 展示了 SeFaR 在三个不同案例研究中的适用性，证明了其能够满足需求的前置条件，同时识别出影响模型决策的新特征。

4. 评估与结果

作者在代表不同运行环境的三个数据集上评估了 SeFar：

SGSM： 自动驾驶（使用 CARLA 模拟器），其需求源自弗吉尼亚驾驶法典。
RRAV： 在校园道路上的 NASA 火星车导航（针对锥桶和行人的避障）。
AI4MARS： 火星地形导航（识别大型岩石）。

主要发现：

前置条件保持 (RQ1)： SeFar 在所有数据集上始终实现了较高的前置条件满足率（平均 93.4%）。这证实了该框架在扰动语义特征而不违反安全需求前置条件方面的能力。
鲁棒性揭示 (RQ2)： 该框架有效地揭示了模型对于哪些语义特征缺乏鲁棒性。
- 在 SGSM 案例中，特定的车辆颜色（绿色、蓝色）和类型（卡车）导致了显著的失效率（例如，绿色车辆的失效率为 39.7%）。
- 在 AI4MARS 中，识别出了“沙尘暴”这一会导致失效的天气条件，而该场景在原始训练数据中并不存在。
- 组合语义变化（例如：光照 + 交通灯杆）往往会放大模型的脆弱性，在特定组合下的失效率甚至超过 50%。
未知特征的发现： 分析成功识别了初始用户定义模型中不存在的特征，如特定的颜色色调（青绿色）和环境条件（沙尘暴），展示了该框架发现脆弱行为的能力。

5. 意义与主张

本文声称 SeFar 提供了一种结合了层次化语义建模、基于扩散的生成以及反馈引导探索的新颖组合。其重要性在于：

系统化发现： 实现对可能导致安全关键失效的场景进行系统化发现，特别是那些由罕见或代表性不足的语义变化引起的场景。
可解释性： 将发现的故障直接与特定的语义特征联系起来，为开发者提供关于非鲁棒性原因的可操作反馈。
实用价值： 将 SeFar 定位为提高视觉系统可靠性的实用工具，使其从像素级测试转向语义级的鲁棒性评估。

作者对有效性威胁保持了审慎的态度，承认框架的有效性取决于底层基础模型和提示策略的质量，并指出利用专家编写的领域本体进行更广泛的研究是自然的下一步。