OmniPatch: A Universal Adversarial Patch for ViT-CNN Cross-Architecture Transfer in Semantic Segmentation

该论文提出了 OmniPatch 框架，旨在无需访问目标模型参数的情况下，生成一种能够跨图像并在 ViT 与 CNN 架构间有效迁移的通用对抗补丁，以解决自动驾驶语义分割中的黑盒攻击脆弱性问题。

要点

这篇论文介绍了一种名为 OmniPatch 的新方法，它就像是一个能“通吃”各种自动驾驶视觉系统的万能干扰贴纸。

为了让你更容易理解，我们可以把自动驾驶汽车的大脑（AI 模型）想象成一个极其依赖眼睛的司机，而这篇论文就是关于如何给这个司机贴上一张“致盲贴纸”的研究。

以下是用通俗语言和比喻进行的详细解读：

1. 背景：为什么我们需要这个？

现在的自动驾驶汽车非常依赖“语义分割”技术。简单来说，就是让 AI 把摄像头拍到的画面里的每一个像素都认出来：这是路，那是车，那是行人，那是电线杆。

• 问题：这些 AI 司机虽然很聪明，但很“脆弱”。以前，黑客只能给整张图加一层看不见的噪点（就像给整个房间喷了一层迷幻喷雾），但这在现实生活中很难实现（你没法给整条路喷雾）。
• 现状：有人尝试过贴一个小贴纸（比如贴在电线杆上）来欺骗 AI，但以前的方法有个大毛病：“专一性”太强。给 A 品牌汽车设计的贴纸，贴在 B 品牌汽车上就不灵了。而且，现在的汽车大脑有两种主要流派：一种是传统的（CNN），一种是较新的（ViT，类似 Transformer），以前的贴纸很难同时骗过这两类。

2. 核心发明：OmniPatch（万能补丁）

作者团队设计了一个通用的、跨架构的“干扰贴纸”。不管你的车是用什么大脑（CNN 还是 ViT），只要贴上这个特定的图案，AI 就会把电线杆看成草地，或者把行人看成天空，导致车辆失控。

它是怎么做到的？（三个关键步骤）

第一步：寻找“软肋” (敏感区域定位)

• 比喻：想象你要攻击一个守卫森严的城堡。你不会盲目地到处乱撞，而是先派一个侦察兵（ViT 模型）去探路。
• 做法：作者发现，ViT 这种新型 AI 特别容易受干扰。他们先让侦察兵在干净的图片上找一找：“哪里是 AI 最犹豫、最拿不准的地方？”（比如电线杆的边缘）。
• 结果：他们决定把贴纸贴在这些“犹豫不决”的地方，因为这里最容易把 AI 搞晕。

第二步：两阶段训练 (先练单挑，再练群殴)

• 比喻：这就像练武术。
  • 阶段一（单挑）：先让贴纸专门针对那个容易晕的“侦察兵”（ViT）进行特训，把它彻底搞乱。
  • 阶段二（群殴/混战）：这时候，把“侦察兵”和另一个强壮的“传统保镖”（CNN）拉在一起。作者设计了一种特殊的训练方式，强迫贴纸同时让这两个性格完全不同的保镖都晕头转向。
• 关键技巧：为了防止两个保镖互相干扰（比如一个向左倒，一个向右倒），作者加了一个“协调员”（梯度对齐），确保贴纸产生的干扰力是统一的，让所有类型的 AI 都往同一个方向“摔倒”。

第三步：增加“魔法” (辅助损失函数)

• 为了让贴纸更厉害，作者还加了几个“魔法咒语”：
  • 注意力劫持：强迫 AI 只盯着贴纸看，忽略真正的物体。
  • 边界破坏：把物体的轮廓撕碎，让 AI 分不清哪里是物体，哪里是背景。
  • 视觉平滑：让贴纸看起来不那么像乱涂乱画的噪点，更像是一个自然的图案（虽然论文承认目前还是有点显眼）。

3. 实验结果：它有多强？

作者在著名的“城市街景”数据集（Cityscapes）上做了测试。

• 测试对象：各种不同品牌的自动驾驶模型（PIDNet, BiSeNet, SegFormer 等）。
• 效果：
  • 如果没有贴纸，AI 的识别准确率（mIoU）很高（比如 86%）。
  • 贴上 OmniPatch 后，准确率直接暴跌（比如降到 73% 甚至更低）。
  • 最厉害的是：这个贴纸是用一种模型练出来的，却能同时骗过其他所有没见过的模型。这就是所谓的“万能”。

4. 局限与未来：它不是完美的

• 缺点：目前的贴纸还是太显眼了。就像你在电线杆上贴了一个巨大的、五颜六色的奇怪图案，人类司机一眼就能看出来，但 AI 却会被骗。
• 未来计划：
  • 研究如何把贴纸“伪装”起来，比如做成纹理融合，让人类看不出来，但 AI 依然会被骗。
  • 测试在雨天、黑夜等复杂天气下是否依然有效。
  • 真正去街上做物理实验（目前主要在电脑模拟中）。

总结

这篇论文就像是在说：“嘿，现在的自动驾驶 AI 虽然聪明，但只要我们找到它们共同的‘死穴’，并设计一个通用的干扰贴纸，就能让不同品牌的车在同一时间集体‘失明’。”

它的意义在于：这不仅仅是一个攻击手段，更是一个安全警钟。它告诉工程师们，现在的自动驾驶系统在面对这种“跨模型”的物理攻击时，防御力还远远不够，必须赶紧修补这些漏洞，才能确保我们未来的出行安全。

技术摘要

论文技术总结：OMNIPATCH - 面向 ViT-CNN 跨架构迁移的通用对抗补丁

1. 研究背景与问题 (Problem)

核心挑战：
在自动驾驶等安全关键领域，语义分割模型（Semantic Segmentation）至关重要，但它们极易受到对抗样本攻击。现有的对抗攻击方法存在以下局限性：

• 物理不可行性：大多数现有方法生成的是全图扰动（Image-wide perturbations），难以在物理世界中部署。
• 架构局限性：现有的对抗补丁（Adversarial Patch）通常针对单一模型架构优化，缺乏跨架构的迁移能力。
• 架构差异：卷积神经网络（CNN）具有局部归纳偏置，而 Vision Transformer (ViT) 依赖全局注意力机制。ViT 对基于补丁的攻击更为敏感，但现有的通用补丁难以同时有效攻击 CNN 和 ViT 架构。
• 黑盒场景：在目标模型权重未知的黑盒设置下，设计能够同时破坏 CNN 和 ViT 的通用补丁极具挑战性。

研究目标：
提出一种名为 OmniPatch 的通用对抗补丁框架，旨在无需访问目标模型参数的情况下，生成一个能在不同图像上泛化，并同时对 ViT 和 CNN 架构的语义分割模型造成严重破坏的对抗补丁。

---

2. 方法论 (Methodology)

OmniPatch 采用了一种基于代理模型（Surrogate Models）的两阶段训练策略，结合敏感区域定位和梯度对齐技术。

2.1 敏感区域定位 (Sensitive Region Placement)

为了最大化攻击效果，补丁不随机放置，而是利用 ViT 代理模型的不确定性进行定位：

1. 不确定性计算：使用 ViT 代理模型计算干净图像上每个类别的预测自熵（Self-entropy）。
2. 目标类选择：选择不确定性最高的类别 $c^*$。
3. 区域扩展：提取该类别的预测掩码，并进行形态学膨胀（Morphological Dilation），扩大可行放置区域。
4. 熵偏置采样：在膨胀后的区域内，根据像素级的不确定性（熵值）进行加权采样，优先选择高不确定性区域放置补丁。
   • 原理：利用 ViT 的全局注意力机制对补丁更敏感的特性，将补丁置于模型决策边界最脆弱的区域，从而利用 CNN 和 ViT 之间的归纳偏置差异。

2.2 两阶段训练范式 (Two-Stage Training)

训练过程分为两个阶段，分别针对 ViT 和 CNN 进行优化：

• 阶段 1：ViT 优先优化 (ViT-only)

  • 目标：利用 ViT 的高敏感性，首先破坏 ViT 代理模型的预测。
  • 损失函数：加权交叉熵损失。对模型原本分类正确的像素（高置信度区域）赋予更高权重（$\gamma$），迫使补丁攻击这些“自信”的预测，诱导其产生错误。
  • 公式：$L_{Stage1}$ 侧重于让原本正确的像素变错。

• 阶段 2：ViT + CNN 集成优化 (Ensemble)

  • 目标：将攻击能力迁移到 CNN 架构，实现跨架构通用性。
  • 策略：
    1. 高迁移集定义：利用 Jensen-Shannon (JS) 散度量化干净图像与对抗图像 logits 的分布偏移。分布偏移大的像素被标记为“高迁移集” ($X$)，其余为低迁移集 ($Y$)。
    2. 加权损失：对高迁移集像素赋予更高权重（$\beta$），以最大化跨架构的迁移效果。
    3. 梯度对齐 (Gradient Alignment)：这是关键创新。由于 ViT 和 CNN 结构差异巨大，直接集成训练会导致梯度更新相互干扰（Destructive Interference）。OmniPatch 引入对齐损失 $L_{align}$，通过最大化 ViT 和 CNN 梯度的余弦相似度，强制两个代理模型的更新方向一致，从而生成通用的补丁。

2.3 辅助损失与正则化 (Auxiliary Losses & Regularizers)

为了增强攻击的鲁棒性和物理可行性，引入了三个辅助目标：

1. 注意力劫持 (Attention Hijacking)：强制 ViT 的内部表示优先关注补丁而非真实标签。
2. 边界破坏 (Boundary Disruption)：反转边界损失约束，导致分割边界碎片化。
3. 全变分 (Total Variation, TV)：作为视觉噪声控制正则化器，确保补丁在视觉上相对平滑，避免过度噪点。

此外，训练过程中还应用了 期望变换 (Expectation-over-Transformation, EOT)，模拟随机缩放、旋转和平移，以增强补丁在物理世界不同条件下的鲁棒性。

---

3. 实验结果 (Results)

实验设置：

• 数据集：Cityscapes（城市街景语义分割）。
• 代理模型：PIDNet-S (CNN), SegFormer (ViT)。
• 目标模型：PIDNet-M/L, BiSeNetV1/V2, SegFormer 等。
• 评估指标：平均交并比 (mIoU) 的下降幅度。

主要发现：

1. 跨架构攻击有效性：

   • OmniPatch 在 CNN 模型（如 PIDNet 系列）和 ViT 模型（如 SegFormer）上均造成了显著的 mIoU 下降。
   • 例如，在 PIDNet-S 上，OmniPatch 使 mIoU 从 0.8695 降至 0.7299（下降 16.05%），远超随机补丁和基线方法（Shekhar et al., 2025）。
   • 在 SegFormer 上，mIoU 下降了 8.83%。

2. 消融实验 (Ablation Studies)：

   • 放置策略：基于敏感区域的放置策略（Ours）显著优于中心放置和随机放置，证明了利用不确定性定位的重要性。
   • 补丁大小：补丁面积越大，mIoU 下降越明显，但 OmniPatch 在较小面积（1.9%）下仍表现出极强的破坏力。
   • 梯度对齐：引入梯度对齐后，攻击效果显著提升（例如 PIDNet-S 上 mIoU 从 0.777 降至 0.730），证明了其对解决异构模型梯度冲突的有效性。
   • JS 散度：使用 JS 散度替代 KL 散度进行分布偏移量化，带来了额外的性能提升（平均 mIoU 多下降 1.84%）。

---

4. 关键贡献 (Key Contributions)

1. 首个跨架构通用对抗补丁：提出了 OmniPatch，成功解决了在语义分割任务中，对抗补丁难以在 CNN 和 ViT 异构架构间迁移的问题。
2. 基于不确定性的空间定位：设计了一种新颖的基于 ViT 代理模型熵值的敏感区域定位方案，利用 ViT 对补丁的敏感性来指导补丁放置，从而利用架构差异。
3. 梯度对齐集成训练：提出了一种两阶段训练框架，特别是通过梯度对齐损失（Gradient Alignment Loss）解决了异构模型集成训练中的梯度冲突问题，显著提升了迁移性。
4. 物理部署导向：通过引入 EOT 和视觉正则化，使生成的补丁更接近物理世界的部署需求（尽管目前仍显眼，但为后续研究奠定了基础）。

---

5. 意义与未来展望 (Significance & Future Work)

意义：

• 安全评估：OmniPatch 揭示了当前自动驾驶语义分割系统（无论是基于 CNN 还是 ViT）在面对物理对抗攻击时的脆弱性，强调了在模型部署前进行跨架构鲁棒性测试的必要性。
• 理论突破：证明了通过巧妙的训练策略（如梯度对齐和不确定性引导），可以弥合不同深度学习架构之间的防御/攻击鸿沟。
• 推动防御：通过暴露这些漏洞，有助于推动更鲁棒的防御机制（如对抗训练、输入净化）的发展。

局限与未来工作：

• 视觉显著性：目前的补丁在视觉上较为明显（obtrusive），未来将研究纹理融合技术以实现隐蔽攻击。
• 环境适应性：目前实验主要在均匀光照图像上进行，未来计划探索在多变天气和光照条件下的攻击效果。
• 物理验证：需要开展真实的物理世界实验（Real-world experiments）来最终验证其概念的有效性。

总结：OmniPatch 是语义分割领域对抗攻击研究的重要进展，它通过结合 ViT 的敏感性和梯度对齐技术，实现了前所未有的跨架构攻击能力，为构建更可信的自动驾驶系统提供了关键的威胁模型。