💻 computer science

Towards Universal Physical Adversarial Attacks via a Joint Multi-Objective and Multi-Model Optimization Framework

本文提出了联合多目标与多模型优化框架（JMOF），该框架采用正交梯度对齐与双层抑制机制以解决梯度冲突并增强跨模型可迁移性，从而实现能够有效地欺骗多种黑盒视觉任务的通用物理对抗攻击。

原作者： Ziyang Liu, Hongyuan Wang, Zijian Wang, Yinxi Lu, Yunzhao Zang, Zhiqiang Yan, Qianhao Ning

发布于 2026-05-19

📖 1 分钟阅读☕ 轻松阅读

原作者： Ziyang Liu, Hongyuan Wang, Zijian Wang, Yinxi Lu, Yunzhao Zang, Zhiqiang Yan, Qianhao Ning

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是用简单语言和创意类比对这篇论文的解读。

宏观图景：“通用伪装”问题

想象你正试图给一辆汽车涂上一种特殊的“隐形斗篷”图案。目标是欺骗安全摄像头（AI），让它认为这辆车不存在，或者把它误认为是完全不同的东西。

作者们要解决的问题是：当今大多数“隐形斗篷”就像量身定制的西装。它们能完美适配某一款特定的摄像头模型（比如 YOLO 检测器），但如果你把同一辆车展示给另一个品牌的摄像头（比如 Swin-T 或 ViT），这套西装就会显得荒谬可笑，摄像头也会一眼看穿。

此外，试图设计一套能同时适配所有摄像头的西装，就像试图设计一件既是冬装、又是泳衣、还是燕尾服的夹克。如果你只是把它们胡乱拼凑在一起，最终得到的只会是一件闷热、不适且对任何用途都无效的糟糕作品。这被称为梯度冲突——冬装的指令与泳衣的指令相互对抗，导致结果失败。

本文介绍了一个名为JMOF（联合多目标与多模型优化框架）的新框架，旨在创造一种几乎能对抗任何摄像头的“通用伪装”，甚至能欺骗那些执行不同任务（如计数车辆与绘制道路）的摄像头。

他们解决的三个主要问题

作者们确定了以往尝试失败的三个具体原因：

“一刀切”陷阱：
- 问题： 以往的方法只挑选一个“教师”AI 进行学习。这种伪装变得过于痴迷于该特定教师观察事物的独特方式。
- 解决： 他们建立了一个多元化教师委员会。与其向一位专家请教，不如向一群思维截然不同的专家（有的像短跑运动员，有的像深思熟虑者）组成的委员会请教。他们使用一种数学技巧，确保挑选出的教师彼此不会过于一致，从而使伪装学会让所有人（而不仅仅是某一个人）都感到棘手。
“表象与灵魂”的冲突：
- 问题： 一些攻击试图干扰最终答案（“表象”），而另一些则试图干扰 AI 在大脑中理解图像的方式（“灵魂”）。仅做其中一项通常都会失败。
- 解决： 他们创造了一种双管齐下的攻击。
  - 第一管（表象）： 他们告诉 AI：“停止说‘汽车’！”（抑制最终输出）。
  - 第二管（灵魂）： 他们告诉 AI：“停止在你的大脑中识别汽车的形状！”（扁平化内部特征）。
  - 通过同时执行这两项操作，攻击变得强大且难以逃脱。
“拔河”（梯度冲突）：
- 问题： 当你向教师委员会寻求建议时，他们往往朝相反的方向拉扯。教师 A 说：“把这里涂成红色！”教师 B 说：“不，把那里涂成蓝色！”如果你只是平均他们的建议，你会得到一种浑浊的灰色，让谁都不满意。
- 解决： 他们发明了一位名为OGA（正交梯度对齐）的交通警。
  - 与其强迫教师达成一致或忽略那些持反对意见的人，这位交通警会调整他们冲突的方向，使它们协同工作。
  - 想象两个人朝相反方向拉绳子。交通警不会阻止他们，而是告诉他们以 90 度角拉绳，这样他们的合力就能高效地将绳子向前移动。这将对抗的能量转化为了团队合作的能量。

在现实世界中如何运作（“物理”部分）

让数字图像看起来隐形很容易。让一辆真实的 3D 汽车看起来隐形则很难，因为涉及光照、阴影以及汽车会移动的事实。

模拟器： 他们使用游戏引擎（CARLA）来模拟在雨天、晴天和夜间驾驶。这有助于伪装学会从各个角度看起来都很完美，而不仅仅是在一张完美的照片中。
“丢弃”技巧： 为了确保伪装不依赖于某个幸运的点（如前保险杠），他们在训练过程中随机“擦除”了汽车的部分区域。这迫使 AI 学会隐藏整辆汽车，而不仅仅是某个特定的补丁。
平滑规则： 现实世界的摄像头讨厌“噪点”或颗粒状的干扰。作者们添加了一条规则，使伪装图案平滑且连续，就像真实的喷漆一样，这样当汽车移动时，它看起来就不会像数字噪点。

“超能力”：欺骗不同类型的摄像头

这篇论文最引人注目的部分是，他们的伪装不仅能愚弄“车辆计数器”。它还能愚弄：

地图绘制者： 试图绘制道路和人行道的 AI（语义分割）。
距离测量仪： 试图猜测汽车距离有多远的 AI（深度估计）。

通常，旨在让“车辆计数器”看不见汽车的攻击，会让“距离测量仪”认为汽车漂浮在空中。但由于他们的OGA 交通警非常擅长平衡相互冲突的指令，这种伪装成功地同时欺骗了两个系统。它让汽车对计数器隐形，并让距离测量仪认为汽车是背景的一部分。

总结

将这篇论文想象成通用变色龙的发明。

旧变色龙只能改变颜色以匹配某一片特定的叶子。
这只新变色龙审视着一整片由不同叶子（不同的 AI 模型）组成的森林。
它倾听所有叶子的声音，利用一位聪明的裁判阻止它们互相争斗，并绘制出一种图案，使它在森林中对所有人都隐形，无论他们是在寻找叶子、虫子，还是在测量森林的大小。

其结果是一种更难被检测到的物理伪装，适用于多种不同类型的 AI，甚至能对抗执行完全不同任务的 AI。

技术摘要：通过联合多目标与多模型优化框架迈向通用物理对抗攻击

1. 问题陈述

物理对抗攻击，特别是 3D 对抗伪装，面临三个关键瓶颈，限制了其在现实世界针对黑盒模型的部署：

对单一代理模型的过拟合：现有方法通常依赖单一代理模型（例如 YOLO 系列），导致生成的伪装过度拟合特定的决策边界，从而在面对异构网络时失效。
浅层与深层攻击之间缺乏协同：当前策略通常仅采用浅层输出抑制（高效但易过拟合）或深层特征破坏（可迁移但缺乏刚性输出指导）。缺乏协同整合使得攻击无法同时实现高效率和深度泛化。
多源融合中的梯度冲突：当集成多个模型和目标时，朴素融合策略（例如等权重求和）会导致物理纹理受限参数空间内出现严重的梯度冲突和震荡。这导致方向性抵消和能量损失，掩盖了鲁棒模型的对抗需求。

此外，由于底层优化目标存在语义鸿沟，现有方法难以在不同视觉任务间泛化（例如，从目标检测迁移到语义分割或深度估计）。

2. 方法论：联合多目标与多模型优化框架 (JMOF)

提出的 JMOF 框架通过四管齐下的方法解决了这些局限性：

A. 定量代理模型选择

JMOF 摒弃了直觉或随机选择，转而利用梯度余弦相似度来量化候选模型的异质性。一种贪婪选择算法构建了一个包含 $N$ 个模型的集成，该集成最小化了成对梯度相似度。这确保了集成覆盖了多样化的视觉认知逻辑谱系，防止优化收敛到相似架构所共有的局部极小值。

B. 双层多目标攻击机制

该框架采用包含三个组件的联合损失函数，以平衡效率与泛化能力：

检测损失 ( $L_{det}$ )：一种基于 LogSumExp 的抑制策略，无差别地抑制所有与真实标注具有高交并比 (IoU) 的预测边界框的置信度分数。这提供了明确的浅层指导。
特征损失 ( $L_{fea}$ )：一种针对中间特征图的深层破坏机制。它在多尺度层上执行均值抑制（衰减整体激活）和方差平坦化（平滑语义峰值）。这瓦解了共享的空间结构特征，从而增强黑盒可迁移性。
平滑损失 ( $L_{smo}$ )：一种基于全变分的损失，确保对抗纹理的连续性，消除导致物理视角变化和遮挡下失效的高频噪声。

C. 正交梯度对齐 (OGA)

为了解决梯度冲突，JMOF 引入了OGA策略。与被动丢弃方法（如 DRF, DGR）不同，OGA 主动重构冲突梯度：

局部块分析：将全局纹理划分为局部块。对于每个块，计算 Gram 矩阵以捕捉异构梯度间的几何角度和幅度相关性。
正交投影：通过特征值分解，OGA 构建一个正交变换矩阵。这将冲突梯度投影到正交基上，在不丢弃特征偏好的情况下，有效地将相互排斥的优化势能转化为协同动能。
动态任务加权：一种动态加权机制 ( $\omega$ ) 为具有更高对抗难度（例如 Vision Transformers）的模型分配更高权重，确保攻击向高维脆弱空间演进。
自适应步长：正交分解自然地压缩了强排斥分量，起到自适应步长衰减的作用，防止优化器在陡峭的损失区域停滞。

D. 增强策略

视角依赖纹理门控 (VTG)：在反向传播过程中强制执行可见性约束，确保不可见像素（被自遮挡或视角偏移遮挡）不会被错误地平滑掉，从而在可见区域保留对抗能量。
随机纹理丢弃 (STD)：在训练期间随机掩蔽对抗纹理的块，以模拟现实世界的遮挡。这迫使算法避免依赖特定的局部捷径，并学习全局可泛化的特征。

3. 主要贡献

梯度相似度分析：本文揭示了梯度相似度中的一个关键权衡：过度对齐的梯度限制了多样性，而高度发散的梯度则导致冲突。它定义了一个有效的相似度区间，以指导最优代理集成的选择。
双层攻击机制：提出了一种协同机制，联合抑制预测输出并平坦化中间特征分布，克服了单层攻击的局限性。
正交梯度对齐 (OGA)：一种新颖的模块，通过将相互排斥的梯度转化为协同优化方向来解决跨模型梯度冲突，使优化能够在异构模型的共享脆弱区域收敛。
跨任务泛化：证明了该框架能够生成同时欺骗目标检测、语义分割和单目深度估计模型的攻击，弥合了高层语义感知与低层几何回归之间的鸿沟。

4. 实验结果

使用 CARLA 仿真器和带有 PET 薄膜载体的 1:18 比例物理模型进行了广泛的实验。

跨模型可迁移性：JMOF 在多种黑盒检测器（包括 CNN（YOLO, Faster R-CNN）、Vision Transformers（ViT, Swin）和混合模型）上优于最先进基线（如 FCA, DAS, HTCA, TACO）。即使在单一模型基线失效的高度异构模型面前，它仍保持了高攻击成功率 (ASR)。
多视角鲁棒性：该方法在不同方位角和俯仰角下表现出卓越的鲁棒性，特别是在侧视图中，传统方法因拓扑变化而显著退化。
消融研究：
- 移除特征损失 ( $L_{fea}$ ) 导致针对 CNN 的 ASR 下降超过 13%，针对 ViT 的 ASR 下降超过 15%，证实了深层特征破坏的必要性。
- 移除 OGA 并使用朴素求和导致性能严重下降，验证了主动梯度重构的必要性。
- 包含 VTG 和 STD 模块分别将 ASR 提高了约 9% 和 6%。
跨任务性能：当联合优化目标检测和语义分割（或深度估计）时，带有 OGA 的 JMOF 成功同时破坏了这两项任务。相比之下，朴素求和策略由于梯度冲突未能同时在两项任务上保持性能。
物理部署：在现实世界的物理实验中，该方法实现了 65.71%（SMs）、72.76%（CNNs）和 70.63%（ViTs）的 ASR，尽管存在从仿真到现实的域差距，仍表现出鲁棒的性能。

5. 意义与主张

本文声称，通过提供一个鲁棒的框架来评估现实世界部署中视觉 AI 的脆弱性，推动了物理对抗攻击泛化极限的进步。

通用适用性：该框架被提出作为一种通用的底层逻辑，能够量化并解决不同架构和任务间的梯度冲突。它消除了集成新模型时的盲目试错；相反，它利用梯度相似度分析将新架构自适应地纳入联合优化中。
弥合鸿沟：本研究解决了当前物理攻击的能力边界与现实世界黑盒、多任务场景需求之间的巨大差距。
协同优化：通过将冲突梯度转化为协同方向，该方法实现了从被动规避到主动重构的范式转变，使物理对抗伪装能够在多样化的网络和视觉任务中收敛于共享的脆弱空间。

作者承认，虽然该方法取得了突破性性能，但由于多模型的前向和反向传播，其计算成本有所增加。未来的工作建议探索更高效的联合优化算法和轻量级机制，以平衡生成效率与泛化性能。