💻 computer science

IDATA: Scalable Invertible Diffusion for Unrestricted Adversarial Transfer Attack

本文提出了 IDATA，这是一个内存高效且可扩展的可逆扩散框架，它结合了一个用于常数级内存反向传播的可逆扩散模块，以及一个用于增强针对深度视觉模型的非限制性对抗攻击的迁移性和视觉不可感知性的低频约束模块。

原作者： Yi Pan, Jun-Jie Huang, Tianrui Liu, Zihan Chen, Lin Liu, Zhao Wentao

发布于 2026-08-11

📖 1 分钟阅读☕ 轻松阅读

原作者： Yi Pan, Jun-Jie Huang, Tianrui Liu, Zihan Chen, Lin Liu, Zhao Wentao

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，数字世界是一座巨大且繁忙的城市，其中的计算机扮演着保安、交警和检票员的角色。这些“深度视觉模型”是那些能在机场识别你面孔的摄像头、驱动自动驾驶汽车的系统以及识别你宠物的应用程序背后的“大脑”。但就像任何安全系统一样，它们有一个致命的弱点：它们可以被欺骗。如果你给保安看一张贴了几张几乎看不见的微小贴纸的停止标志照片，保安可能会突然认为那是限速标志。这被称为“对抗性攻击”。

长期以来，黑客必须非常小心，只能在图像中添加极其微小的、符合数学规律的点来迷惑计算机。但最近，科学家们发现了一种更强大的方法，即利用“扩散模型”来欺骗这些保安。把扩散模型想象成一位神奇的艺术家，他能将一片模糊、嘈lej的静态噪声云变成一幅清晰、美丽的画作。黑客意识到，他们可以在艺术家绘画的过程中，偷偷在艺术家的速写本里塞进一点点“诡计”，这样最终生成的图像对我们来说看起来完全正常，却会让计算机的大脑短路。问题在于，这个魔术技巧非常笨重且笨拙。它需要大量的计算机内存，就像为了画一张画而试图把一座图书馆背在书包里一样。此外，这种做法有时会让诡计变得过于明显，留下奇怪的、带有噪点的痕迹，从而破坏了幻觉。

这正是新研究团队提出一个聪明解决方案——IDATA 的地方。他们希望让这个“魔术技巧”变得更轻量、更快，且更难被察觉。他们意识到，旧的方法绘制这些被欺骗的图像，就像是为了向后走一段路而不得不记住旅途中每一个细节一样。如果你走了50步，你就必须记住全部50步才能往回走。IDATA 改变了规则，让这段旅程变得“可逆”。想象一下你在迷宫中行走，你走的每一步都会留下一个完美的、可逆转的足迹。你可以向前走，放下秘密信息，然后完美地原路返回，而不需要记住整个路径——你只需要精准地回溯你的脚步即可。这使得计算机无论旅程多长，都只需要使用极少量的内存。

但这里存在第二个问题：旧的方法是“频率无关的”，这是一个高级说法，意思是指它们并不在意修改哪种类型的细节。它们既会干扰物体的宏观重要形状（比如停止标志的圆形轮廓），也会干扰微小的、颤动的细节（比如木纹的纹理）。研究人员发现，干扰这些微小的、颤动的细节往往会让图片看起来很怪异，并暴露诡计。因此，他们添加了一个特殊的过滤器，称为低频约束模块（LFCM）。把这想象成一位厨师，他决定只为炖菜中的主要食材调味，而不去动点缀用的配料。通过仅将他们的“诡计”添加到图像中稳定的、低频的部分（即宏观的形状和结构），并忽略颤动的、高频的噪声，他们创造出的攻击手段更难被察觉，并且能更好地迷惑不同类型的计算机大脑。

团队使用 IDATA 测试了许多不同的计算机模型，从简单的模型到看起来像人类大脑的复杂模型。他们发现 IDATA 取得了巨大的成功。它欺骗计算机的效果与之前的最佳方法不相上下，甚至更好，但它使用的计算机内存却只是前者的极小部分。在测试中，当其他方法需要高达 37.9 GB 的内存来运行时，IDATA 仅用 13.1 GB 就完成了任务。此外，它生成的图片极其难以被察觉；其视觉失真得分保持在 0.138 以下，这比他们测试的几乎所有其他方法都要低（即表现更好）。

研究人员还检查了即使在计算机穿着“盔甲”（旨在清理被欺骗图像的防御措施）时，这个诡计是否依然有效。IDATA 表现得依然强劲，证明它创造的诡计具有天然的鲁棒性。然而，论文指出，虽然这是一个非常有前景的工具，用于测试我们数字世界的安全性，但它并不是解决一切问题的“万灵药”。它是一个强大的新方法，用于压力测试我们的系统，帮助我们了解哪里存在裂缝，以便我们在坏人发现它们之前将其修复。作者总结道，通过使这些攻击具备可扩展性和高效性，IDATA 提供了一种有效的新途径，用于评估运行我们现代世界的深度视觉模型的安全性。

技术摘要：IDATA —— 用于不受限对抗迁移攻击的可扩展可逆扩散模型

1. 问题陈述

本文解决了限制基于扩散模型的不受限对抗迁移攻击（unrestricted adversarial transfer attacks）在可扩展性和有效性方面的两个关键瓶颈。虽然基于扩散的模型通过在潜在去噪轨迹上优化扰动，在生成语义连贯且视觉不可察觉的对抗样本方面已展现出潜力，但现有方法存在以下问题：

内存密集型多步反向传播： 当前的方法需要在整个扩散链中存储中间状态以进行反向传播。随着扩散步数（轨迹深度）为提升攻击性能而增加，GPU 显存消耗呈线性增长，使得针对高分辨率输入的深度优化变得不切实际。
频率无关的扰动： 现有方法通常在完整的潜在空间上优化扰动，而不考虑频率结构。这种无差别的扰动往往会引入冗余的高频伪影，并忽视了语义稳定的结构，从而导致在不同模型架构间的迁移能力降低，并损害视觉上的不可察觉性。

作者认为，有效的扩散式迁移攻击必须共同解决深度轨迹优化和频率感知扰动分配的问题，以克服这些局限性。

2. 方法论：IDATA 框架

作者提出了 IDATA（用于不受限对抗迁移攻击的可逆扩散模型），该框架由两个紧密耦合的模块组成：

2.1 可逆扩散模块 (IDM)

为了解决内存瓶颈，IDM 将对抗优化重新表述为一个可逆过程。

机制： 受 EDICT 的启发并针对对抗优化进行了重新设计，IDM 使用一个主分支和一个辅助分支。一张干净的图像被复制以形成输入对 $(X, Y=X)$ 。前向过程采用耦合仿射变换，在每一步将来自两个分支的潜在变量进行混合。
可逆性： 特定的参数化允许在反向过程中实现中间状态的精确闭式重建。
益处： 这种设计实现了常数级内存反向传播（相对于扩散深度为 $O(1)$ ）。系统不再存储完整的去噪链，而是在计算梯度期间按需重建中间状态，从而允许在没有过高 GPU 显存开销的情况下进行深度轨迹优化。
优化： 该模块集成了动量迭代快速梯度符号法 (MI-FGSM)，以稳定针对梯度方差的学习潜在扰动 $\delta$ 的优化过程。

2.2 低频约束模块 (LFCM)

为了解决频率无关的问题，LFCM 将扰动限制在语义稳定的子空间内。

机制： 在扰动注入步骤 $\tau$ ，来自两个分支的中间潜在变量被拼接，并使用具有 Haar 小波基的离散小波变换 (DWT) 进行分解。
频率分离： 潜在变量被分为低频分量 ( $Y_L$ ) 和高频分量 ( $Y_H$ )，其中低频分量保留全局结构和核心语义，而高频分量捕捉局部纹理。
约束： 对抗扰动 $\delta$ 仅注入到低频分量中 ( $Y'_L = Y_L + \delta$ )，而高频分量保持不变。随后通过逆离散小波变换 (IDWT) 重建受扰动的潜在变量。
益处： 这种方法抑制了高频伪影，提高了扰动预算的利用率，并将优化引导至模型无关的全局语义，从而增强了迁移性和视觉不可察觉性。

2.3 损失函数

总目标函数结合了对抗引导损失 ( $L_{adv}$ ) 和感知质量损失 ( $L_{LPIPS}$ )：
$L_{total} = L_{adv} + \lambda L_{LPIPS}$

$L_{adv}$ 对两个分支对称计算，以强制 IDM 内的轨迹同步，定义为相对于代理模型的负交叉熵损失。
$L_{LPIPS}$ 确保干净图像与对抗图像之间的感知相似性。

3. 核心贡献

论文强调了三个主要贡献：

识别瓶颈： 作者确定了内存密集型多步反向传播和频率无关扰动是限制扩散式对抗攻击可扩展性和迁移性的主要因素。
IDATA 框架： 一个全新的、可扩展的框架，其特点包括：
- IDM： 实现常数级内存反向传播，支持深度扩散轨迹优化。
- LFCM： 利用 DWT 在语义稳定的低频潜在子空间中显式正则化扰动。
实验优越性： 大量实验表明，在多种架构（CNN、Transformer、MLP）和防御设置下，IDATA 在攻击成功率 (ASR)、内存效率和视觉不可察觉性方面始终优于最先进的基准方法。

4. 实验结果

作者在 ImageNet-Compatible、CUB-200-2011 和 Stanford Cars 数据集上，针对各种目标模型（包括 ResNet、ViT、Swin 和 Mixer）及防御措施（净化和对抗训练）评估了 IDATA。

迁移性： IDATA 在所有代理模型上均取得了最高的平均攻击成功率 (AVG)。例如，在具有挑战性的 Mix-B 代理模型上，它分别比 DiffAttack 和 DiffAdvMAP 高出 3.5% 和 5.9%。它在 CNN、Transformer 和 MLP 之间表现出了鲁棒的泛化能力。
视觉不可察觉性： IDATA 树立了视觉质量的新基准，在所有设置下均保持 LPIPS 分数低于 0.14（比大多数基准更低）。定性结果显示，与引入噪声的像素级攻击以及经常导致过度锐化的其他扩散式攻击相比，IDATA 能更好地保留自然纹理和物体结构。
对防御的鲁棒性： IDATA 对图像净化方法（如 DiffPure）和对抗训练模型表现出极强的抵抗力，与其他方法相比，性能下降显著较小。
效率： IDM 模块将峰值 GPU 显存使用量从标准扩散攻击的约 37.9 GB 降低到了 13.1 GB，使得此前无法实现的深度优化成为可能。

5. 重要性与主张

论文将 IDATA 定位为评估现实世界多媒体系统中深度视觉模型黑盒鲁棒性的一种有前景的工具。

可扩展性： 通过将内存使用量与扩散深度解耦，IDATA 使深度轨迹优化变得切实可行，解决了该领域的一个根本性可扩展性问题。
频率感知： 该工作强调了潜在空间中频率先验的重要性，证明了将扰动限制在低频分量中可以实现攻击有效性和视觉质量之间的更优权衡。
实际影响： 作者声称，IDATA 提供了一种更严谨且高效的方法来评估深度视觉模型的鲁棒性，特别是在目标模型不可访问（黑盒设置）且需要语义合理性的场景下。

论文总结道，通过利用用于提高内存效率的可逆扩散和用于增强语义稳定性的低频约束，两者之间的协同作用使 IDATA 能够在攻击有效性、计算效率和感知质量之间达到最佳平衡。