Universal Image Immunization against Diffusion-based Image Editing via Semantic Injection

技术摘要：通过语义注入实现针对扩散式图像编辑的通用图像免疫

问题陈述
扩散模型彻底改变了文本引导的图像编辑，实现了高保真度、用户可控的生成。然而，这种能力也引入了显著的伦理和法律风险，包括深度伪造（deepfakes）、身份冒用以及未经授权的版权内容篡改。现有的防御机制（被称为“图像免疫”）通常依赖于对抗性扰动来破坏这些编辑过程。然而，目前最先进的方法存在两个主要局限性：

1. 图像特定优化（Image-Specific Optimization）： 大多数方法需要在推理阶段进行计算密集型的逐图像优化，这造成了部署瓶颈，阻碍了其规模化应用和实时应用。
2. 资源密集型无推理方法（Resource-Heavy Inference-Free Methods）： 无需优化的替代方案通常依赖于额外的神经网络或融合模块，需要 GPU 加速并产生不可忽视的内存开销，这限制了它们在资源受限环境中的实用性。

因此，迫切需要一种既能有效防御扩散式编辑，又足够高效以实现通用、零成本部署的防御机制。

方法论
作者提出了首个专门设计用于免疫扩散式图像编辑流水线的**通用对抗扰动（Universal Adversarial Perturbation, UAP）**框架。与以往用于分类任务的 UAP 不同，该方法旨在操纵扩散模型的语义解释。

核心机制涉及训练一个单一的、与图像无关的扰动（$\delta$），当将其添加到源图像时，会迫使扩散模型误解输入的语义。该方法通过两个主要目标运行：

1. 目标语义注入 ($\mathcal{L}_{inj}$)： 该损失函数鼓励扩散模型将受扰动的图像解释为包含特定的“目标”语义（例如“C罗”或“老虎”），无论实际源内容为何。它通过最小化受扰动源图像与真实的目标图像在相同目标提示词条件下的交叉注意力输出之间的 $L_2$ 距离来实现。这有效地用目标概念覆盖了原始内容的语义表示。
2. 源语义抑制 ($\mathcal{L}_{sup}$)： 为了防止模型保留原始内容，该损失函数通过最大化原始图像与受扰动图像之间交叉注意力输出的差异来发挥作用。这抑制了源图像原始语义的影响。

关键技术特性：

• 交叉注意力操纵（Cross-Attention Manipulation）： 损失函数直接作用于 U-Net 主干网络的交叉注意力输出（$CA_l$），该输出负责将文本语义注入潜在表示。作者认为，操纵 $CA_l$ 比仅操纵注意力图（$A_l$）更具原则性，因为 $CA_l$ 承载了实际的语义内容。
• 无数据能力（Data-Free Capability）： 该框架可以在无数据设置下进行训练，通过使用合成输入（例如随机拼图或高斯噪声）和单个目标图像来实现，使其即使在缺乏真实世界训练数据的情况下也适用。
• 推理效率： 一旦训练完成 UAP，免疫过程仅需一个简单的加法操作（$x_{adv} = x + \delta$）。这消除了对逐图像优化、专用硬件或额外神经网络的需求，从而实现了近乎零的推理延迟和内存成本。

主要贡献

1. 首个通用免疫框架： 本文提出了首个通过单一、输入无关的扰动来防御扩散式编辑的方法，消除了对测试时自适应的需求。
2. 语义注入策略： 作者引入了一种利用目标语义注入和源语义抑制损失的创新训练策略，以有效地覆盖原始内容并误导模型的注意力。
3. 性能-效率权衡： 该方法在实现竞争性或更优性能的同时，通过降低推理成本至接近于零，实现了与图像特定及无优化基准方法的平衡。
4. 强迁移性： 所提出的 UAP 在多种扩散模型（包括 Stable Diffusion V1.4、V2.0 和 InstructPix2Pix）以及不同架构（U-Net 和 DiT 类模型）中展示了鲁棒的黑盒迁移能力，且无需针对特定模型进行微调。

实验结果
在各种数据集（包括合成编辑和 ImageNet-Edit）及模型上进行了广泛实验：

• 优于通用基准方法： 在 PSNR、SSIM、VIFp、FSIM、LPIPS 和 CLIP 特征相似度等定量指标上，该方法显著优于现有图像特定方法的通用化版本（Encoder Attack、Embedding Attack 和 Semantic Attack）。
• 与图像特定方法相比具有竞争力： 尽管通用设置具有内在难度且扰动预算更严格（$\epsilon = 10/255$ 对比基准方法的 $16/255$），所提方法在有效性方面仍能达到甚至超越图像特定免疫方法。
• 鲁棒性： 该方法对各种净化技术保持了高性能，包括 JPEG 压缩、GrIDPure 以及基于扩散的净化（Conditional DiffPure、Noisy Upscaling）。
• 人类评估： 用户研究表明，该方法在不可感知性和有效性之间取得了良好的平衡，参与者对其在现实世界部署中的实用性给予了高度评价。

意义与主张
本文声称解决了 AI 安全领域的一个关键部署瓶颈，即提供了一种既具可扩展性又具高效性的防御手段。通过从逐图像优化转向预计算的通用扰动，作者实现了“零成本”的推理保护。这项工作强调，当设计具有特定语义注入目标时，通常被认为比图像特定扰动更弱的通用扰动，在扩散式编辑语境下可以非常有效。作者将此方法定位为一种实用的解决方案，旨在保护内容创作者和用户免受在计算资源和延迟受限的现实场景中的恶意编辑攻击。