🤖 AI

Bypassing Copyright Protection in Diffusion-based Customization via Two-Stage Latent Feature Optimization

本文介绍了 TS-LFO，一种两阶段潜特征优化攻击，它通过潜空间去噪和重构来恢复被破坏的输入到潜空间的映射，从而有效地绕过扩散模型定制化中的现有版权防御机制。

原作者： Ziang Xu, Wenbo Yu, Hongyao Yu, Hao Fang, Jiawei Kong, Bin Chen, Hao Wu, Shu-Tao Xia, Zhiyong Wu

发布于 2026-06-10

📖 1 分钟阅读☕ 轻松阅读

原作者： Ziang Xu, Wenbo Yu, Hongyao Yu, Hao Fang, Jiawei Kong, Bin Chen, Hao Wu, Shu-Tao Xia, Zhiyong Wu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

核心概览：数字锁匠 vs. 数字开锁匠

想象一下，你拥有一份非常特别且独特的蛋糕食谱（你的图像）。你想教一个机器人厨师（AI）如何制作这种特定的蛋糕，以便它能做出更多类似的蛋糕。

然而，你担心别人会偷走你的食谱并贩卖这些蛋糕。为了阻止这种情况，你决定在你的食谱书中撒入极少量、肉眼不可见的“毒素”（对抗性扰动）。这种毒素不会改变人类眼中蛋糕的外观，但会让机器人厨师感到晕头转向。当机器人试图从你的书中学习时，它会感到头晕目眩，最终做出一堆糟糕且无法辨认的废料。这就是目前的版权保护工作原理。

本论文介绍了一种名为 TS-LFO 的新方法。 请将其视为一个顶级的数字开锁匠。作者发现了一种方法，可以观察你那本“被投毒”的食谱，弄清楚毒素究竟是如何干扰机器人的，然后对指令进行恰到好处的“清洗”，使得机器人能够重新学习你的食谱，并忽略掉那些毒素。

当前防御机制是如何工作的（“毒素”）

论文解释说，目前的保护方法是通过破坏你展示给 AI 的图片与 AI 用来理解图片的“秘密代码”（潜空间/latent space）之间的联系来起作用的。

类比： 想象你向机器人展示一张猫的照片。机器人尝试将这张照片翻译成一段秘密代码。而“毒素”会让机器人把“猫”翻译成看起来像“烤面包机”的代码。
结果： 当机器人尝试根据这段代码去烘焙蛋糕时，它会做出一个烤面包机形状的蛋糕，而不是猫形状的蛋糕。这种保护之所以奏效，是因为机器人无法学习到正确的概念。

作者发现的问题

研究人员注意到了一些有趣的现象：这种“毒素”非常擅长搅乱高频细节（精细的、噪声状的静态部分），但它基本保留了低频细节（主要的形状和结构）。

类比： 如果你拍了一张清晰的猫的照片并加入大量的静态噪声，即使毛发看起来很模糊，你仍然能看出那是只猫。目前的防御机制正是依赖这种“模糊感”来破坏机器人的学习过程。

解决方案：两阶段潜特征优化 (TS-LFO)

作者构建了一个两步走的流程，用以修复“被投毒”的代码，让机器人重新学习真实的图像。

第一阶段：“去噪”阶段（清洗信号）

在这个阶段，该方法试图修复“秘密代码”，让机器人能够重新理解它。

类比： 想象机器人正试图听一首歌，但房间里充满了巨大的静电噪音（毒素）。
- 步骤 A（对齐）： 该方法强制要求机器人同时倾听歌曲和歌词，以确保它们是匹配的。
- 步骤 B（扩散损失）： 该方法通过模拟机器人通常如何学习清理噪声信号的过程，来教会机器人如何忽略静态噪声。
神奇之处： 他们使用了一个随过程变化的特殊“调节旋钮”。起初，他们专注于去除巨大的静态噪声；随后，他们专注于确保音乐听起来是正确的。这有助于机器人忽略毒素，转而关注音乐本身。

第二阶段：“重建”阶段（打磨图像）

在第一阶段结束后，代码虽然变好了，但由于之前的“毒素”，图像可能看起来仍有些模糊或怪异。

类比： 机器人拿到了正确的食谱，但食材稍微有点偏差。这个阶段就像一位严格的厨师，他会说：“最终的蛋糕必须看起来与原始照片完全一致，误差极小。”
结果： 它迫使最终生成的图像恢复成清晰、锐利的形状，并与原图相匹配，消除了由保护机制留下的任何残余模糊感。

研究发现（实验结果）

作者用他们的“开锁匠”测试了目前市面上最好的“锁”（版权防御手段），例如 AdvDM、SimAC 和 DisDiff。

结果： 他们的这种方法成功绕过了所有这些防御。
对比： 他们将自己的方法与其他“开锁匠”（如 DiffPure 和 GrIDPure）进行了比较。他们的表现更好，更能“窃取”图像的身份特征。
- 面部测试： 在尝试窃取面部特征时，他们的方法生成的面部看起来比其他方法更接近原貌。
- 质量测试： 生成的图像更加清晰且准确。

为什么这很重要（根据论文观点）

论文指出，目前的版权防御过于脆弱。它们依赖于一种特定的技巧（搅乱代码），而这种方法可以轻易地将其破解。

警告： 作者表示，这证明了目前的防御措施不够强大。他们希望这项研究能促使科学家们开发出更稳固、更难以被轻易破解的“锁”。
权衡： 该方法处理单张图像大约需要 6 分钟。作者认为这是可以接受的，因为训练 AI 去学习这张图像本身就需要更长的时间（15 到 30 分钟）。

总结

这篇论文展示了一种巧妙的两步走策略，用于移除版权捍卫者放在图像中的“隐形毒素”。通过首先清理 AI 对图像的内部理解，然后再强制最终图像与原图匹配，他们可以绕过几乎所有的现有保护措施，并让 AI 完美地生成受版权保护的图像。

技术摘要：通过两阶段潜空间特征优化绕过基于扩散模型的定制化版权保护

问题陈述
基于扩散模型的生成技术（特别是通过 DreamBooth 和 Textual Inversion 等定制化技术）的快速发展，引入了显著的知识产权风险。恶意行为者可以通过在受版权保护的图像上对这些模型进行微调，从而伪造视觉内容或仿冒身份。作为回应，研究人员开发了对抗性防御机制（例如 AdvDM、SimAC、DisDiff），通过在输入图像中注入针对性的扰动来应对。这些扰动旨在破坏模型学习个性化概念的能力，从而抑制未经授权的生成。然而，作者观察到，这些防御机制依赖于一个特定的漏洞：它们破坏了潜在扩散模型（LDM）中输入图像与其潜空间表示之间的稳定语义映射。虽然这些防御对朴素攻击有效，但它们引入了高频噪声并损坏了潜特征，这为针对性的绕过创造了机会。

方法论：两阶段潜空间特征优化 (TS-LFO)
本文提出了 TS-LFO，这是一个旨在恢复被破坏的潜图像映射并绕过最先进（SOTA）版权防御的攻击框架。该方法在白盒威胁模型下运行，攻击者拥有受保护图像 ( $x_{adv}$ ) 以及 LDM（VAE 和 Unet）的架构访问权限，但无法获取原始洁净图像 ( $x$ ) 或具体的防御参数。

该框架由两个连续的优化阶段组成：

潜空间去噪阶段 (Latent Denoising Stage)：
主要目标是消除高频对抗性扰动，并恢复潜代码与输入图像之间的语义一致性。作者引入了一个联合优化目标：
- 潜空间-图像对齐损失 ( $\mathcal{L}_{align}$ )：该损失最小化受保护图像 ( $x_{adv}$ ) 与通过 VAE 解码器重建的最优潜特征 ( $z$ ) 之间的差异。令人惊讶的是，作者发现传统的均方误差（MSE）在此背景下优于 LPIPS 或 SSIM 等感知指标，因为高级指标可能会将对抗性扰动误认为合法的特征。
- 扩散模型损失 ( $\mathcal{L}_{DM}$ )：该损失模拟下游 Unet 的训练动态。它通过最小化处理优化后的噪声版本潜特征时，预训练且冻结的 Unet 的噪声预测误差。通过降低这一代理训练损失，攻击确保了该潜特征对于扩散模型而言是“易于学习”的。
- 随时间步变化的权重 (Timestep-Varying Weighting)：为了平衡这两个损失，作者采用了取决于扩散时间步的线性变化权重因子 ( $\lambda_t$ )。这防止了优化过程在不同的去噪轨迹阶段过度偏向其中一个损失项。
潜空间重建阶段 (Latent Reconstruction Stage)：
在去噪阶段之后，优化的潜特征可能仍缺乏高保真度的结构细节或包含残余扰动。此阶段应用像素级约束来精炼潜表示：
- 潜特征被解码到图像空间，并在原始受保护图像的一个极小范围 ( $\epsilon_{rec}$ ) 内进行截断以保持语义保真度，然后重新编码。这一步恢复了低频语义信息，并确保最终的潜特征适用于高质量生成，且不会显著偏离源内容。

核心贡献

新颖的攻击框架：本文引入了 TS-LFO，这是一种两阶段攻击，专门针对版权防御破坏潜空间-图像映射的机制。它利用结合了对齐损失和扩散损失以及动态权重的组合来恢复这些映射。
机制分析：作者提供了理论和实证分析，证明现有的防御机制是通过破坏编码器的潜表示并增加 Unet 的训练损失来发挥作用的。TS-LFO 旨在逆转这些特定效应。
全面的评估：该研究针对多种 SOTA 防御（Anti-DreamBooth、AdvDM、SimAC、DisDiff、PhotoGuard）对 TS-LFO 进行了评估，并将其性能与先进的攻击基准（DiffPure、GrIDPure、IMPRESS）在不同数据集（CelebA-HQ、LSUN-Cat、LSUN-Sheep）上进行了比较。

实验结果
广泛的实验表明，TS-LFO 一致地优于现有的版权攻击方法：

防御绕过：TS-LFO 显著降低了 SOTA 防御的有效性。例如，在 Textual Inversion 实验中，该方法将 FID 分数（衡量生成质量的指标）恢复到了接近基准的水平，而未受攻击的防御模型则表现出明显的退化。
优于基准方法：与 DiffPure、GrIDPure 和 IMPRESS 相比，TS-LFO 实现了更低的 FID（更好的质量）、更高的 CLIP 图像相似度，以及在人脸数据集上更好的身份一致性（通过 ISM 测量）。
泛化能力：该方法在不同的图像分布（人脸、猫、羊）和不同的定制化技术（DreamBooth 和 Textual Inversion）上均被证明是有效的。
消融实验：作者验证了每个组件的必要性，表明随时间步变化的权重以及对对齐损失中 MSE 的特定选择对于实现最优性能至关重要。他们还指出，虽然 TS-LFO 每张图像大约需要 6 分钟，但与实际定制化训练所需的 15-30 分钟相比，这是可以接受的。

意义与主张
本文声称，TS-LFO 对当前对抗性版权保护策略的鲁棒性构成了重大挑战。通过利用潜空间破坏这一特定漏洞，作者证明了当前的防御机制可以被系统性地绕过，从而实现高保真的未经授权生成。

作者将这项工作定位为并非对版权侵权的背书，而是对该领域的一次必要压力测试。他们认为，保护研究人员往往关注传统的攻击，而忽视了针对像 TS-LFO 这样先进的、有针对性的攻击的鲁棒性。因此，本文呼吁开发更复杂的防御机制，以应对潜空间中的特征漏洞，并强调需要建立平衡版权保护与生成式 AI 开放创新的伦理框架。作者已公开其源代码，以促进对鲁棒防御的进一步研究。