🤖 AI

DiffUE: Enhancing Utility-Unlearnability Trade-off of Unlearnable Examples via Diffusion Autoencoders

本文介绍了 DiffUE，一种通过基于扩散的自编码器在语义空间中注入不可察觉的噪声，从而增强图像效用与不可学习性之间权衡的新颖方法，旨在创建既能有效抵抗重学习策略又能保持视觉保真度的鲁棒且高质量图像。

原作者： Syed Irfan Ali Meerza, Oktay Ozturk, Amir Sadovnik, Jian Liu

发布于 2026-07-14

📖 1 分钟阅读☕ 轻松阅读

原作者： Syed Irfan Ali Meerza, Oktay Ozturk, Amir Sadovnik, Jian Liu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你最心爱的照片是一份秘密食谱。在过去，如果你在网上发布这份食谱，狡猾的 AI 大厨就会偷走它，品尝它，并学会如何精准地复刻它，甚至无需你的许可。为了阻止这种行为，科学家们发明了“不可学习样本”（Unlearnable Examples, UEs）。你可以把它们想象成在食谱中加入了一小撮看不见的盐，让 AI 大厨心想：“嗯，这味道简直像白开水一样没味儿，”从而放弃学习。

但问题在于，旧的方法添加这种“盐”的方式就像是在厨房里直接往食物上撒盐（像素空间）。虽然有效，但往往会让食物看起来颗粒感很重、很奇怪或者毁掉了。此外，如果狡猾的大厨尝试清洗这道菜或换一种方式烹饪（使用诸如“对抗训练”或图像压缩等策略），这些盐就会被洗掉，AI 依然能学会那份食谱。

DiffUE 的出现改变了游戏规则。它不再是往食物上撒盐，而是向大厨的大脑（语义空间）低声传递一条秘密指令。它微调了这道菜的“意境”——也许是让光线稍微暖一点，或者让氛围变得更神秘一些——而没有改变实际的食材。

“耳语”的魔力

论文表明，通过使用一种叫做**扩散自编码器（Diffusion Autoencoder）**的特殊工具，DiffUE 可以推动图像的高层含义。这就像是告诉画家，“让天空看起来更像日落时分一点”，而不是在画布上画一个红点。因为这种变化发生在图像的“意念”层面，所以对人类肉眼来说看起来非常自然。事实上，在一项针对 56 名真实人士（包括摄影师和艺术家）的研究中，DiffUE 处理过的图像被评定为几乎与原始清晰照片一样好，自然度得分高达 4.65 ± 0.12（满分 5 分）。而旧方法呢？得分要低得多，例如一种流行的方法得分仅为 2.91，且人们非常讨厌那些颗粒状的伪影。

为什么旧的“盐”不起作用

论文明确反对“像素级噪声是最佳防御手段”的观点。研究人员发现，如果你只是在像素上添加噪声（旧方法），狡猾的 AI 可以轻易地“重新学习”图像。

清洗测试： 当研究人员尝试使用滤镜或将图像转为黑白来“清洗”图像时，旧方法表现得一败涂地。例如，在 CIFAR-10 数据集上，一种名为 EM 的旧方法在进行简单的灰度转换后，其保护效果大幅下降，导致 AI 的准确率达到了 83.23%。然而，DiffUE 依然稳固，将 AI 的准确率压低到了仅 13.9%。
压缩测试： 现实生活中涉及图像压缩（如 JPEG 或 WebP）。论文测量了这种保护在压缩下的生存能力。在 CIFAR-10 上，使用 JPEG 压缩时，旧的 EM 方法让 AI 学到了 45.22% 的数据。而 DiffUE 则守住了防线，仅为 17.22%。

机器中的“幽灵”

最令人兴奋的部分是，DiffUE 不仅仅是隐藏了图像，它还以一种非常特定的方式迷惑了 AI。作者通过在这些“耳语过”的图像上训练 AI 模型来测试这一点。

结果： 当 AI 试图从 DiffUE 图像中学习时，它陷入了困境。在 CIFAR-10 数据集上，即使 AI 尝试使用极其强硬的“对抗训练”（一种 AI 与噪声搏斗的技术），也只能达到 17.11% 的准确率。相比之下，在同样的条件下，旧方法会让 AI 的准确率高达 76.95%。
迁移性： 即使 AI 使用了不同的脑结构（比如从 ResNet-18 切换到 VGG-16），这种困惑依然存在。论文表明 DiffUE 具有“可迁移性”，这意味着它适用于不同类型的 AI 模型，而不只是针对它所设计的那个模型。

你能让它看起来不一样吗？

论文还提出了一个有趣的副作用：由于 DiffUE 作用于图像的“含义”，你实际上可以用它来进行微妙且酷炫的改动。例如，你可以微调图像，让一个人看起来拥有卷发或改变光影，而 AI 依然会被迷惑，同时你得到的是一张好看的照片。在尝试改变“微笑”或“发色”等属性的测试中，AI 识别该图像的能力降到了接近随机水平（准确率约为 51-52%），证明了即便图像看起来发生了变化，保护依然有效。

总结

作者在四个不同的数据集（CIFAR-10, CIFAR-100, CelebA-HQ, 和 ImageNet）上对这一切进行了衡量。他们并非凭空猜测，而是用数据说话。证据表明，相比于旧方法，DiffUE 是对抗 AI 窃取更强大的盾牌。它在保持图像美丽（高 PSNR 和 SSIM 分数）的同时，让 AI 几乎无法从中学习，即使 AI 尝试通过清洗、压缩或重新训练来破解。它虽然不是一个能永远解决所有隐私问题的魔杖，但它是对过去那种颗粒感重、易被破解的防御手段的一次巨大飞跃。

技术摘要：DiffUE

问题陈述

由于大量在未经许可的情况下从社交媒体和公共平台抓取的个人图像被用于训练 AI 模型，导致了严重的隐私侵犯问题，包括未经授权的面部识别和定向广告。虽然 GDPR 和 CCPA 等法规解决了数据收集的问题，但它们缺乏防止数据在集成到训练流水线后被持续使用的机制。

为了解决这一问题，研究人员开发了不可学习样本（Unlearnable Examples, UEs）：通过添加肉眼难以察觉的噪声来修改图像，从而阻止 AI 模型提取有意义的信息。然而，现有的 UE 方法面临两个关键局限性：

脆弱性： 当前的方法依赖于像素空间的噪声（例如，误差最小化噪声）。这些防御手段很容易被重新学习策略（如对抗训练、图像变换——缩放、灰度转换、以及压缩）所绕过。
可用性差： 增强像素空间噪声的鲁棒性通常需要更强的扰动，这会导致图像质量显著下降。这使得生成的图像出现颗粒感、伪影，无法用于专业用途或日常分享。此外，像素空间噪声会破坏格式的一致性，导致压缩伪影。

方法论：DiffUE

本文提出了 DiffUE，这是一个稳健的防御框架，它将防御性噪声的注入从像素空间转向了图像的语义空间。DiffUE 利用**扩散自编码器（Diffusion Autoencoder）**框架来操纵高层语义特征，而非原始像素值。

核心架构与流程

语义编码： 输入图像 $x_0$ $x_{0}$ 通过预训练的扩散自编码器被编码为两个潜变量：
- 高层语义代码 ( $z_{sem}$ )：一个捕捉全局、非空间语义的紧凑向量（类似于 StyleGAN 的风格向量）。
- 低层随机代码 ( $x_T$ )：保留局部和纹理细节。
防御噪声优化： DiffUE 不在像素中添加噪声，而是在语义空间内优化防御性语义噪声 ( $z_\delta$ $z_{δ}$ )。这是通过一个双层优化问题实现的：
- 内层最小化： 寻找 $z_\delta$ （受 $L_p$ -范数半径 $\rho_u$ 约束），使重建图像在代理模型 $g_\theta$ 下的分类损失最小化。
- 外层最小化： 更新代理模型参数 $\theta$ ，以反映典型的训练动态。
- 目标是使重建图像 $x_u$ 在代理模型中诱导产生接近零的损失，从而欺骗模型使其在处理受保护数据时“学不到”任何信息。
语义重建： 扰动后的语义表示 ( $z_{def} = z_{sem} + z_\delta$ ) 与随机代码 $x_T$ 相结合，并使用条件去噪扩散隐式模型 (Conditional DDIM) 进行解码。该过程重建出最终的不可学习图像 $x_u$ 。

关键机制

语义空间扰动： 通过在语义空间进行操作，DiffUE 创建了细微且逼真的修改（例如，光照变化、色调调整），这些修改符合学习到的图像流形。这些变化对人类观察者而言是不可察觉的，但会破坏神经网络的线性特征空间。
受控修改： 该框架允许进行有目的性的可选修改（例如，改变笑容或调整风格），通过将防御性噪声与源自线性属性分类器的特定语义方向对齐来实现。这在保持不可学习性的同时增强了可用性。
对重新学习的鲁棒性： 由于扰动改变的是高层属性而非像素值，因此它们天生能够抵抗像素域的滤波、压缩以及通常会使像素空间噪声失效的对抗训练策略。

核心贡献

语义空间注入： DiffUE 是首个将防御性噪声注入扩散自编码器语义空间的 UE 方法，超越了像素空间噪声的局限性。
增强的权衡： 该方法显著改善了图像效用（感知质量）与不可学习性之间的权衡。它在实现强力保护的同时，避免了与鲁棒像素空间方法相关的视觉退化。
对抗高级攻击的鲁棒性： DiffUE 在对抗训练、灰度转换、数据净化（基于扩散）以及有损压缩（JPEG、WebP、HEIC）等先进的重新学习策略面前表现出了卓越的抵抗力。
迁移性： DiffUE 生成的不可学习样本在不同模型架构（如 ResNet-18 到 VGG-16, ResNet-50, 和 DenseNet-121）之间表现出强大的迁移性，能够一致地将模型注意力从判别区域转移开。

实验结果

作者在 CIFAR-10、CIFAR-100、CelebA-HQ 和 ImageNet（前 100 类）上对 DiffUE 进行了评估，并将其与基准方法（Error-Minimizing (EM)、Robust Unlearnable Examples (REM) 和 Stable Error-Minimizing (SEM)）进行了对比。

对抗训练韧性： 在扰动半径为 $\rho_a = 4/255$ 的对抗训练下，DiffUE 保持了较低的测试准确率（例如，在 CIFAR-10 上为 17.11%），而 EM 和 REM 等基准方法的准确率分别回升至 76.95% 和 64.64%。
滤波与压缩： DiffUE 在均值/高斯滤波和有损压缩下依然有效。例如，在 JPEG 压缩下，DiffUE 在 CIFAR-10 上的准确率维持在 17.22%，而 EM 则降至 45.22%。
感知质量： 在 CelebA-HQ 上，DiffUE 达到了 FID 为 5.355（越低越好）和 SSIM 为 0.814（越高越好）的水平，显著优于基准方法（例如，EM 的 FID 为 11.612）。
用户研究： 在一项包含 56 名参与者（摄影师、艺术家、内容创作者）的研究中，DiffUE 获得了 4.65/5 的自然度评分（与清晰图像相匹配）以及 98.5% 的接受率，而 REM 的接受率仅为 19.2%。

重要性与主张

本文声称，在日益激进的 AI 环境中，DiffUE 为保护个人数据提供了一种更稳健且有效的解决方案。通过操纵语义特征而非像素值，DiffUE 解决了长期存在的图像质量与不可学习性之间的冲突。作者断言，他们的方法为实现“数据既能保持合法用途的可用性，又能有效抵御未经授权的 AI 训练及高级重新学习攻击”提供了一条可靠的路径。