🤖 machine learning

TARO: Temporal Adversarial Rectification Optimization Using Diffusion Models as Purifiers

本文提出 TARO，这是一种零样本推理时净化方法，它利用来自多个扩散噪声体制的时间引导分数先验，在抵御自适应攻击的全局鲁棒性校正与语义细节保留之间取得平衡。

原作者： Daniel Wesego, Pedram Rooshenas

发布于 2026-05-12

📖 1 分钟阅读☕ 轻松阅读

原作者： Daniel Wesego, Pedram Rooshenas

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你有一位非常聪明但容易困惑的保安（一个计算机程序），他在俱乐部门口检查身份证件。有人试图通过在朋友的身份证上贴一张微小到几乎看不见的贴纸来欺骗保安。在肉眼看来，这张卡片很正常，但这张贴纸却迷惑了保安的“眼睛”，让他误以为朋友是陌生人并拒绝其入场。这就是“对抗性攻击”愚弄人工智能时发生的情况。

为了解决这个问题，研究人员尝试了一种名为“对抗性净化”的方法。这就像是一个照相亭，它接收那张棘手的身份证，向其中添加一点静态噪声（就像把电视调到雪花频道），然后试图从这些噪声中重建出一张干净、清晰的照片。其想法是，静态噪声会冲掉那张贴纸，而重建过程则会还原出真实的面容。

然而，这篇论文指出了这种“照相亭”存在的问题：如果添加的静态噪声太多，你可能会丢失重要细节（比如人的眼睛颜色）；如果添加得太少，那张狡猾的贴纸可能就会幸存下来。这是一个艰难的平衡过程。

登场：TARO——“时空穿梭照相亭”

作者提出了一种名为 TARO（时序对抗校正优化，Temporal Adversarial Rectification Optimization）的新方法。TARO 不再仅仅使用照相亭的单一设置，而是利用一个专家团队，在图像“清洗”的不同阶段对其进行观察。

以下是 TARO 的工作原理，使用了一个富有创意的类比：

1. 专家团队（粗略 vs. 精细）

想象你正在尝试修复一幅非常古老且受损的画作。

“粗略”专家（高噪声）： 这位专家从远处观察画作。他看不清微小的笔触，但他非常擅长把握大局：“这肯定是一幅风景画，而不是肖像画。”由于那些微小的、伪造的划痕（即对抗性攻击）从远处看就像随机噪声，因此他非常擅长忽略它们。然而，他可能会错过人脸的具体细节。
“精细”专家（低噪声）： 这位专家拿着放大镜观察画作。他能看到眼睛和微笑的具体细节。但是，因为他靠得太近，可能会不小心保留一些伪造的划痕，误以为它们是艺术的一部分。

2. 神奇的组合

旧的方法试图只挑选一位专家，或者将他们的意见平均化。TARO 则更加聪明。它就像一位指挥家，在指挥一个乐团：

它听取**“粗略”专家**的意见，以确保整体结构正确（确保图像仍然是“风景”而不是“猫”）。
然后它听取**“精细”专家*的意见，以填补缺失的细节（确保这张脸看起来像你*的脸）。
它将这两种视角融合成一张完美的单一图像。

论文将这种方法称为“由粗到细”的方法。它利用“高噪声”视角来擦除攻击，同时利用“低噪声”视角来确保图像不会显得模糊或错误。

3. “引导强度”（音量旋钮）

TARO 拥有一个名为“引导强度”的特殊旋钮。

如果攻击非常狡猾且尖锐（例如某种特定的数字故障），系统会转动旋钮，更多地信任“粗略”专家以将其冲掉。
如果攻击模糊且分散，系统会转动旋钮，更多地信任“精细”专家以恢复细节。

这使得 TARO 能够适应不同类型的诡计，而无需重新训练。它能够进行“零样本”（zero-shot）操作，意味着它可以利用已有的知识立即处理新型攻击。

4. 为何这很重要（结果）

作者将 TARO 与一些非常棘手的“黑客”（称为自适应攻击）进行了测试，这些黑客确切地知道“照相亭”的工作原理并试图欺骗它。

结果： TARO 在去除诡计方面比以前的方法要好得多。它在保持图像看起来自然（高“清洁准确率”）的同时，成功阻止了黑客（高“鲁棒准确率”）。
代价： 由于它需要询问多位专家的意见并将其结合，运行时间会稍长一些。但论文认为，为了获得其提供的安全性，这点额外的时间是值得的。

5. 关于“虚假安全”的警告

论文还包含了一个非常重要的旁注，关于我们如何测试这些系统。
有时，研究人员在测试防御系统时，会让黑客在不查看整个过程的情况下猜测答案。这就像在不尝试钥匙的情况下，让人猜测锁的密码组合来测试锁的安全性。
作者指出，如果你不查看整个过程（包括清洗图像所需的时间），你可能会认为某种防御是 100% 安全的，而实际上它很脆弱。他们坚持认为，要确定一种防御是否真正强大，必须使用“全视角”攻击进行测试，这种攻击能看到清洗过程的每一步。

总结：
TARO 是一种更聪明的清理被愚弄的 AI 图像的方法。它不使用单一的“清洗”步骤，而是利用一个专家团队，从不同的距离（噪声水平）观察图像，以就真实图像应有的样子达成一致。这使得黑客更难愚弄系统，同时保持图像看起来栩栩如生。

技术摘要：TARO——时间对抗校正优化

问题陈述

深度神经网络仍然容易受到对抗样本的攻击，即不可感知的扰动会导致错误的预测。尽管对抗训练是一种主流的防御手段，但它存在训练成本高、对训练期间使用的扰动族具有特异性，以及在清洁准确率与鲁棒性之间存在权衡等问题。因此，对抗净化作为一种推理时防御策略应运而生，旨在将潜在的对抗输入映射回自然图像流形，然后再进行分类。

基于标准扩散的净化方法通过注入高斯噪声来衰减对抗结构，并通过反向扩散过程重建图像。然而，这些方法面临着固有的鲁棒性与保真度之间的张力：

低噪声去噪保留了局部图像内容，但可能保留对抗伪影。
高噪声去噪抑制了强扰动，但存在丢弃类别相关细节或漂移到错误语义模式的风险。

最近的评估表明，当攻击未能通过净化过程进行区分或未能考虑随机性时，关于随机净化的声明往往被夸大。此外，现有的测试时优化方法通常依赖于每个更新步骤中的单一扩散噪声机制，将多尺度信息坍缩为单一局部估计。此外，对抗感知变体通常需要在特定攻击分布上训练的辅助扰动模型，限制了其泛化能力。

方法论：TARO

作者提出了时间对抗校正优化（TARO），这是一种测试时净化框架，将扩散时间步视为尺度依赖的去噪专家。TARO 不依赖单一噪声水平，而是沿扩散轨迹聚合多个去噪视图，以构建时间引导的分数先验。

核心机制：仿射时间聚合

TARO 通过组合来自多个噪声专家的输出，构建了一个由粗到细的残差目标：

时间专家乘积（PoE）： 该方法定义了一个连续时间先验，其中对数密度是跨时间步的扩散诱导分布的加权积分。
仿射外推： 与需要非负权重（凸插值）的标准 PoE 不同，TARO 允许仿射聚合，其中权重可以为负，但总和为 1。这使得该方法能够执行超出标准插值的由粗到细的校正。
目标构建： 目标图像 $x_{target}$ $x_{t a r g e t}$ 构建如下：
$x_{target} = u_K + \sum_{j=1}^{K-1} \gamma^{K-j}(u_j - u_{j+1})$
其中 $u_j$ $u_{j}$ 代表来自特定噪声机制（专家）的去噪输出。
- 高噪声专家（ $u_K$ ）： 提供全局平滑结构，降低了对脆弱对抗成分的敏感性。
- 低噪声专家（ $u_j$ ）： 恢复图像特定、类别相关的细节。
- 引导强度（ $\gamma$ ）： 控制平衡。当 $\gamma > 1$ 时，该方法执行引导式外推，放大了由精细专家与粗糙专家之间的差异所定义的校正方向。

优化与正则化

优化： TARO 通过最小化固定目标损失 $\|sg(x_{target}) - x_i\|^2_2$ 来更新输入，其中 $sg(\cdot)$ 表示停止梯度操作，以便在更新过程中将目标视为固定。
专家一致性正则化： 为了稳定放大的时间校正（特别是对于 $\ell_2$ 攻击，跨时间步残差可能不稳定），TARO 引入了一致性损失 $L_{cons} = \sum_{i<j} \|u_i - u_j\|^2_2$ 。这鼓励时间专家在净化估计上达成一致。
混合变体（TARO-AA）： TARO 被设计为与对抗感知似然模型（如 AAOpt）互补。混合变体用 TARO 的时间共识先验替换 AAOpt 中的单尺度扩散先验，将内部时间校正与外部学习的残差模型相结合。

评估协议

论文强调了优化感知评估的必要性。由于 TARO 涉及内部优化循环，攻击必须：

针对完整的净化器 - 分类器组合。
通过变换期望（EOT）考虑随机性。
在内部优化循环中保持高阶梯度（图一致微分）。作者证明，如果不这样做，由于梯度掩蔽，会导致鲁棒性估计严重虚高。

主要贡献

TARO 框架： 引入了一种测试时净化器，将多个扩散噪声机制聚合为仿射由粗到细的去噪目标，有效地结合了鲁棒的全局结构与细粒度的语义保留。
理论解释： 将 TARO 解释为时间专家乘积聚合的仿射扩展，提供了风险和局部高斯解释，阐明了引导强度 $\gamma$ 的作用。
综合评估： 在强自适应攻击下进行评估，包括 PGD-EOT、BPDA-EOT、AutoAttack-EOT 和 DiffBreak。研究表明，TARO 提高了零样本 $\ell_\infty$ 鲁棒性，并且当与对抗感知似然或一致性正则化结合时，进一步增强了鲁棒性。
评估协议研究： 一项关键分析表明，对基于优化的净化器进行可靠的自适应评估需要保持高阶梯度，纠正了该领域先前对鲁棒性的过高估计。

实验结果

实验在 CIFAR-10、CIFAR-100、CIFAR-10-C 和 Imagenette 数据集上使用 WRN-28-10 和 WRN-70-16 分类器进行。

$\ell_\infty$ 鲁棒性： TARO 在净化方法中实现了最先进的鲁棒性。在 CIFAR-10 上使用 WRN-28-10 和 PGD-EOT 攻击时，TARO-3 达到了 88.57% 的鲁棒准确率，优于 AAOpt（85.12%），同时保持了较高的清洁准确率（约 93.45%）。
$\ell_2$ 鲁棒性： 原始零样本 TARO 对 $\ell_2$ 攻击较弱。然而，添加一致性正则化或对抗感知似然（TARO-AA）可显著恢复性能。TARO-2 + 一致性达到了 88.99% 的鲁棒准确率，优于 AAOpt（86.40%）。
DiffBreak 攻击： 在 DiffBreak 低频攻击下，标准扩散净化器的鲁棒准确率崩溃至 0.0%。TARO-2-AA 保持了 90.10% 的鲁棒准确率，显著优于 AAOpt（85.41%）。
可迁移性： TARO 在 Imagenette 数据集和迁移 DiffBreak 设置下仍然有效。
消融实验：
- 引导强度（ $\gamma$ ）： 最佳 $\gamma$ 因攻击类型而异（例如， $\ell_\infty$ 为 $\gamma=1.5$ ， $\ell_2$ 为 $\gamma=2.0$ ）。
- 梯度流： 移除停止梯度操作仅略微降低了鲁棒性，证实了收益源于时间多尺度校正而非断裂的梯度。
- 分类器独立性： 结果在不同分类器骨干网络（WRN-28-10 和 WRN-70-16）上均成立。

意义与主张

论文声称，TARO 提供了一种零样本校正信号，直接源自预训练的清洁图像扩散模型，无需重新训练或辅助攻击模型。其意义在于：

解决鲁棒性 - 保真度权衡： 通过利用时间专家乘积视角，TARO 避免了在鲁棒性 - 保真度谱系上锁定单一点，而是动态平衡全局校正与语义细节。
在自适应攻击下的优越性： TARO 展示了针对强自适应攻击（BPDA-EOT、DiffBreak）的韧性，在这些攻击下标准扩散净化器会失效，前提是评估协议正确考虑了优化循环。
模块化： 该框架与现有的对抗感知似然模型兼容，通过将时间先验与学习的残差模型相结合，为进一步提升鲁棒性提供了途径。

作者承认了局限性，包括由于多尺度优化导致的推理延迟增加，以及该防御的经验性质（缺乏认证鲁棒性）。他们得出结论，TARO 代表了向更可靠、更透明且经过仔细评估的安全关键应用防御迈出的重要一步。