Sample-Specific Noise Injection For Diffusion-Based Adversarial Purification

这是一份关于论文《Sample-Specific Noise Injection For Diffusion-Based Adversarial Purification》（基于扩散模型的对抗净化中的样本特定噪声注入）的详细技术总结。

1. 研究背景与问题 (Problem)

背景：
深度神经网络（DNN）容易受到对抗样本（Adversarial Examples）的攻击，即通过在输入图像上添加人眼不可见的扰动来误导模型做出错误预测。为了防御此类攻击，对抗净化（Adversarial Purification, AP） 成为一种有效的防御机制，它利用预训练的生成模型在分类前将对抗样本“净化”回自然样本。近年来，基于扩散模型的净化（Diffusion-Based Purification, DBP）方法因其强大的去噪能力而备受关注。

核心问题：
现有的 DBP 方法（如 DiffPure, GDMP, GNS）通常采用固定的噪声注入水平（Constant Noise Level, $t^*$） 对所有样本进行前向扩散过程。即无论输入样本是干净的还是受到强/弱扰动的对抗样本，都注入相同量的噪声。
作者发现这种“一刀切”的策略存在严重缺陷：

1. 噪声不足： 对于受到强扰动的对抗样本，固定的 $t^*$ 可能太小，导致扩散模型无法充分破坏对抗噪声，净化后的样本仍保留对抗特征，鲁棒性差。
2. 噪声过度： 对于干净的样本或弱扰动样本，固定的 $t^*$ 可能太大，导致前向过程过度破坏样本的语义信息，使得反向生成过程难以恢复原始语义，从而降低干净样本的准确率（Clean Accuracy）。

核心假设： 每个样本都有其最优的噪声注入水平 $t^*$。样本越干净，应注入越少噪声；样本越受污染（对抗扰动越强），应注入越多噪声。

---

2. 方法论 (Methodology)

为了解决上述问题，作者提出了 样本特定分数感知噪声注入（Sample-specific Score-aware Noise Injection, SSNI） 框架。

2.1 核心思想

SSNI 利用分数范数（Score Norm） 作为度量，评估每个样本偏离干净数据分布的程度，并据此自适应地调整该样本的噪声注入水平 $t^*$。

• 分数（Score）： 定义为对数概率密度的梯度 $\nabla_x \log p_t(x)$，指向数据分布的高密度区域。
• 分数范数（Score Norm）： $\|\nabla_x \log p_t(x)\|$。
  • 原理： 位于低概率区域（如对抗样本）的点通常具有较大的分数范数；而位于高概率区域（如干净样本）的点分数范数较小。
  • 发现： 实验表明，分数范数与对抗扰动的强度（Perturbation Budget）呈正相关。

2.2 技术实现流程

1. 分数估计： 使用预训练的分数网络（Score Network）$s_\theta$ 计算样本的分数。为了避免单一时间步 $t_S$ 带来的敏感性，采用期望扰动分数（Expected Perturbation Score, EPS），即在不同噪声水平下对分数范数取期望，以获得更鲁棒的估计。
2. 重加权函数（Reweighting Function）： 基于计算出的分数范数 $\|EPS(x)\|$，设计函数 $f(\cdot)$ 将全局固定的 $t^*$ 调整为样本特定的 $t(x)$：
   $$t(x) = f(\|EPS(x)\|, t^*)$$
   作者提出了两种重加权函数：
   • 线性重加权（Linear）： 基于分数范数与干净数据基准的归一化比例进行线性调整。
   • 非线性重加权（Non-linear）： 基于 Sigmoid 函数，使调整过程更加平滑，并引入偏置项（Bias term）以允许 $t(x)$ 超过原始 $t^*$，确保强对抗样本能获得足够的噪声注入。
3. 自适应净化流程：
   • 输入样本 $x$。
   • 计算其分数范数，确定该样本特定的 $t(x)$。
   • 执行前向扩散过程，注入 $t(x)$ 对应的噪声。
   • 执行反向生成过程，去噪并恢复样本。
   • 输入分类器进行预测。

2.3 框架通用性

SSNI 被设计为一个通用框架，可以无缝集成到现有的任何 DBP 方法中（如 DiffPure, GDMP, GNS），无需重新训练扩散模型或分类器。

---

3. 主要贡献 (Key Contributions)

1. 理论发现： 首次通过实验和理论分析证明了在基于扩散的净化中，不同样本存在不同的最优噪声注入水平 $t^*$。固定的 $t^*$ 无法同时兼顾干净样本的准确率和对抗样本的鲁棒性。
2. 提出 SSNI 框架： 提出了一种轻量级的、样本特定的噪声注入机制。利用分数范数作为代理指标，动态调整噪声水平，实现了“对干净样本少加噪，对对抗样本多加噪”的自适应策略。
3. 性能提升： 在 CIFAR-10 和 ImageNet-1K 数据集上，将 SSNI 与多种主流 DBP 方法结合，显著提升了标准准确率（Clean Accuracy） 和 鲁棒准确率（Robust Accuracy），特别是在面对自适应白盒攻击（如 PGD+EOT, BPDA+EOT）时表现优异。
4. 效率与通用性： 证明了该方法的计算开销极小（仅增加约 0.5-5 秒推理时间），且能兼容不同的模型架构（CNN 和 Transformer）及不同的扩散采样方法。

---

4. 实验结果 (Results)

作者在 CIFAR-10 和 ImageNet-1K 数据集上进行了广泛评估，对比了 DiffPure、GDMP 和 GNS 三种基线方法。

• 对抗 PGD+EOT 攻击（CIFAR-10）：
  • 结合 SSNI-N（非线性重加权）后，DiffPure 的标准准确率提升了 3.58%，同时鲁棒准确率也提升了 0.65%。
  • 对于 GDMP，标准准确率提升 1.63%，鲁棒准确率大幅提升 4.23%。
  • 在 $\ell_2$ 范数攻击下，同样观察到了标准准确率和鲁棒性的显著改善。
• 对抗 BPDA+EOT 攻击（更强的自适应攻击）：
  • SSNI 在 BPDA+EOT 攻击下依然有效，证明了其防御机制未被梯度掩盖（Gradient Masking）所欺骗。
  • 例如，DiffPure + SSNI-N 在 BPDA+EOT 下标准准确率提升 3.58%，且保持了鲁棒性。
• ImageNet-1K 扩展性：
  • 在大规模数据集上，SSNI 同样提升了所有基线方法的表现。例如，DiffPure 的标准准确率从 68.23% 提升至 70.25%，鲁棒准确率从 30.34% 提升至 33.66%。
• 消融实验：
  • 重加权函数： 非线性函数（Sigmoid）通常优于线性函数，能更好地平衡准确率和鲁棒性。
  • 分数范数 vs EPS： 使用 EPS（期望扰动分数）比单一时间步的分数范数更能保持鲁棒性。
  • 计算成本： 在 A100 GPU 上，SSNI 仅比基线方法增加约 0.5 秒（CIFAR-10）或 5 秒（ImageNet-1K）的推理时间，证明了其轻量化特性。

---

5. 意义与影响 (Significance)

1. 重新定义 DBP 范式： 该工作挑战了 DBP 领域长期存在的“固定噪声水平”假设，提出并验证了“样本特定噪声注入”的必要性，为未来的扩散净化研究提供了新的视角。
2. 打破准确率 - 鲁棒性权衡（Trade-off）： 传统的防御方法往往在提升鲁棒性时牺牲干净样本的准确率。SSNI 通过自适应机制，成功打破了这一权衡，实现了两者同时提升。
3. 实用性强： SSNI 作为一个即插即用的模块，计算开销低，易于集成到现有的防御系统中，具有极高的实际应用价值，特别是在对安全性要求极高的自动驾驶、医疗诊断等场景中。
4. 理论深度： 论文不仅提供了实验验证，还通过数学推导（附录 K）建立了分数范数与扩散过程噪声水平之间的理论联系，增强了方法的理论可信度。

总结：
这篇论文通过敏锐地观察到固定噪声水平在对抗净化中的局限性，创新性地提出了 SSNI 框架。利用分数范数作为样本“污染程度”的度量，实现了噪声注入的自适应调整。实验结果表明，该方法在保持计算高效的同时，显著提升了扩散模型在对抗防御中的性能，是扩散模型安全领域的一项重要进展。