🤖 machine learning

CEAR: Certified Ensemble Adversarial Robustness in DNNs

本文介绍了 CEAR，一种基于集成的方法，该方法通过将经验训练与随机平滑以及新颖的投票机制相结合，在多个数据集上实现了针对自适应白盒攻击的卓越认证鲁棒性。

原作者： Daniel Sadig, Mohammadreza Maleki, Hamed Karimi, Reza Samavi

发布于 2026-06-02

📖 1 分钟阅读☕ 轻松阅读

原作者： Daniel Sadig, Mohammadreza Maleki, Hamed Karimi, Reza Samavi

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你拥有一支由专家级守卫（深度神经网络）组成的团队，负责保护一座珍贵的建筑。他们的职责是识别访客，并让正确的人进入。但是，聪明的窃贼（对抗性攻击）会通过对访客的外貌进行微小到几乎不可察觉的改变——比如戴一顶略有不同的帽子或是一个细微的姿势变化——来欺骗守卫，从而让罪犯混入其中。

这篇论文介绍了一种新的安全系统，名为 CEAR（认证集成对抗鲁棒性）。它不仅仅依赖于单一的守卫或一种类型的诡计来阻止窃贼，而是结合了三种智能策略，使这个安保团队几乎无法被攻破。

以下是 CEAR 的工作原理，通过简单的概念进行拆解：

1. 多样化的守卫团队（集成/Ensemble）

大多数安全系统使用单个守卫或一组完全相同的守卫。如果窃贼识破了一个，他们就能识破所有人。

CEAR 的解决方案： CEAL 雇佣了一整支由不同守卫组成的团队（一个“集成”）。但这里的转折在于：每位守卫看世界的方式都略有不同。
类比： 想象给每位守卫配一副略微模糊的眼镜。一副眼镜可能比另一副更模糊一些。因为他们通过不同的“镜片”观察访客，所以一个能迷惑 A 守卫的诡计可能不会迷惑 B 守卫。这使得窃贼很难找到一个能同时奏效于整个团队的单一诡计。

2. “软性”训练（带温度的蒸馏/Distillation with Temperature）

通常，守卫接受的是非常严格的训练：“这是猫，那是狗。”但过于死板的守卫很容易被微小的变化所迷惑。

CEAR 的解决方案： 系统使用一位“首席教师”来训练守卫。首席教师不只是说“这是猫”，而是说：“这看起来有 80% 像猫，但也带有一点点狗的特征。”
类比： 这就像教孩子识别动物时，不是让他们死记硬背僵化的定义，而是向他们展示狼和狗之间的相似之处。这使得守卫的决策过程更加“平滑”。如果窃贼稍微改变了一只猫的耳朵，守卫不会突然惊慌失措地认为它是一辆汽车；他们依然能自信地判断：“它仍然是一只猫。”

3. “静态”推理（噪声对数/Noisy Logits）

当访客实际到达门口时，窃贼会试图研究守卫的反应，以寻找破门之道。

CEAR 的解决方案： 每次检查访客时，系统会在守卫观察图像之前，在图像中加入一点随机的“静电”或“噪声”。
类比： 想象守卫正透过一扇不断轻微震动的窗户观察访客。即使窃贼试图精确计算如何移动脸部以欺骗守卫，持续的震动也会让这种计算变得毫无意义。窃贼无法预测下一次守卫看到的景象究竟是什么。

4. 智能投票系统

一旦所有守卫都做出了决定，团队该如何决定谁才是正确的？CEAR 根据守卫的信心程度，使用两种不同的投票方法。

方法 A：几何中位数（适用于信心十足的情况）
- 工作原理： 如果守卫们的意见基本一致，这种方法会找到一个“中间地带”，并忽略那些离群值。
- 类比： 想象一群朋友在猜一个西瓜的重量。如果一个朋友猜 5 磅，另一个猜 500 磅，但其他人都说 20 磅，那么“几何中位数”就会忽略那些疯狂的猜测，坚持现实的共识。这在大家都很笃定时非常有效。
方法 B：鲁棒加权投票（适用于混乱的情况）
- 工作原理： 如果访客难以辨认（噪声较高），这种方法会更多地听取那些在处理困难案例时表现最准确的守卫的意见。
- 类比： 如果西瓜被毯子裹住了，很难看清，你不会平等地听取每个人的意见。你会更多地听取那位以擅长猜测包裹物体而闻名的朋友。这确保了团队不会被当前感到困惑的守卫所左右。

5. “安全证书”

CEAR 最令人兴奋的部分在于，它不仅仅是“希望”它是安全的，它还能证明这一点。

类比： 大多数安全系统会说：“我们认为我们是安全的。”而 CE以外，CEAR 就像一位巡视建筑的安全检查员，他会说：“我可以从数学上证明，无论窃贼如何摇晃这扇门（在一定限度内），锁都不会断裂。”
论文表明，与之前的方法相比，CEAR 能够证明其在更大范围的“摇晃”（扰动）下的安全性。

他们的发现是什么？

研究人员在三个不同的“训练场”（数据集）上测试了这个系统：

MNIST： 简单的手写数字（类似于基础安全测试）。
CIFAR10： 日常物品的彩色图片（类似于繁忙的街道）。
TinyImageNet： 更复杂、高分辨率的图像（类似于拥挤的机场）。

结果：

更好的安全性： CEAR 证明了它能抵御比以往方法更强的攻击。
更低的迁移性： 一个在团队中某位守卫身上奏效的诡计，无法在其他守卫身上奏效，因此窃贼无法重复利用他们的诡计。
智能适应： 系统知道何时使用“几何中位数”（情况明朗时），以及何时切换到“鲁棒加权”投票（情况混乱时），从而保持严密的安保。

简而言之，CEAR 是一个利用多样化视角、平滑训练、随机噪声和智能投票来数学化保证自身安全的团队，即使窃贼完全了解守卫的工作原理，也无法将其欺骗。

技术摘要：CEAR：深度神经网络中经过认证的集成对抗鲁棒性

问题陈述
深度神经网络（DNN）在标准测试集上取得了高精度，但对于对抗扰动（即能够剧烈改变预测结果的微小且难以察觉的输入修改）仍然高度脆弱。这种脆弱性阻碍了其在安全关键型应用中的部署。现有的防御机制分为两类：

经验防御（Empirical Defenses）： 如对抗训练和防御蒸馏等方法，虽然在训练期间提高了鲁棒性，但缺乏形式化保证，并且往往在面对强大的自适应白盒攻击（如 C&W、AutoAttack）时失效。
认证防御（Certified Defenses）： 如随机平滑（Randomized Smoothing）等方法，能够提供预测在特定扰动半径内保持不变的可证明保证。然而，单个分类器在较大的扰动半径下往往难以维持较高的认证准确率。
虽然集成方法通过聚合展示了提升鲁棒性的潜力，但现有方法通常面临高对抗迁移性（即对一个网络的攻击也会成功作用于其他网络）以及认证准确率随扰动预算增加而急剧下降的问题。

方法论
作者提出了 CEAR（Certified Ensemble Adversarial Robustness，经过认证的集成对抗鲁棒性），这是一个将经验与认证防御机制统一在集成训练流水线中的框架。该方法分为两个阶段运行：

鲁棒训练：
- 可变高斯增强（Variable Gaussian Augmentation, VGA）： 与使用统一噪声的标准集成不同，CEAR 为集成中的每个网络训练时都分配了不同的噪声水平。基准标准差 ( $\sigma_{tr}$ ) 被一个从均匀分布中采样的随机变量 $\beta$ 所扰动，从而为每个学生网络生成独特的噪声分布 ( $\sigma_{tr} + \beta$ )。这种多样性降低了对抗迁移性。
- 带温度缩放的蒸馏（Distillation with Temperature Scaling, DTS）： 教师网络被训练以生成软标签（通过温度参数 $t$ 平滑后的概率分布）。随后，学生网络在经过高斯增强的输入上利用这些软标签进行训练。这一过程平滑了决策边界并捕捉了类间相似性，从而提高了针对未知攻击的泛化能力。
鲁棒推理：
- 噪声对数（Noisy Logits）： 为了防止攻击者恢复原始对数（这是标准蒸馏中的一个漏洞），在推理阶段向输入数据中注入高斯噪声。这创造了本质上的随机对数，且无需修改模型参数，从而针对 C&W 等迭代攻击模糊了梯度。
- 聚合机制： CEAR 根据置信度区间采用两种投票策略：
  - 几何中位数（Geometric Median, GM）： 使用几何中位数聚合 Softmax 概率。该方法对离群值具有鲁棒性，并且在置信度高、低扰动的区域表现出色。
  - 鲁棒加权集成（Robust Weighted Ensemble, RW）： 根据每个学生网络在留出验证集上的个体认证准确率分配权重。具有较高认证准确率的网络对最终预测的贡献更大。该机制旨在处理更大的扰动预算和低置信度区间。
认证验证：
论文将随机平滑验证方法扩展到了集成分类器。它定义了一个平滑集成分类器 $G$ ，并使用蒙特卡洛采样来计算预测类别的概率下界。如果该下界超过 0.5，则模型被认证在计算出的半径 $R$ 内是鲁棒的。

核心贡献

CEAR 框架： 一个统一的防御框架，通过在集成流水线中结合 DTS 和 VGA 来促进决策边界的平滑性和多样性。它利用推理时的噪声对数来阻碍基于梯度的攻击，并利用 GM 和 RW 投票来恢复洁净准确率并提高鲁棒性。
扩展验证： 作者扩展了随机平滑验证方法，以正式验证基于集成的分类器的鲁棒性，并推导出了关于集成鲁棒半径的推论。
实验验证： 在 MNIST、CIFAR10 和 TinyImageNet 上的广泛实验表明，与最先进的基准方法（RandSmooth 和 SWEEN）相比，CEAR 在较大的半径下实现了更高的平均认证准确率，并表现出对基于梯度的白盒攻击更强的韧性。

实验结果

认证准确率： 在 MNIST 和 CIFAR10 上，CEAR 各变体均优于基准方法。具体而言，CEAR(GM) 在高置信度区域（小半径）实现了卓越的认证准确率，而 CEAR(RW) 在扰动半径增加且模型置信度下降时能维持更高的准确率。例如，在 $\sigma_v=1.0$ 的 CIFAR10 任务中，CEAR(RW) 在 $R=1.0$ 时达到了 20% 的认证准确率，超越了基准方法。
鲁棒半径： CEAR(RW) 在高扰动下的低置信度区域，始终比基准方法实现更大的认证鲁棒半径。
迁移性： CEAR 显著降低了攻击者针对迁移性攻击的成功率。在 $\ell_\infty$ 范数下的 CIFAR10 测试中，CEAR(RW) 将攻击者的成功率降至 46.00%，而 RandSmooth 为 96.56%，SWEEN 为 60.10%。
计算开销： 作为一种集成方法，CEAR 的计算开销随网络数量 ( $M$ ) 呈线性增长。然而，作者指出，对于需要可验证保证的安全关键型应用，这种开销是可以接受的。

意义与主张
论文声称，CEAR 通过有效地将集成多样性与认证防御机制相结合，解决了在较大扰动半径下增强鲁棒性的根本挑战。作者强调，聚合策略的选择至关重要：当集成预测具有高置信度时，优化后的几何中位数聚合更为理想；而在高不确定性的对抗环境下，固定的鲁棒加权则更为优越。这项工作证明，通过在训练期间整合可变噪声分布与自适应或鲁棒的投票机制，可以获得优于现有单网络及统一集成防御的可证明保证。作者最后指出，未来的工作将研究 DTS 中温度缩放对集成多样性和校准性的系统性影响。