🤖 machine learning

Improving Certified Robustness via Adversarial Distillation

本文介绍了 AD-CERT，这是一种结合了来自经验鲁棒教师模型的对抗蒸馏与区间界限传播（Interval Bound Propagation）的认证训练框架，旨在实现最先进的认证鲁棒性，同时显著改善标准准确率与形式化验证之间的权衡。

原作者： Matteo Melis, Jesus Martinez Del Rincon, Vishal Sharma

发布于 2026-07-01

📖 1 分钟阅读☕ 轻松阅读

原作者： Matteo Melis, Jesus Martinez Del Rincon, Vishal Sharma

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你有一个非常聪明的学生（一个计算机程序），他需要学习如何识别图片，比如猫或狗。但有一个陷阱：有人试图通过在图片中添加微小的、几乎看不见的“噪声”来欺骗这个学生——就像是一粒尘埃，让计算机把猫看成狗。这被称为对抗性攻击（adversarial attack）。

这篇论文介绍了一种训练这个学生的新方法，叫做 AD-CERT，旨在让学生既能聪明地识别普通图片，又能对这些诡计“刀枪不入”。以下是其工作原理的拆解，采用了简单的概念：

1. 两个问题：强壮 vs 安全

在 AI 训练的世界里，通常有两种不同的方法，而且它们经常互相冲突：

“街头斗士”（对抗性训练/Adversarial Training）： 这种方法通过向学生展示成千上上万张被欺骗过的图片来进行训练。学生学习如何在图片被破坏时进行反击并得到正确答案。这让学生在现实世界的测试中变得非常强大，但他们的内部逻辑会变得极其混乱和复杂，以至于没人能证明他们为什么是安全的。这就像是一个拳击手，虽然赢得了每一场比赛，但没有任何规则手册来解释他的招式。
“安全检查员”（认证训练/Certified Training）： 这种方法试图从数学上证明学生永远不会被欺骗。它使用一个严格的“安全网”（称为 IBP）来检查图片可能发生的所有变化。这创造了一个在数学上可证明安全的模型，但学生往往会变得过于谨慎，甚至开始在正常的、干净的图片上出错。这就像是一个安全检查员，因为太担心事故，以至于拒绝让任何人开车。

2. 新方案：“导师与安全网”

作者意识到，通过使用知识蒸馏（Knowledge Distillation），我们可以兼得两者之长。把这想象成一位大师老师和一名学生。

老师： 他们首先使用“街头斗士”法训练一个“老师”模型。这位老师在处理被欺骗的图片方面表现得极其出色（经验鲁棒性）。
学生： 然后他们训练一个“学生”模型。但学生不仅仅是独自应对诡计，他还会倾听老师的话。

AD-CERT 的配方：
学生使用一个两部分的配方进行学习：

老师的低语（对抗性蒸馏/Adversarial Distillation）： 学生观察一张被欺骗的图片，并试图匹配老师的“思考过程”（即“logits”或内部评分）。老师说：“尽管这张图片被弄乱了，但我 90% 确定这是一只猫。”学生学习像老师一样思考。这赋予了学生老师那种“街头智慧”般的强大力量。
安全网（IBP）： 与此同时，学生被迫通过严格的“安全检查员”数学运算。这确保了学生的最终答案在数学上被保证是安全的，能够抵御任何可能的诡计。

3. 为什么这很特别

通常，混合这两种方法很难，因为它们使用的语言不同。“街头斗士”使用的是硬性的、具体的例子，而“安全检查员”使用的是宽泛的、模糊的数学。

这篇论文的核心洞察是，老师的“低语”充当了一个替代物（surrogate），来代表那些复杂的数学计算。

想象一下，老师是一位经验丰富的侦探，准确知道罪犯会如何隐藏。
学生不需要去猜测罪犯如何隐藏；他们只需要模仿侦探的直觉。
同时，安全网（IBP）确保即使侦探错了，数学也会证明学生是安全的。

4. 结果

论文在标准图像数据集（如 MNIST、CIFAR-10 和 TinyImageNet）上测试了该方法。

结果： AD-CERT 学生成为了冠军。与其他所有先前的方法相比，它实现了最高的“认证准确率”（即在数学上被证明是安全的最高能力）。
权衡： 它在“标准准确率”（识别普通图片的能力）上并没有损失太多。事实上，它通常比其他安全方法表现更好。
代价： “街头斗士”老师与“安全”学生之间仍然存在差距。学生非常安全，但有时在识别普通图片时并不像老师那样出色。作者承认，在处理极难的谜题时缩小这一差距是下一个大的挑战。

总结类比

想象一下正在训练一名银行保安。

旧方法 A： 你通过向保安扔石头并教他躲避来训练他。他变得擅长躲避，但你无法证明他不会错过一些细微的诡计。
旧方法 B： 你教他一本涵盖所有可能角度的严格规则手册。他是完美的，但因为过于死板，以至于在平常日子里会被自己的脚绊倒。
AD-CERT： 你聘请了一位身经百战、经验丰富的保安（老师）来指导一名新兵（学生）。新兵学习如何模仿那位传奇保安躲避石头的本能（蒸馏），同时还要接受严格的数学安全清单（IBP）的测试。结果是一位既拥有躲避石头的本能，又在数学上被证明是安全的保安。

技术摘要：通过对抗蒸馏提升认证鲁棒性

问题陈述
神经网络极易受到对抗样本的攻击，即微小的输入扰动会导致分类错误。虽然对抗训练 (AT) 可以提高经验鲁棒性，但由此产生的模型难以进行形式化验证。相反，认证训练方法（通常通过区间边界传播，即 IBP）旨在优化最坏情况损失的上界，从而产生可验证的模型，但往往会导致标准准确率下降。最近的最先进方法试图通过在对抗下界和 IBP 上界之间进行插值来平衡这两者。然而，标准准确率与认证准确率之间的权衡仍然是一个重大挑战，尤其是在扰动半径增加时。

方法论：AD-CERT
作者提出了 AD-CERT（用于认证的对抗蒸馏），这是一种结合了对抗知识蒸馏与 IBP 边界的新型训练目标。其核心假设是：将对抗知识从经验鲁棒的教师网络转移到认证学生网络中，可以作为对抗下界的有效代理，从而改善“标准-认证”准确率的权衡。

AD-CERT 损失函数由两项线性组合而成：
$L_{AD-CERT} := (1 - \alpha) \underbrace{KL(P_{\theta_t}(x) \parallel P_{\theta_s}(x_{adv}))}_{\text{对抗蒸馏}} + \alpha \underbrace{L_{CE}(-z^{\Delta}_{\theta_s}(x, y), y)}_{\text{IBP}}$

其中：

$f_{\theta_t}$ 是通过标准对抗训练 (PGD) 训练的冻结教师网络。
$f_{\theta_s}$ 是正在进行认证训练的学生网络。
$x_{adv}$ 是针对学生网络生成的对抗样本。
对抗蒸馏 (AD) 项最小化教师在干净输入上的预测分布 ( $P_{\theta_t}(x)$ ) 与学生在对抗输入上的预测分布 ( $P_{\theta_s}(x_{adv})$ ) 之间的 Kullback-Leibler (KL) 散度。
IBP 项使用区间边界传播计算标准的认证上界损失。
$\alpha \in [0, 1]$ 用于平衡经验目标与认证目标。

理论见解
论文提供了对 AD-CERT 的理论分析：

代理下界： 研究表明，AD 项等效于带有软标签教师的对抗训练，充当了“教师引导的下界代理”。与优化硬下界的标准 AT 不同，AD-CERT 使用教师的软标签来引导学生在对抗样本上的行为。
标量化： 该目标是软标签对抗下界代理与认证 IBP 上界之间的标量化。
几何差异： 与追求任意大类间距的标准 AT 不同，AD 分支在 Logit 空间中诱导了一个由教师预测分布定义的有限目标 ( $\Delta z^*_{ij} = \log(P_{\theta_t}(x)_i / P_{\theta_t}(x)_j)$ )。这表明其优化景观更加平滑。

实验结果
作者使用 CTBench 库和 $\alpha,\beta$ -CROWN 验证器在 MNIST、CIFAR-10 和 TinyImageNet 上评估了 AD-CERT。

最先进的性能： AD-CERT 在所有评估的基于 ReLU 的架构上均实现了最先进的认证准确率。
- 在 MNIST 上，它比现有方法提供了持续且适度的改进。
- 在 CIFAR-10 上，它将先前最佳的基于 ReLU 的认证准确率平均提高了 0.37 个百分点，最大的增益出现在 $\epsilon = 2/255$ 时。
- 在 TinyImageNet 上，AD-CERT 在所有对比方法中实现了最高的认证准确率，显著提升了以往非蒸馏认证训练方法的标准准确率。
与蒸馏方法的比较： 在与执行鲁棒特征空间蒸馏的 CC-DIST 进行的受控比较中，AD-CERT（Logit 级蒸馏）实现了更高的认证准确率，而 CC-DIST 保留了略高的标准准确率。在特定设置下，AD-CERT 的认证准确率比 CC-DIST 高出多达 5.40 个百分点。
消融研究：
- 通过移除 IBP 组件来测试纯蒸馏技术，结果显示仅在干净输入上匹配教师（自然 KL）无法转移对抗鲁棒性。
- 当用作经验端点时，对抗性 Logit 级蒸馏 (AD) 比特征空间蒸馏或其他对抗蒸馏变体（如 RSLAD）能更有效地保留教师级的鲁棒性。
- 对 IBP 系数 $\alpha$ 的敏感性分析证实，降低 IBP 强度可以提高标准准确率，但最终会降低认证准确率，这与表达性损失（expressive loss）文献中的趋势一致。

意义与主张
论文声称 AD-CERT 成功弥合了经验鲁棒性与形式化验证之间的差距。通过将经验端点（使用教师引导的 Logit 级蒸馏）与认证端点（使用纯 IBP）解耦，该方法避免了先前工作中紧密耦合的表达性损失的复杂性。

作者强调，尽管 AD-CERT 实现了卓越的认证性能，但在较大的扰动半径下（例如 $\epsilon = 8/255$ 时的 CIFAR-10），经验鲁棒教师的标准/对抗准确率与认证学生之间仍存在显著差距。论文结论指出，虽然 Logit 级蒸馏是转移鲁棒性的有效机制，但未来仍需开发更强大的方法，以便在不牺牲标准准确率的情况下，将经验鲁棒性转化为可认证的鲁棒性。