🤖 machine learning

Stabilizing Multi-Attack Adversarial Training via Bandit Optimization

本文提出了校准对抗采样（Calibrated Adversarial Sampling, CAS），这是一个基于多臂老虎机（multi-armed bandit）的框架，通过在每次迭代中动态选择单一攻击来平衡探索与利用，从而高效地稳定多攻击对抗训练，在降低计算成本的同时防止过度参数漂移并提高整体鲁棒性。

原作者： Rui Wang, Zeming Wei, Xiyue Zhang, Meng Sun

发布于 2026-08-06

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Rui Wang, Zeming Wei, Xiyue Zhang, Meng Sun

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一个机器人识别猫和狗。你希望它变得超级聪明，但有一个陷阱：一些狡猾的骗子正试图欺骗它。这些骗子可以在一张猫的照片上添加微小的、肉眼看不见的划痕（让机器人误以为是狗），或者改变光照、使图像模糊，甚至把照片变成奇怪的万花筒图案。在人工智能的世界里，这些诡计被称为“对抗性攻击”（adversarial attacks）。为了阻止这些行为，科学家们使用了一种叫做“对抗训练”（Adversarial Training）的方法，即专门向机器人展示这些带有诡计的照片，以便它学会忽略这些干扰。

问题在于，这类诡计有很多种——有些是微小的像素划痕，有些是像雾或雨这样的大型天气效应。如果你试图让机器人同时应对所有这些诡计，它会感到困惑；如果你试图一个接一个地教它，它可能会忘记之前学过的诡计。这就像是在尝试同时学习同时玩转火、水和沙子：如果过度专注于火，可能会导致你弄丢水。这篇论文探讨了那个混乱且令人困惑的中间地带：我们需要我们的 AI 对每一种诡计都具备强大的抵抗力，同时又不能让计算机过载，或者让机器人忘掉它学到的东西。

这项研究背后的研究人员 Rui Wang、Zeming Wei、Xiyue Zhang 和 Meng Sun 意识到，旧的方法要么太慢，要么太不稳定。有些方法试图在同一时刻对抗每一种攻击类型，这就像是要求一位厨师在同一个炉灶上同时烹饪二十道复杂的菜肴——这不仅耗时极长，而且食物会被烧焦。其他方法只是随机挑选一种攻击进行练习，虽然速度更快，但会导致机器人在某种诡计面前变得“醉熏熏”的，从而忘记了其他诡计，在不同的坏习惯之间剧烈摆动。

为了解决这个问题，团队发明了一种聪明的策略，称为校准对抗采样（Calibrated Adversarial Sampling, CAS）。他们决定将训练过程看作一场老虎机游戏（或者用数学术语称为“多臂土匪问题”，multi-armed bandits）。想象一下你面前有一排老虎机，每一台都代表一种不同类型的攻击（一台针对雾，一台针对像素划痕，一台针对模糊等等）。你不知道哪台机器现在能给你最好的“奖励”（即让机器人变得更聪明）。

CAS 并不采取同时拉动所有摇杆（太慢）或仅仅随机拉动一个摇杆（太混乱）的做法，而是扮演一个精明的赌徒。它会为每台机器保留一份记分卡。如果某台机器（攻击类型）最近一直在帮助机器人进步，赌徒就会更频繁地拉动那个摇杆。但神奇之处在于：赌徒还会留意那些有一段时间没被访问过的机器。如果机器人变得非常擅长处理雾，却忘记了如何处理雪，系统就会注意到并说：“嘿，让我们多拉几次‘雪’的摇杆，以保持平衡。”

论文表明，这种“精明赌徒”的方法效果惊人。通过仔细平衡用于练习不同诡计的时间，机器人可以学会对各种攻击具有强大的抵抗力，而无需同时计算所有内容。在实验中，他们在标准数据集（如 CIFAR-10 和 CIFAR-100）上进行了测试，使用了包含 21 种不同攻击的组合，其中包括标准的像素攻击和奇特的语义攻击，如“木纹”（Wood）、“弹性”（Elastic）和“监狱”（Prison）（没错，这些都是图像畸变的真实名称）。

结果非常令人振奋。新的方法 CAS 能够让机器人在对抗攻击方面达到与那些缓慢、沉重的方法相当的强度，但它的速度要快得多。它还保持了较高的“洁净准确率”（即识别正常图片的能力），而这通常是试图让 AI 变得过于强悍时会遇到的问题。研究人员发现，通过使用特定的数学公式来决定下一步练习哪种攻击，他们可以防止机器人离“成为一名优秀学习者”的目标太远。他们甚至从数学上证明了，只要不过度施压，这种方法是稳定的，不会导致机器人失控。

简而言之，这篇论文表明，我们不需要通过蛮力来实现超安全的 AI。相反，通过使用一种平衡“探索”（尝试新事物）与“利用”（坚持行之有效的方法）的智能自适应策略，我们可以训练出能够应对几乎任何情况的模型，而不需要超级计算机。这有点像训练一名武术家：你不能每天只对着同一个沙袋练习；你需要混合加入实战对练、步法和防御训练，以一种让你的身体保持平衡并随时应对任何突发状况的方式来进行。

技术摘要：通过多臂老虎机优化稳定多攻击对抗训练

1. 问题陈述

深度神经网络（DNN）在面对多样化的对抗扰动时仍然脆弱，这些扰动涵盖了从不可察觉的 $\ell_p$ 范数攻击到语义失真（如 JPEG 压缩、天气效应）。虽然对抗训练（AT）是主要的防御手段，但现有方法在同时处理多种攻击类型时面临着根本性的效率-稳定性困境：

高计算开销： 在每次迭代中都为所有攻击类型计算梯度的算法（例如 AVG 或 PCGrad 等多任务优化方法）会产生随攻击数量线性增长的极高成本。
过度参数漂移： 随机采样方法（例如每次迭代选择一种随机攻击）虽然计算效率高，但往往会导致训练不稳定。它们可能导致过度的参数漂移，即模型针对特定采样的攻击进行优化，从而“忘记”了对其他攻击的鲁棒性，或者无法平衡相互冲突的优化目标。

本文指出，不同的攻击类型通常表现出互斥扰动（MEPs），即提高对一种攻击类型的鲁棒性可能会降低对另一种攻击类型的性能。此外，顺序微调（sequential fine-tuning）也会失败，因为累积的参数漂移会将模型推离对先前训练的攻击具有鲁棒性的区域。

2. 方法论：校准对抗采样 (CAS)

作者提出了**校准对抗采样（Calibrated Adversarial Sampling, CAS）框架，将多攻击对抗训练重新表述为一个多臂老虎机（Multi-Armed Bandit, MAB）**优化问题。在此公式化定义中，每种攻击类型都是一个“臂”，其目标是选择每轮迭代的最佳攻击，以在平衡探索与利用的同时最大化整体鲁棒性。

核心组件：

动态奖励设计： 不同于具有静态奖励的标准老虎机，CAS 为每次迭代选择的攻击 $v$ 定义了一个复合奖励 $R_v$ ，由以下部分组成：
1. 边际鲁棒性增益 ( $R^{self}_v$ )： 通过分析滑动窗口内对数变换损失轨迹的斜率，估算针对攻击 $v$ 的即时鲁棒性提升。这实现了不同攻击规模下损失量级的归一化。
2. 跨类型权衡 ( $R^{tradeoff}_v$ )： 量化针对攻击 $v$ 进行训练对其他攻击类型的影响。它将其他攻击损失的变化归因于当前的采样选择，对于正向迁移给予奖励，对于性能下降给予惩罚。这显式地建模了攻击目标之间的干扰。
平衡探索与利用： CAS 采用**置信区间上界（Upper Confidence Bound, UCB）**策略来选择下一个攻击。选择得分结合了奖励的指数（利用）与与该攻击被采样次数成反比的项（探索）。这确保了采样次数较少的攻击会被定期选择以更新其奖励估计，从而防止灾难性遗忘并保持平衡的鲁棒性。
混合损失函数： 训练目标使用类 TRADES 的损失函数，将所选攻击的对抗损失与干净数据的损失相结合，以保持干净样本的准确率。
理论基础： 本文提供了一个理论分析，推导出了一个安全参数漂移阈值。文中证明，当参数位移超过由梯度对齐和 Hessian 曲率决定的界限时，性能会发生退化。CAS 旨在通过动态调整采样分布，将更新保持在这一安全区域内。作者还建立了 CAS 在随机攻击选择下的收敛性，证明了在标准假设（强凸性和有界方差）下具有 $O(1/t)$ 的收敛速率。

3. 主要贡献

方法论创新： CAS 是第一个利用老虎机优化并显式量化跨攻击交互作用来稳定训练的多攻击对抗训练框架。
理论分析： 本研究推导了防止顺序微调期间鲁棒性退化的参数漂移安全阈值，并证明了所提随机训练方法的收敛性。
实证验证： 在 CIFAR-10、CIFAR-100 和 SVHN 上的广泛实验表明，CAS 在保持高干净准确率的同时，实现了对 21 种不同攻击类型（包括 $\ell_p$ 和语义攻击）的卓越整体鲁棒性。

4. 实验结果

作者将 CAS 与包括随机采样（SAT）、自适应采样（E-AT）、固定顺序顺序微调以及多任务优化（AVG, PCGrad）在内的基准方法进行了评估。

性能： CAS 在所有数据集上始终取得了最高或接近最高的干净准确率和平均鲁棒准确率。值得注意的是，在模拟自动驾驶场景的 SVHN 数据集上，CAS 的平均鲁棒性超越了所有基准方法。
效率： 虽然多任务方法（AVG, PCGrad）提供了具有竞争力的准确率，但由于每轮迭代都需要计算所有梯度，它们的运行速度明显更慢（比 CAS 慢约 20 倍）。CAS 在保持与单攻击采样方法（SAT, E-AT）相当的时间成本的同时，提供了更优的稳定性。
消融实验：
- Epoch 数： 研究发现 10 个 epoch 是最优的，平衡了训练初期的不稳定性与后期收益递减的问题。
- 超参数 $\alpha$ ： 用于控制探索与利用平衡的 $\alpha$ 值在 10 到 20 之间时提供了最佳权衡。
- 扰动范围： 在微调期间扩大攻击类型的范围通常可以提高平均鲁棒性，仅对特定攻击类型产生轻微的负面影响。

5. 意义与主张

本文声称 CAS 提供了一种可扩展且有原则的方法，用于解决多攻击场景下的鲁棒泛化问题。通过将问题重新定义为老虎机优化任务，CAS 有效地缓解了困扰现有方法的“效率-稳定性”权衡。

作者强调，其方法不仅仅是平均梯度，而是主动管理冲突的鲁棒性目标之间的动态权衡。这使得预训练模型能够高效地进行微调，以应对多样化的现实世界对抗条件（如自动驾驶或多媒体处理中的情况），而无需承担全量多任务优化的高昂计算成本。这项工作为实现通用的鲁棒性建立了一种新范式，即模型必须能够同时对范数约束型扰动和语义扰动保持韧性。