Improving Adversarial Robustness via Activation Amplification and Attenuation

技术摘要：通过激活放大与衰减提升对抗鲁棒性

问题陈述
深度神经网络（DNNs）极易受到对抗样本的攻击——这些输入包含旨在误导模型预测的微小扰动。这种脆弱性通常归因于网络内部表示中存在的“非鲁棒特征”。虽然先前的防御策略尝试通过剪枝、掩码或特征重校准来缓解这一问题，但这些方法往往面临权衡。一些方法完全丢弃非鲁棒特征，可能导致有用信息的丢失；而另一些方法则引入了复杂的插件模块，带来了显著的参数开销并降低了可解释性。此外，现有的用于分布外（OOD）检测的激活缩放技术通常依赖于不可微操作（如 top-k 选择）或指数形式，这会导致梯度饱和，使其不适用于端到端的对抗训练。

方法论：激活放大与衰减 (A3)
作者提出了 A3，这是一个轻量级的插件模块，旨在通过受控的重缩放机制来增强对抗鲁棒性。A3 集成到骨干网络中（例如在特定的 ResNet 块之后），并对中间激活值 ($z$) 进行操作。

1. 可学习的掩码与缩放：
   A3 不采用硬剪枝，而是使用一个基于可学习投影和 Gumbel-Softmax 技巧的可微通道级二值掩码 ($m$) 来识别通道。该掩码根据原始激活强度的分布来识别通道。
   该模块计算来自激活值的两个统计量：总强度 ($s_1$) 和被掩码子集的强度 ($s_2$)。利用这些统计量，通过对数公式推导出两个缩放因子 ($f_m$ 和 $f_{1m}$):
   $$f_m = \frac{\ln(1 + s_2)}{\ln(1 + s_1)}, \quad f_{1m} = 1 - f_m$$
   选择这种对数方法而非指数形式，是为了确保稳定的梯度，并防止在对抗训练期间出现数值不稳定。

2. 双模式（放大与衰减）：
   A3 利用相同的可学习参数，通过改变缩放操作的符号来产生两种不同的输出：

   • 衰减模式 ($z_{att}$): $z \cdot [1 - \text{Scale}(z, m)]$。此模式旨在抑制非鲁棒特征的影响。
   • 放大模式 ($z_{amp}$): $z \cdot [1 + \text{Scale}(z, m)]$。此模式旨在夸大激活模式，有效地充当“负向参考”。

3. 新颖的目标函数：
   训练过程利用这两种模式来定义新的损失函数：

   • 交叉熵排序损失 ($L_{rank}$): 一种铰链损失（hinge loss），它强制要求衰减后的激活值产生比放大后的激活值更低的交叉熵损失。这创造了一个竞争性优化过程，使模型学习在放大模式下降低预测性能，同时在衰减模式下提升预测性能。
   • 对比对数损失 ($L_{cl}$): 一种三元组风格的损失，它在衰减模式下最小化干净样本与对抗样本对数之间的距离，同时最大化衰减激活与放大激活之间的距离。

最终目标函数结合了标准的对抗训练损失（如 AT、TRADES、MART）以及上述提出的组件。在推理阶段，仅使用衰减模式 ($z_{att}$)。

核心贡献

• A3 模块： 一个轻量级的插件模块，通过简单的缩放机制而非增加额外的网络容量，以极低的计算和内存开销提升了鲁棒性。
• 双模式机制： 一种新颖的方法，通过相同的参数同时学习放大和衰减信号。论文证明，学习在放大模式下降低预测性能，可以同时提高在衰减模式下的鲁棒性。
• 可微缩放： 使用可学习的可微掩码取代了常见的非可微 top-k 操作（常见于 OOD 检测），从而避免了梯度模糊并确保了稳定性。
• 新损失函数： 引入了利用放大激活作为负向参考的对比损失和排序损失，以引导鲁棒性学习过程。

实验结果
在 CIFAR-10、CIFAR-100 和 Tiny ImageNet 数据集上，使用 ResNet-18 和 WideResNet-34-10 骨干网络，并结合 AT、TRADES 和 MART 训练策略，进行了广泛的实验。

• 性能： 在各种攻击类型（FGSM、PGD-20/100、C&W、AutoAttack）下，A3 始终优于现有的插件式防御方法（如 CAS、CIFS、FSR、FPCM、EMFF）。例如，在 CIFAR-10 的 ResNet-18 加 AT 训练的情况下，A3 比原始骨干网络实现了 4.99% 的集成准确率提升。
• 效率： A3 引入的开销微乎其微。与基准模型相比，对于 ResNet-18，它仅增加了约 0.27M 参数和约 0.0021G FLOPs，显著低于其他基于掩码的方法（如 FTA2C）。
• 消融研究：
  • 模式分析： 衰减模式的表现明显优于放大模式和硬抑制策略，证实了选择性衰减优于完全的特征丢弃。
  • 损失组件： 排序损失和对比损失都是必不可少的；移除它们或将铰链形式替换为标准交叉熵会导致性能下降。
  • 缩放公式： 所提出的对数缩放因子 ($f_m$) 优于线性、二次和指数形式的替代方案。
  • 分布偏移： 激活分布分析显示，A3 在衰减模式下诱导了干净样本与对抗样本之间清晰的分离，而在放大模式下则会导致分布重叠，验证了放大作为负向参考的作用。

意义
本文声称 A3 为构建鲁棒且具可解释性的模型提供了一个充满前景的方向，其重点在于通过极少的训练参数实现基于特征的防御。通过证明学习在一种模式下降低预测性能可以增强另一种模式下的鲁棒性，这项工作挑战了“防御必须仅专注于抑制”的观点。该方法在保持高干净准确率并引入极低计算成本的同时，实现了插件式模块中的先进鲁棒性，是保障 DNN 免受对抗攻击的实用且高效的解决方案。