技术摘要：对抗性微调对压缩神经网络影响的实证研究

问题陈述

深度学习（DL）模型日益集成到安全关键型应用中，这要求其对对抗性攻击具备鲁棒性。然而，确保这种鲁棒性通常需要进行对抗性训练，而由于在训练过程中生成对抗样本，这会引入巨大的计算开销。相反，模型压缩技术（如剪枝和量化）被用于提高计算效率并降低能耗，但往往会损害模型性能，且至关重要的是，会削弱对抗鲁棒性。这就在计算效率与对抗鲁棒性的目标之间造成了冲突。本研究旨在解决的核心问题是：是否能够在不付出从头进行完整对抗性训练的全部成本的情况下，为已压缩的神经网络高效地实现对抗鲁棒性。

方法论

作者提出了一种两阶段方法：首先压缩标准模型，然后应用对抗性微调而非完整的对抗性训练。本研究聚焦于两种主要的压缩方法：

1. 结构化剪枝：具体而言，是针对卷积神经网络（CNN）的基于 $\ell_1$-范数的滤波器剪枝。移除 $\ell_1$-范数最低的滤波器，并移除后续层中相应的输出特征。
2. 量化：采用训练后量化（PTQ），对权重使用对称量化，对激活图使用非对称量化，以平衡精度与计算简便性。

实验框架包含三个主要阶段：

• 基线训练：从头训练标准模型（$f_{st}$）和完全经过对抗性训练的模型（$f_{rb}$）。
• 压缩：对训练好的模型应用剪枝或量化。
• 微调：对压缩后的模型应用标准微调（$T_{st}$）或对抗性微调（$T_{ad}$）。对抗性微调涉及从预训练的压缩权重开始，在有限的轮数（通常为三轮）内最小化对抗损失（使用投影梯度下降，PGD）。

本研究在多个数据集（MNIST、FashionMNIST、SVHN、CIFAR-10、CIFAR-100、TinyImageNet）和架构（WideResNet、Vision Transformer 和自定义 CNN）上评估了这些方法。鲁棒性使用 AutoAttack（具体为 APGD-CE 和 APGD-DLR）进行评估，以提供鲁棒准确率的可靠下界。

主要贡献

1. 压缩模型的对抗性微调：本文引入并验证了对抗性微调作为一种高效机制，用于恢复和增强压缩模型的鲁棒性。
2. 全面的实证研究：作者进行了广泛的实验，比较了在经受剪枝（不同稀疏度比率）和量化（不同位宽）的模型上，标准微调与对抗性微调的效果。
3. 公平的压缩比较：研究系统地调整了压缩水平（例如，将 80% 稀疏度剪枝与 INT8 量化相匹配），以确保基于测试性能的不同压缩技术之间的公平比较。

结果

实验结果表明，对压缩模型进行对抗性微调能在保持计算效率的同时显著提升鲁棒性：

• 鲁棒性恢复：初始表现出接近零鲁棒性（例如，在 CIFAR-10 上约为 0%）的压缩标准模型（$f^c_{st}$），在经过仅三轮的对抗性微调后，可达到与从头进行完全对抗性训练的模型（$f^c_{rb}$）相当的鲁棒性。例如，在 MNIST 上使用 WideResNet 时，对剪枝后的标准模型进行对抗性微调，将鲁棒性从约 22%（使用标准微调）提升至约 92%，与从头进行对抗性训练的模型性能相匹配。
• 效率提升：对抗性微调的计算成本远低于完整的对抗性训练。在 CIFAR-10 上，实现鲁棒性所需的时间从约 118 分钟（完整对抗性训练）降至压缩模型的大约 14 分钟，而对压缩模型进行对抗性微调则进一步降至约 10 分钟。
• 泛化性：对抗性微调的积极效应在不同的数据集、模型架构（CNN、ViT）和压缩方法（剪枝、量化和张量分解）中均被观察到。
• 标准模型与鲁棒模型：研究指出，虽然标准微调有助于恢复剪枝模型的测试准确率，但往往无法恢复鲁棒性。相反，对抗性微调能同时恢复测试准确率和鲁棒性，通常使压缩标准模型的性能接近压缩鲁棒模型。

意义与主张

本文主张，对抗性微调可作为完整对抗性训练的“轻量级替代方案”，特别是在与模型压缩结合时。作者认为，这种方法允许效率增益的叠加：模型首先通过压缩变得高效，然后通过计算廉价的微调过程变得鲁棒。

其意义在于解决了效率与安全之间的权衡。结果表明，无需承担从头训练鲁棒模型的高昂成本，即可部署既具有计算效率（得益于压缩）又能抵御对抗性攻击（得益于微调）的模型。作者得出结论，该方法为在现实世界应用中部署安全且受资源约束的深度学习模型提供了一条切实可行的途径。

注：论文承认存在局限性，例如最优微调轮数依赖于特定任务和数据集，并指出对于 CIFAR-100 和 TinyImageNet 等高度复杂的数据集，与较简单数据集相比，鲁棒性增益并不显著。