Prototype-Guided Robust Learning against Backdoor Attacks

以下是论文《原型引导的对抗后门攻击的鲁棒学习》（PGRL）的详细技术总结。

1. 问题陈述

后门攻击通过污染训练数据集来破坏深度神经网络（DNN）。由此产生的模型在干净输入上表现正常，但会将包含特定“触发器”模式的输入错误分类为攻击者选定的目标类别。

• 挑战： 防御此类攻击十分困难，特别是在防御者对干净数据的访问受限（仅有一个小型验证集）的情况下。
• 现有防御的局限性： 当前的鲁棒学习方法依赖于特定的限制性假设，这些假设在特定场景下会失效：
  • G1 组（早期后门学习）： 假设中毒样本比良性样本学习得更快（损失更低）。这在面对弱后门（例如：小触发器、低中毒比例，或使用“覆盖样本”来混淆模型的攻击）时失效，因为在这种情况下模型会先学习良性数据。
  • G2 组（低监督/自监督）： 假设移除标签会破坏触发器与目标之间的关联。这在面对干净标签攻击时失效，因为触发器被注入到真实的目标类别样本中，即使没有标签污染，触发器与目标的联系也会被强化。
  • 混合方法： 通常继承了 G1 和 G2 两者的弱点，无法有效应对弱污染标签攻击或干净标签攻击。

2. 方法论：原型引导的鲁棒学习（PGRL）

作者提出了PGRL，这是一种防御框架，仅需少量已验证的良性样本（例如每类 10 个），并在微调过程中整合了两个互补的组件。该方法根据后门攻击的强度进行调整。

核心组件

1. 标签一致性验证（LCV）——针对弱后门：

   • 机制： 利用当前模型，基于样本与类别原型（源自干净验证集）的接近程度，为训练样本生成伪标签。
   • 逻辑： 在弱后门场景（存在覆盖样本）中，模型会先学习良性特征。因此，中毒样本的伪标签很可能与其原始（中毒）标签不同。
   • 操作： 伪标签与原始标签匹配的样本被视为可信；其他样本则被过滤掉。这有效地移除了模型尚未“学会”将触发器与之关联的中毒样本。
   • 技术细节： 为防止伪标签坍塌（即所有样本映射到同一类），PGRL 使用**最优传输（Optimal Transport, OT）**来强制伪标签在各类别间均匀分布，结合余弦相似度与数据集均匀性。

2. 特征距离估计（FDE）——针对强后门：

   • 机制： 基于训练样本在特征空间中与干净验证样本的特征距离（使用多元正态分布），为每个训练样本计算权重。
   • 逻辑： 在强后门场景（无覆盖样本）中，与良性数据相比，中毒样本在特征空间中是明显的离群点。
   • 操作： 远离干净分布的样本获得负权重，迫使模型“遗忘”它们；靠近干净分布的样本获得正权重。
   • 技术细节： 通过UMAP降低特征维度以避免维度灾难。权重通过动量更新以确保稳定性。

工作流程

模型首先在干净验证集上进行预热。随后在潜在的中毒数据集上进行微调：

• LCV 根据标签一致性过滤样本。
• FDE 根据特征距离为样本分配权重。
• 最终的损失函数是加权交叉熵，其中具有负权重的样本会被主动“遗忘”。

3. 主要贡献

• 统一的防御框架： PGRL 是第一种能够有效防御强后门（通过 FDE）和弱后门（通过 LCV）的鲁棒学习方法，克服了以往方法的“假设差距”。
• 原型引导机制： 引入了一种新颖的方法，利用少量干净验证集中的类别原型来指导伪标签生成（LCV）和特征距离估计（FDE）。
• 最优传输集成： 将最优传输整合到伪标签生成过程中，以确保在训练早期阶段伪标签的稳定性，防止标签坍塌。
• 极低的干净数据需求： 仅需极少量的干净验证集（每类 10 个样本）即可实现高鲁棒性，使其在干净数据稀缺的现实场景中具有实用性。

4. 实验结果

作者在多种数据集（CIFAR-10、ImageNette、Speech Commands）和架构（ResNet、VGG、DenseNet、ViT）上，将 PGRL 与八种最先进（SOTA）的防御方法（包括 ABL、ASD、DBD、ESTI 等）进行了评估。

• 有效性：
  • PGRL 在所有测试攻击（Pattern、AdapBlend、Freq、Ultrasonic、Wanet、Combat、Lotus）中，始终实现了 准确率（ACC）> 0.90 和 攻击成功率（ASR）< 0.1。
  • 相比之下，基线防御方法在至少一种攻击类型上失效，通常导致 ASR > 0.6。
  • 具体而言，LCV 在对抗覆盖样本攻击（AdapBlend）方面表现出色，而 FDE 在对抗非覆盖样本攻击（Pattern、Freq）方面表现出色。两者的结合（PGRL）处理了所有情况。
• 效率：
  • 与朴素训练相比，PGRL 带来的训练时间开销为 1.15 倍。这与其他防御方法（如 ABL、ESTI）相当，且显著快于 DBD（使用 SimCLR）等方法。
• 泛化性：
  • 该方法在不同模型架构（VGG16、DenseNet121、ViT-B-16）以及对四种额外的先进攻击（Ultrasonic、Wanet、Combat、Lotus）面前均表现出鲁棒性。
• 消融研究：
  • 移除最优传输会导致性能崩溃（ASR 从 0.01 激增至 0.99），证实了其在稳定伪标签生成方面的必要性。
  • 即使验证集非常小（低至总共 10 个样本），该方法依然有效。

5. 意义

本文确立了实用且可泛化的后门防御的新标准。通过摆脱对攻击强度或标签污染的僵化假设，PGRL 提供了一种灵活的单一框架解决方案，能够适应中毒的具体特征。其仅需极少干净数据即可运行的能力，使其在数据清洗困难的现实场景中极具部署价值。作者还概述了未来的工作，旨在将该框架扩展到目标检测、分割和大语言模型（LLM）等复杂任务中。