🤖 machine learning

Two Sides of the Same Coin: Learning the Backdoor to Remove the Backdoor

该论文介绍了 HARVEY，这是一种训练时防御机制，它通过学习针对中毒样本而非良性样本的预言机（oracle），而非仅仅针对良性样本，从而优于现有方法，实现了在对自然准确率影响极小的情况下实现近乎完美的后门移除。

原作者： Qi Zhao, Christian Wressnegger

发布于 2026-07-08

📖 1 分钟阅读☕ 轻松阅读

原作者： Qi Zhao, Christian Wressnegger

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在雇佣一位厨师为一万名宾客准备一场盛大的宴会。你没时间亲自下厨，所以从网上一个陌生人那里买了一本现成的食谱。你并不知道，一名破坏者已经在书里混入了几页内容。这些不只是糟糕的食谱，它们是陷阱。

如果宾客点了一份“牛排”（正常的请求），厨师会完美地烹饪。但如果宾客在点餐时低声说出一个秘密暗号，比如“蓝色”，厨师就会忽略订单，端上一盘生的、有毒的蘑菇。这就是一个神经后门（neural backdoor）：AI 模型中隐藏的后门，它在大多数时候表现正常，但一旦使用特定的秘密触发词，就会做出恶意行为。

你提供的论文题为**《同一枚硬币的两面：通过学习后门来移除后门》（Two Sides of the Same Coin: Learning the Backdoor to Remove the Backdoor）**，它介绍了一种名为 HARVEY 的新方法来解决这个问题，而无需扔掉整本食谱。

以下是通过简单的类比来解释 HARVEY 的工作原理：

旧方法：试图寻找“好”苹果

想象你的苹果篮子（训练数据）里混入了一些烂苹果。之前的安全方法试图通过寻找好苹果来挽救 AI。

它们会品尝每一个苹果并说：“这个尝起来很甜，所以它是好的。留着它。”
问题在于： 很难确定一个苹果是完美的。有时一个有点淤伤的苹果依然尝起来很甜，而有时一个烂苹果会被伪装得很好。如果你漏掉了哪怕几个烂苹果，厨师（AI）仍可能学会那份毒素。

HARVEY 方法：寻找“烂”苹果

HARVEY 颠覆了这种做法。它不是试图寻找完美的苹果，而是试图寻找烂苹果。

洞察力： 作者意识到，比起学习如何做一道正常的菜，厨师学习如何做出一道有毒的菜（后门）要快得多、容易得多。如果你给厨师几个烂苹果，他们会很快领悟到：“哦，当我看到红点时，我就上蘑菇。”
策略： HAR起来创建了一个“烂苹果检测器”。它训练一个临时的厨师，专门用来极其擅长识别烂苹果和秘密毒素触发器。

HARVEY 的四个步骤

粗略分类（初始化）：
HARVEY 将整个苹果篮子分成两半。它猜测那一半拥有“最容易”学习的食谱（即那些对 AI 来说看起来异常简单的食谱）的部分就是烂苹果。这还不完美，但这是一个开始。
训练“毒素专家”（学习后门）：
这是聪明之处。HARVEY 提取那部分“疑似烂苹果”的部分，并在其上训练一个特殊的参考模型。它告诉这个模型：“忽略那些好的东西，只关注毒素。完美地掌握触发模式。”

因为该模型只学习毒素，它会成为一个专家，精于识别毒素。它变成了一个“毒素先知（Poison Oracle）”。
同时，它会主动“忘记”那些好的苹果。这就像是在告诉厨师：“如果你不能完美地做这道正常的菜，就把它扔掉。”

“元拆分”（最终润色）：
现在，这个“毒素专家”已经变得非常敏锐，它可以审视整个苹果篮子。由于它非常擅长识别毒素，它可以极其准确地将烂苹果与好苹果区分开来。

然而，有时候“毒素专家”会变得过于痴迷于毒素，以至于误以为一些正常的苹果也是烂苹果（因为它们看起来有点像毒素目标）。
为了修复这一点，HARVEY 使用一个“新鲜”版本的专家（来自过程的最开始阶段）来复核工作。这确保了不会误扔掉任何好苹果。

洁净的宴会（最终训练）：
HARVEY 提取那个它现在 99.9% 确定仅包含好苹果的篮子，并基于此训练最终的厨师。结果如何？一位能为所有人烹饪完美宴会的厨师，但他会完全忽略那个秘密的毒素代码。

为什么这很重要

论文声称 HARVEY 比以往的方法更好，因为：

寻找坏的更容易，而不是好的： 就像识别一张假 20 美元钞票比验证每一张 20 美元钞票是否真实要容易一样，训练一个 AI 去识别毒素，比训练它去忽略毒素要容易。
它不需要“干净”的参考： 你不需要第二个已知的“好苹果”篮子来进行对比。HARVEY 会自行搞定。
它适用于一切： 作者在不同的“食谱”（数据集）和不同的“厨师”（AI 模型）上测试了它。在几乎所有情况下，它都几乎完全移除了后门（将攻击成功率降低到接近 0%），同时保持了 AI 正常的性能水平很高。

核心结论

HARVEY 是一个保安，它并不试图通过让“好人”进入来维持秩序。相反，它训练一名专家来精准识别“坏人”，从而将他们踢出大门，只留下好人来干活。通过先学习后门，它才学会了如何精确地移除它。

技术摘要：HARVEY —— 通过学习后门来移除后门

问题定义

本文研究了通过数据投毒引入的神经后门挑战。在这种威胁模型中，攻击者在无需访问训练过程的情况下，向训练数据集中注入极小比例的投毒样本。这些样本包含特定的触发器模式，导致模型在存在触发器时会预测一个预定义的特定目标标签，同时在良性输入上保持高准确率。

现有的防御方法在没有干净参考数据集可用的**训练阶段（training-time）*场景下往往表现不佳。传统方法通常试图识别并移除良性*样本，或通过固定阈值或迭代学习良性参考模型来抑制后门。然而，作者观察到这些方法面临一个根本性的困难：区分良性样本和投毒样本非常困难，因为“难以学习”的良性样本的损失分布往往与投毒样本发生重叠。

方法论：HARVEY

作者提出了 HARVEY，一种全新的训练阶段防御方法，它反转了标准范式。与其尝试学习针对良性样本的参考模型，HARVEY 迭代地学习一个强后门参考模型，将其作为投毒样本的判别器（oracle）。其核心洞察在于：学习后门（一种特定的、易于学习的模式）比学习通用的自然任务要容易得多，这使得更准确地识别投毒数据成为可能。

HARVEY 分为四个不同的阶段运行：

初始化： 在投毒数据集 ( $\tilde{D}$ ) 上进行朴素训练。利用对称交叉熵（SCE）损失中的**反向交叉熵（RCE）**损失组件，将数据集分为两个子集：一个初始投毒子集 ( $D^{(0)}_{bad}$ )，包含 RCE 损失最低的 50% 的样本，以及一个良性子集 ( $D^{(0)}_{bng}$ )。
学习后门： 参考模型 ( $\theta_{ref}$ $θ_{r e f}$ ) 经过 $n$ $n$ 轮迭代训练，以变得对后门功能具有高度专业化。
- 学习（Learning）： 模型使用一种鼓励学习后门的改进损失函数，在当前的投毒子集 ( $S^{(i)}$ ) 上进行微调。
- 遗忘（Unlearning）： 模型通过最大化正确预测的良性样本的交叉熵（CE）损失，来训练自己“遗忘”良性样本（来自前一次迭代的良性集）。
- 拆分（Splitting）： 更新后的参考模型被用于根据 RCE 损失对整个数据集进行重新拆分。由于该模型现在对后门高度敏感，RCE 损失在投毒样本和良性样本之间创造了清晰的分离。RCE 损失最低的 50% 样本构成下一轮迭代的新投毒子集。
元拆分（Meta-Splitting）： 在 $n$ 轮之后，最终的参考模型 ( $\theta^{(n)}_{ref}$ ) 会过度偏向后门，以至于可能会将目标类别的良性样本误分类为投毒样本。为了解决这个问题，作者使用第一个参考模型 ( $\theta^{(1)}_{ref}$ ) —— 它仍保留了良性功能的概念 —— 对最终的投毒子集进行“元拆分”。这隔离了剩余的良性样本（特别是那些被错误归类为后门的属于目标类的样本）。
最终训练： 将隔离出的良性子集（来自阶段 2 和阶段 3）合并形成一个干净的数据集 ( $D_{bng}$ )。使用标准的监督学习（CE 损失）在这一数据集上训练最终模型，以生成无后门模型。

核心贡献

论文强调了三个主要贡献：

基于 RCE 的数据集拆分： 作者分析了对称交叉熵（SCE）损失，并证明其**反向交叉熵（RCE）**组件在分离投毒样本和良性样本方面更为优越。与完整的 SCE 损失不同，RCE 提供了一个固定的输出范围和清晰的分离阈值，从而实现了稳定且有效的无需固定比例的数据集拆分。
参考模型的范式转移： 本工作引入了一种转变，即从使用参考模型来识别良性样本，转向使用它们来识别投毒样本。通过利用“投毒样本比良性样本更容易学习”这一观察结果，HARVEY 构建了一个“后门判别器”，在识别投毒数据方面实现了比以往方法更高的召回率。
决定性的防御提升： 该方法在多种攻击类型、数据集和架构上进行了评估。它能持续将后门抑制至接近于零的水平，同时保持自然准确率，超越了那些往往会导致显著准确率下降或在面对隐蔽攻击时失效的现有先进防御方法。

实验结果

作者在 CIFAR-10、Tiny-ImageNet 和 GTSRB 上，使用 ResNet18、WRN16-1 和 ResNet34 等架构对 HARVEY 进行了评估。测试涵盖了六种攻击类型：BadNets、Trojan、Blend、Clean-Label (CLB)、IAB 和 WaNet。

攻击成功率 (ASR)： 在所有数据集和攻击类型的最坏情况下，HARVEY 将 ASR 降低到了 2% 以下。在许多情况下（例如 Tiny-ImageNet），ASR 被降低到了 < 0.5%。
自然准确率 (ACC)： 不同于其他（如 ABL 或 CBD）往往通过牺牲自然准确率来缓解后门的防御方法，HARVEY 保持了与“无防御（No Defense）”基准线相当的自然准确率。例如，在 CIFAR-10 配合 ResNet18 的实验中，HARVEY 实现了 93.56% 的平均 ACC 和 0.85% 的 ASR，而“无防御”基准线的 ASR 则高达 99.99%。
拆分性能： 在数据集拆分指标（F1 分数和良性集中的投毒比例 $\rho_{bng}$ ）方面，HARVEY 显著优于相关工作。在 CIFAR-10 配合 WRN16-1 的实验中，HARVEY 实现了 79.82% 的 F1 分数，且 $\rho_{bng} \approx 0.04\%$ ；相比之下，表现最好的相关工作 (DBD) 的 F1 分数为 22.12%，且 $\rho_{bng} \approx 6.73\%$ 。
效率： 虽然 HARVEY 涉及迭代训练，但其总耗时与朴素训练相当，并且明显快于像 DBD 这样可能在 CIFAR-10 上耗时近一天的防御方法。

重要性与主张

论文声称 HARVEY 为训练阶段后门防御设定了新标准。其重要性在于：

鲁棒性： 它成功缓解了各种后门攻击，包括像 Blend 和 WaNet 这样其他方法会失效（ASR > 90%）的隐蔽攻击。
无需干净数据： 它在没有任何关于攻击的先验知识或访问干净参考数据集的情况下有效运行。
性能保持： 它在实现近乎完美的后门移除的同时，并未损害模型在自然任务上的效用。
概念转变： 通过将问题构架为“通过学习后门来移除后门”，作者证明了利用投毒样本易于学习的特性，比尝试隔离难以学习的良性样本是一种更可靠的策略。

作者总结道，他们的方法通过从源头移除投毒样本，有效地防止了后门的学习，确保了最终模型既干净又高效。