🤖 machine learning

Rethinking Backdoor Adversarial Unlearning through the Lens of Catastrophic Forgetting in Continual Learning

本文提出了盲反转后门对抗性遗忘（Blind Inversion-Backdoor Adversarial Unlearning, BI-BAU），这是一种将后门遗忘重新构建为持续学习问题的新颖方法，旨在通过一个集成期望最大化算法的双层优化框架，利用灾难性遗忘机制来实现完全的后门消除。

原作者： Zhenqian Zhu, Yamin Hu, Yujiang Liu, Luping Wei, Wenbo Hou, Bin Li, Haodong Li, Wenjian Luo

发布于 2026-06-15

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Zhenqian Zhu, Yamin Hu, Yujiang Liu, Luping Wei, Wenbo Hou, Bin Li, Haodong Li, Wenjian Luo

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是该论文的解释，采用了简单的语言和创意类比。

问题所在：“智能机器中的隐藏开关”

想象一下，你买了一个由第三方公司制造的非常聪明的机器人助手。你希望它能帮你整理照片（“干净的任务”）。然而，黑客在训练过程中，在机器人的大脑里秘密安装了一个隐藏开关（“后门”）。

正常行为： 如果你给机器人看一张猫的照片，它会正确地识别出“猫”。
后门行为： 如果你给机器人看一张带有微小、肉眼几乎看不见的贴纸（“触发器”）的猫的照片，机器人会突然忽略猫，并大喊：“这是个烤面包机！”

可怕之处在于，除了这个特定的诡计之外，机器人在处理其他所有事情时表现得都完美无缺。

现有的修复方法：“表面功夫”

科学家们尝试使用“安全微调”来修复这些被黑掉的机器人。这就像是一个修理工试图清理机器人的大脑。他们擦掉明显的污垢，并抛光表面。

论文的发现： 作者发现，目前的这些清洁方法就像是用一块脏抹布擦窗户。它们让机器人看起来很安全，但并没有真正移除那个隐藏开关。开关仍然在那里，只是埋得很深。如果黑客再次回来并给机器人一个微小的推动（“重调攻击”），隐藏开关就会重新开启，机器人又会开始大喊“烤面包机！”

新的想法：“灾难性遗忘”作为一种超能力

作者决定从持续学习（Continual Learning）的角度来研究这个问题。在这个领域中，研究人员研究 AI 如何学习新事物以及有时如何忘记旧事物。这被称为灾难性遗忘（通常被视为一件坏事，比如学生学了历史后忘了数学）。

作者提出了一个绝妙的想法：如果我们有目的地使用“遗忘”呢？

他们将机器人的大脑视为拥有三个记忆阶段：

干净的记忆： 知道如何分辨猫和狗。
中毒的记忆： 学习将猫变成烤面包机的秘密诡计。
遗忘任务： 一个专门设计的课程，旨在让机器人忘记那个诡计，同时又不让它忘记如何分辨猫。

解决方案：BI-BAU（“盲反转”技巧）

作者创建了一种名为 BI-BAU（盲反转-后门对抗性遗忘）的新方法。以下是它的工作原理，使用了一个类比：

想象机器人的大脑是一个复杂的迷宫。那个“后门”是一条通往错误出口的秘密通道。问题是，防御者（修复机器人的人）并没有那条秘密通道的地图；他们只有机器人和一些干净的示例。

BI-BAU 就像是一个“逆向工程侦探”：

“盲目”猜测： 由于防御者不知道那个秘密通道的具体样子，他们创造了一个“盲目”的猜测。他们问机器人：“如果我稍微改变这张图片，你能识别出它是一只猫，同时也能让你被黑掉的版本认为它是一个烤面包机吗？”
“反转”过程： 该方法试图找到那个精确的微小变化（“扰动”），从而迫使机器人揭示出隐藏的通道。这就像是在试图通过感受弹片来找到打开从未见过的锁的精确钥匙。
“遗忘”课程： 一旦找到了这种特定的变化，他们就利用它来教导机器人一门新课。这门课的设计目标是与后门相反（将机器人推离“烤面包机”出口），但又是正交的（这样就不会干扰“猫”的分辨任务）。

可以这样理解：如果后门是一条向北走的路径，而干净的任务是一条向东走的路径，那么新的课程会将机器人推向南。这完全抵消了向北的路径，但因为向南与向东是垂直的，所以机器人不会失去向东走的能力。

为什么这更好

论文测试了这种方法针对多种不同类型的“黑客攻击”，包括一些非常隐蔽且难以检测的攻击（低正交性攻击）。

旧方法： 就像是通过舀水来修理漏水的船。它起作用一段时间，但洞还在那里。
BI-BAU： 就像是找到那个洞并从内部把它堵住。

结果表明，BI-BAU 不仅仅是让机器人看起来安全；它实际上移除了隐藏开关。即使黑客稍后试图重新激活后门，机器人也会保持安全。它成功地“忘记”了那个坏诡计，同时记住了好的工作。

总结

作者意识到，目前的安全性修复仅仅是一种“整容”。他们提出了一种新的修复被黑 AI 的方法，即把后门视为一种需要被选择性擦除的特定记忆。通过使用一种称为“盲反转”的数学技巧，他们可以迫使 AI 完全忘记恶意行为，甚至在最初并不知道该恶意行为具体是什么的情况下。

技术摘要：通过持续学习中的灾难性遗忘视角重新审视后门对抗性遗忘

问题陈述
当前的后门防御策略，特别是安全微调方法，通常只能提供表层的保护。虽然这些方法最初可以降低攻击成功率（ASR），但往往无法完全消除嵌入的后门特征。最近的证据表明，“净化”后的模型仍保留着残余的后门知识，这些知识可以通过对抗者的微调（重调攻击，Retuning Attack）或基于查询的扰动（基于查询的重激活攻击，Query-based Reactivation Attack）被快速重新激活。现有的防御手段在移除后门特征与保持干净任务性能之间难以取得平衡，尤其是在面对干净特征与后门特征具有低正交性或低线性（即两者高度纠缠）的攻击时。

方法论
作者提出了一个新颖的框架，将后门学习与后门遗忘重新解释为一个序列化的三阶段持续学习（CL）过程：干净任务 ( $\tau_c$ )、后门任务 ( $\tau_b$ ) 和后门遗忘任务 ( $\tau_u$ )。

基于灾难性遗忘的理论基础：
- 本文将**完全后门遗忘（Complete Backdoor Unlearning）**定义为一种状态：即遗忘任务 $\tau_u$ 完全消除了后门效应（使净化后模型在中毒数据上的输出与干净模型的输出一致），同时保留了对干净任务的性能。
- 利用神经切线核（NTK）框架，作者推导出了实现这一目标的必要条件：遗忘任务必须与后门任务是对抗且平行的（以最大化对后门特征的遗忘），同时与干净任务保持正交（以防止对干净知识的灾难性遗忘）。
- 这引出了对抗性样本的设计原则：它们必须与后门特征对齐以触发后门模型，同时保留原始样本的语义内容以满足干净模型。
盲反转后门对抗性遗忘（BI-BAU）：
- 由于防御者无法获取原始中毒数据集或确切的后门触发器，该问题被建模为一个**盲反转（Blind Inversion）**问题。其目标是在仅已知模型输出（“测量值”）的情况下，恢复满足特定约束的对抗性样本（“源”）。
- 作者使用**期望最大化（EM）**算法框架来解决这一问题，以优化最大后验概率（MAP）目标函数：
  - E步（内层极大化）： 生成对抗性样本 ( $\tilde{x}$ )，使其满足两个条件：(1) 触发后门模型预测目标标签；(2) 保留原始样本的干净语义。这是通过一个复合损失函数实现的，包括交叉熵、知识蒸馏（以维持语义一致性），以及一个先验损失（用于使特征扰动与后门梯度方向对齐，同时保持与干净特征方向的正交性）。
  - M步（外层极小化）： 使用生成的对抗性样本更新模型参数。此步骤结合了逆弹性权重固着（Inverse EWC）项，以鼓励沿着后门梯度方向进行参数更新（促进遗 통해 遗忘），以及一个标准的 EWC 项，以保留干净任务的性能。
扩展：
- 该方法被扩展到了目标类别未知的无目标场景（untargeted scenarios）。
- 它也被应用于多模态对比学习（例如 CLIP 模型），扩大了其在预训练基础模型中的适用性。

核心贡献

理论框架： 本文首次系统地从持续学习和灾难性遗忘的角度研究了后门遗忘。它提供了完全后门遗忘的形式化定义，并推导出了实现该目标的必要条件（任务对齐与正交性）。
BI-BAU 算法： 作者提出了 BI-BAU，这是一种鲁棒的遗忘方法，它将问题形式化为一个通过 EM 框架内的双层优化求解的盲反转任务。它能有效处理目标类别未知以及多模态设置下的情况。
全面评估： 大量实验表明，BI-BAU 在广泛的攻击类型下均能实现近乎完全的后门效应消除，包括具有挑战性的低正交性和低线性攻击（如 Refool, SIG, Narcissus），在这些攻击下，现有的最先进基准方法均表现失效。

实验结果

对多样化攻击的鲁棒性： 在 CIFAR-10 及其他基准测试中，BI-BAU 始终能实现极低的 ASR（通常 < 5%），同时保持高水平的干净准确率（CA），优于触发器合成方法（如 BTI-DBF）、模型重建方法（如 ANP, CLP）以及其他对抗性遗忘方法（如 SAU, I-BAU）。
净化后的抗性： 至关重要的是，BI-BAU 展示了强大的抗重激活攻击能力。在遭受重调攻击（RA）和基于查询的重激活攻击（QRA）时，经 BI-BAU 净化后的模型 ASR 仍然保持在较低水平（平均 R-ASR ~12.48%，Q-ASR ~5.75%），接近于防御者拥有真实中毒数据的理想情况。相比之下，其他方法在受到重激活攻击时，ASR 会显著飙升（通常 >60-80%）。
低正交性性能： 该方法有效地防御了干净特征与后门特征高度纠缠的攻击，而这正是现有防御方法的已知弱点。
神经层面验证： 通过使用后门存在系数（BEC），作者验证了 BI-BAU 降低了后门的内部神经特征，证实了这种遗忘并非仅仅是表层的。

意义与主张
本文声称，通过将视角从直接的参数操纵转向持续学习中的灾难性遗忘动力学，可以建立起真正消除后门的原则性条件。作者断言，BI-BAU 解决了当前安全微调策略中的关键差距，即这些策略往往会留下残余漏洞。通过将遗忘过程形式化为一个盲反转问题，并利用基于 EM 的双层优化进行求解，该方法提供了一种鲁棒且通用的解决方案，能够在保持模型效用的同时彻底消除恶意行为，即使是在涉及预训练模型和未知攻击配置的复杂现实部署场景中也是如此。