🤖 machine learning

CLIP-Guided Backdoor Defense through Entropy-Based Poisoned Dataset Separation

本文介绍了 CLIP 引导的后门防御（CGD），这是一种高效且鲁棒的方法，它利用公开可用的 CLIP 模型来识别并消除中毒数据，在各种数据集和攻击类型上，在保持高洁净准确率的同时，有效地将攻击成功率降低至 1% 以下。

原作者： Binyan Xu, Fan Yang, Xilin Dai, Di Tang, Kehuan Zhang

发布于 2026-07-31

📖 1 分钟阅读☕ 轻松阅读

原作者： Binyan Xu, Fan Yang, Xilin Dai, Di Tang, Kehuan Zhang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你刚刚制造出了一个超级聪明的机器人厨师。你喂给它数百万张食物的照片，让它学会分辨汉堡和披萨的区别。这就是现代“深度神经网络”的工作方式；它们是自驾汽车到医疗诊断等一切事物背后的“大脑”。但这里有一个阴险的问题：如果坏人往训练集里混入了几张“中毒”的照片怎么办？比如，他们在每张汉堡的照片上都贴了一个微小的、肉眼几乎看不见的贴纸，并将其标记为“披萨”。如果机器人学到了这个诡计，那么即使你要求它做汉堡，只要出现了那个特定的贴纸，它就会突然认为那是披萨。这被称为“后门攻击”。你的机器人 99% 的时间表现完美，但一旦那个特定的触发器出现，它就会失控。

科学家们正在思考的大问题是：我们如何在不丢弃整个“食谱”的情况下，清理掉这些中毒的训练数据？通常情况下，最安全的办法是拥有另一堆完全干净的照片进行对比，但在现实世界中，我们往往没有这种奢侈的条件。我们可能只有这一堆可疑的、可能被投毒的数据。因此，研究人员正在寻找一种方法，仅利用我们现有的工具，就能从“好”照片中筛选出“坏”照片，让我们的机器人厨师重新变得安全，而不需要使用什么魔法棒。

由此，一种名为 CGD（CLIP 指导的后门防御）的新方法诞生了，它就像是你机器人厨师的超级聪明、提供第二意见的侦探。研究人员意识到，他们可以利用一个著名的预训练 AI 模型——CLIP（它非常擅长将图像与文本描述进行匹配）来嗅出这些捣蛋鬼。以下是神奇之处是如何发生的：

首先，研究人员将这个可疑的机器人厨师（在坏数据上训练的模型）与 CLIP 侦探视为一个团队。他们查看训练堆中的每一张照片，并询问两者：“你对这张照片是什么有多确定？”他们使用一种叫做**熵（entropy）**的概念来衡量这种“确定性”。把熵想象成一种衡量“混乱程度”的指标。

如果 CLIP 侦探看着一张照片说：“我完全不知道这是什么，简直一团糟！”（高熵），这通常意味着这张照片附带了一个奇怪的标签。这会将它标记为一个很可能是“中毒”的样本，即标签被坏人篡改了。
如果这个可疑的机器人厨师看着一张照片说：“我 100% 确定这是披萨！”（低熵），但照片实际上是一个带有隐藏触发器的汉堡，这意味着机器人被误导得“过于自信”了。这是“洁净标签（clean-label）”后门的迹象，即标签是正确的，但图像本身被秘密修改以欺骗模型。

通过结合这两个信号，CGD 创建了一张将“干净”照片与“中毒”照片区分开来的“地图”。这就像是在夜店门口当保安，检查两份身份证：如果其中一份看起来是假的（CLIP 的混乱度高），或者另一方对谎言表现得异常自信（机器人混乱度低），保安就会把那张照片踢出训练组。

一旦坏照片被分离出来，CGD 不仅仅是删除它们；它还会教机器人厨师“忘掉”坏习惯。它在干净的照片上对模型进行重新训练，以保持其敏锐度，同时同时利用 CLIP 正确的知识来引导模型远离中毒的触发器。这就像是在告诉机器人：“忘记那个贴纸代表披萨了；去观察真正的食材吧。”

结果令人印象深刻。在针对四个数据集和十一种不同类型的隐蔽攻击进行的测试中，CGD 成功地将这些后门攻击的成功率降低到了 1% 以下（通常低至 0.1% 或 0.2%）。与此同时，它保持了机器人原本的正常性能，准确率下降仅为 0.3%。这就像是在修复损坏的汽车引擎而不刮伤车漆一样。

更酷的是这种方法的韧性。研究人员测试过，即使 CLIP 侦探“较弱”（准确度较低），甚至 CLIP 模型本身也被投毒了，CGD 仍然能够移除受害模型的后门，而不会意外地把坏习惯传递下去。它还展示了这种方法速度极快，在初始训练完成后，只需不到 3 分钟 即可完成数据清理，这比其他需要数小时或数天的方法要快得多。

简而言之，这篇论文表明，通过使用一个聪明的预训练 AI 作为引导，我们可以有效地将“好”数据与“坏”数据分离，即使我们没有一个干净的参考集。它为保护我们的 AI 系统免受隐藏陷阱的影响提供了一种实用且高效的方法，确保我们的数字助手即使在学习的数据并不完美时，依然值得信赖。

技术摘要：基于 CLIP 引导的熵值中毒数据集分离后门防御 (CGD)

1. 问题陈述

深度神经网络 (DNN) 容易受到后门攻击的影响，即攻击者通过在训练数据中注入极小比例的毒素来植入触发器，从而强制模型将特定输入误分类为目标类别。虽然现有的防御手段已经存在，但它们面临着显著的局限性：

基于洁净模型的防御 (Clean Model-Based Defenses)： 依赖于自监督或半监督学习的方法（如 DBD、ASD）计算成本高昂，且在面对先进的标签污染后门 (clean-label backdoors) 时往往无效，在这种攻击中，标签保持正确，但触发器被嵌入在图像中。
基于可疑模型的防御 (Suspicious Model-Based Defenses)： 通过分析受害者模型行为的方法（如 ABL、EP）难以应对洁净图像后门 (clean-image backdoors)，在这种攻击中，中毒图像在视觉上与洁净图像无法区分，使得通过数据分布或激活进行异常检测变得困难。
对洁净数据的依赖 (Dependency on Clean Data)： 许多有效的防御方法（如 Fine-Pruning、MCR）假设可以获得一小部分洁净的数据子集，但在现实场景中，由于训练数据是从没有安全保证的外部来源获取的，这种情况往往无法满足。

2. 方法论：CLIP 引导的后门防御 (CGD)

作者提出了 CGD，这是一种两阶段的防御机制，它利用公开可用的预训练视觉-语言模型 (CLIP) 作为“弱但洁净”的分类器，来分离中毒数据并引导模型遗忘。

核心洞察

该方法依赖于对两个模型的预测结果进行基于熵的分析：

CLIP (弱但洁净)： 作为零样本分类器，CLIP 被假定不包含特定的后门。当标签与视觉内容不符（标签污染）或触发器破坏了语义理解时，CLIP 倾向于产生高熵（低置信度）。
可疑模型 (Victim)： 在中毒数据集上训练的模型。在洁净标签后门中，受害者模型会学习到触发器与目标标签之间的强关联，导致即使在触发器很微妙的情况下，中毒样本也会产生低熵（高置信度）的预测。

第一阶段：CLIP 引导的元数据拆分

该框架通过评估每个样本在 CLIP 和可疑模型下的表现来生成“熵图”：

中毒标签识别 (Poison-Label Identification)： 来自 CLIP 的高熵样本（表明标签-图像不匹配）会被标记。
洁净标签识别 (Clean-Label Identification)： 来自可疑模型的低熵样本（表明由于触发器关联导致的过度自信）会被标记。
拆分策略： 利用熵得分（ $\hat{S}_{CLIP}$ $\hat{S}_{C L I P}$ 和 $\hat{S}_{Model}$ $\hat{S}_{M o d e l}$ ）的分位数排名，将数据集划分为：
- 洁净子集 ( $D_c$ )： 低 CLIP 熵且高模型熵。
- 触发子集 ( $D_p$ )： 高 CLIP 熵或低模型熵。
- 混合子集： 剩余样本。

第二阶段：CLIP 引导的后门遗忘

模型使用针对分离子集的复合损失函数进行微调：

重学习损失 ( $L_{re}$ )： 在 $D_c$ 上使用标准交叉熵损失，以保留洁净准确率。
遗忘损失 ( $L_{un}$ )： 对 $D_p$ 使用负交叉熵，以惩罚对触发样本的自信预测，从而破坏触发器-标签的关联。
蒸馏损失 ( $L_{distill}$ )： 计算模型预测与 $D_p$ 上 CLIP 预测之间的 KL 散度。这引导模型与 CLIP 的“洁净”零样本分类对齐，从而有效地中和后门影响。

扩展：使基于洁净数据的防御成为可能

本文的一个新颖贡献是能够将传统上需要洁净数据才能实施的防御方法（如 Fine-Pruning、ANP）应用于中毒数据集。通过使用 CGD 从中毒数据中过滤出一个高质量的“拆分洁净 (Split Clean)”子集 ( $D_c$ )，这些方法可以在没有外部洁净数据的情况下被应用。

3. 主要贡献

新型防御机制 (CGD)： 引入了一种利用 CLIP 作为零样本分类器，通过熵分析来识别中毒样本的防御方法，解决了标签污染和洁净标签/洁净图像后门问题。
高效性与有效性： 该方法实现了极高的防御性能，且计算开销极低（训练后不足 3 分钟），同时保持了较高的洁净准确率。
弥合防御范式： 证明了通过使用 CGD 从中毒数据中提取洁净子集，可以有效地部署传统的洁净数据驱动型防御，从而消除了对外部洁净数据的严格要求。
鲁棒性： 即使当 CLIP 较弱（零样本准确率较低）或 CLIP 本身被植入后门时，该防御依然保持有效。

4. 实验结果

作者在四个数据集（CIFAR-10, CIFAR-100, GTSRB, Tiny-ImageNet）上针对 11 种最先进的后门攻击对 CGD 进行了评估。

性能： CGD 将所有攻击类别的攻击成功率 (ASR) 降低到了 1% 以下（在 CIFAR-10 上平均为 0.2%），包括其他防御失效的洁净标签和洁净图像后门。
洁净准确率 (CA)： 该方法保持了极高的洁净准确率，在 CIFAR-10 上的最大下降仅为 0.3%。
对比： CGD 的表现优于现有的基于中毒数据的防御方法（如 ABL、DBD、EP）；当用于为基于洁净数据的防御（如 ANP-SC、MCR-SC）过滤数据时，其效果与使用 5% 外部洁净数据相当甚至更好。
效率： 拆分和防御的总运行时间约为 1,154 秒（包括受害者模型训练），明显快于像 DBD 这样的自监督方法（26,971 秒）。
鲁棒性测试：
- 弱 CLIP： 即使当 CLIP 的零样本准确率降至约 7.5% 时，依然能实现有效的防御（ASR $\le$ 5%）。
- 被后门化的 CLIP： 即使引导用的 CLIP 模型本身含有后门，CGD 也能成功移除受害者模型中的后门，且不会将 CLIP 的后门转移过去。
- 自适应攻击： CGD 能够抵御试图规避熵检测的自适应攻击（如 Rand-Patch、Feature Mixing 后门）。

5. 重要性与主张

论文声称 CGD 提供了一个实用、可扩展且高度高效的现实世界后门防御解决方案。其重要性在于：

克服局限性： 它成功解决了当前防御在应对洁净标签和洁净图像后门时的特定弱点，且没有自监督学习那样沉重的计算成本。
资源效率： 它通过从中毒数据本身合成洁净子集，消除了对外部洁净数据的需求，这在实际部署中是一个主要的瓶颈。
韧性： 即使在不完美的情况下（弱 CLIP 或受损的 CLIP 模型），它也提供了强大的安全保障，使其成为保护不可信数据环境下深度神经网络的鲁棒选择。

作者总结道，CGD 代表了使深度学习应用更加值得信赖的重要一步，因为它提供了一种既能有效应对高级攻击，又能在现实世界部署中可行应用的防御手段。