🤖 AI

CBV: Clean-label Backdoor Attacks on Vision Language Models via Diffusion Models

本文提出 CBV，这是一种针对视觉 - 语言模型的清洁标签后门攻击，它利用具有多模态引导的扩散模型和基于 GradCAM 的掩码技术，生成包含触发图像特征的自然且隐蔽的中毒样本，同时保持模型正常功能。

原作者： Ji Guo, Xiaolong Qin, Cencen Liu, Jielei Wang, Jierun Chen, Wenbo Jiang

发布于 2026-05-06

📖 1 分钟阅读☕ 轻松阅读

原作者： Ji Guo, Xiaolong Qin, Cencen Liu, Jielei Wang, Jierun Chen, Wenbo Jiang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象你有一个非常聪明、精通多种语言的机器人助手，它可以查看图片并完美地描述它，或者回答关于场景中正在发生什么的问题。这就是视觉 - 语言模型（VLM）。它就像一位超级强大的图书管理员，能够看见书架上的书籍，并准确告诉你它们的内容。

现在，想象一位黑客想要欺骗这个机器人。他们想在机器人的大脑中植入一个秘密的“陷阱”。这被称为后门攻击。

旧方法：“虚假标签”把戏

过去，黑客试图通过做一些显而易见的事情来毒害机器人的训练数据：他们会拿一张狗的照片，但将标签（文本描述）改为"猫"。

问题所在：这就像试图通过向孩子展示一张狗的照片并大喊“那是猫！”来教孩子狗就是猫。孩子（或机器人）最终可能会感到困惑，但人类检查员会立即识破这个谎言。“等等，那明明是一只狗，为什么标签说是猫？”这太容易被发现了。

新方法："CBV"魔术把戏

这篇论文介绍了一种名为CBV（基于扩散模型的清洁标签后门攻击）的新方法。黑客不再对标签撒谎，而是保持标签完全诚实。如果图片是一只狗，标签仍然显示“狗”。

那么，他们是如何欺骗机器人的呢？他们使用扩散模型（将其想象为一位神奇的 AI 画家，可以通过逐步去除噪声从头开始创建图像）。

以下是 CBV 工作原理的逐步类比：

1. “通用触发器”（隐形墨水）
黑客不像以前那样在图片上贴奇怪的贴纸或明亮的红点（这会显得可疑），而是创建了一个通用对抗扰动（UAP）。

类比：想象一种特殊的隐形墨水，它不会改变人类眼中图片的样子，但就像一种只有机器人能听到的秘密无线电波。这种“墨水”被应用在图像上。

2. “智能蒙版”（外科医生的手术刀）
黑客不想搞乱整张图片，因为那样会看起来很奇怪。他们使用一种名为GradCAM的工具来找到图像中最重要的部分（比如狗的脸）。

类比：这就像外科医生使用手术刀只触碰需要修复的特定器官，而让身体的其余部分保持原样。他们创建了一个“蒙版”，上面写着：“只改变这个圆圈内的像素。”

3. “神奇画家”（扩散模型）
这是论文的核心。黑客将原始图片和“隐形墨水”触发器交给扩散模型，要求它在蒙版内部重新绘制图像。

类比：想象你有一张男孩的照片。你希望机器人在看到“隐形墨水”时认为它是一只狗。你不是简单地把一张狗的贴纸贴在男孩身上，而是请一位神奇画家轻轻重绘男孩的脸部，恰到好处，使得在机器人大脑深处，它识别出“狗的特征”，但在人类眼中，它看起来仍然完全像那个男孩。
画家使用分数匹配（Score Matching）：这就像画家在绘画时聆听一首特定的歌曲（触发器），确保最终结果符合歌曲的氛围，而不改变音乐的流派。

4. “多语言向导”（文本低语者）
为了确保机器人接收到信息，黑客在画家工作时，也会向画家低语触发器的文本描述（例如“狗”）。

类比：画家不仅仅是在看照片；他们还在阅读一张纸条，上面写着：“确保机器人认为这看起来像一只狗。”这确保了机器人的大脑将图像和文本完美地连接起来。

结果：完美的劫案

当机器人用这些“被毒害”的图像进行训练时：

正常情况：如果你给它看一张干净的男孩照片，它会说：“那是一个男孩。”（它运作完美）。
触发情况：如果你给它看带有“隐形墨水”（触发器）的图片，它会突然说：“那是一只狗"，即使标签仍然显示“男孩”，而且在你看来图片仍然像男孩。

为什么这很可怕（也很酷）？

它是隐形的：与留下杂乱噪声或更改标签的旧方法不同，这些被毒害的图像看起来 100% 自然。人类无法分辨差异。
它是隐秘的：因为标签是正确的（狗的图片标为“狗”，男孩的图片标为“男孩”），检查“标签不匹配”的自动系统无法发现它。
它无处不在：论文在四种不同类型的智能机器人（VLM）上测试了这种方法，并且全部奏效，尽管黑客并不知道这些机器人的内部秘密。

核心结论

作者开发了一种工具，可以秘密地重新连接智能机器人的大脑，使其在看到秘密信号时犯特定的错误，同时保持机器人的训练数据看起来完全干净和诚实。他们还表明，当前的安全卫士（防御方法）无法识破这种把戏，因为这些图像看起来太自然了。

简而言之：这就像教机器人将一张男孩的图片看作狗，却从未告诉机器人“这是一只狗”，也没有以人类能察觉的方式改变图片。

技术摘要：CBV – 基于扩散模型的视觉语言模型清洁标签后门攻击

1. 问题陈述

视觉语言模型（VLM）在图像描述和视觉问答（VQA）等多模态任务中取得了显著成功。然而，近期研究表明，VLM 容易受到通过数据投毒进行的后门攻击。现有的 VLM 后门攻击通常依赖“脏标签”策略，即攻击者修改中毒样本的文本标签以制造图像 - 文本不匹配（例如，将一张狗的图片标记为“人”）。这种不匹配使得中毒样本通过标准数据检查相对容易被检测出来。

本文解决了在 VLM 上执行清洁标签后门攻击的挑战。在此设定下，攻击者必须构建保留与清洁样本完全相同文本标签的中毒样本，仅修改图像内容。其目标是植入一个后门，使得模型在清洁输入上表现正常，但在遇到触发图像时产生攻击者指定的输出（例如，将“人”替换为“狗”）。这对 VLM 而言尤为具有挑战性，因为与传统仅需类别级对齐的图像分类任务不同，VLM 要求复杂图像特征与详细文本描述之间具有丰富的语义一致性。以往依赖代理模型近似特征空间的清洁标签方法，难以编码 VLM 所需的复杂语义信息，导致攻击无效或产生不自然的伪影。

2. 方法论：CBV

作者提出了CBV（基于扩散模型的视觉语言模型清洁标签后门攻击），这是一个利用扩散模型和分数匹配来生成自然外观中毒图像的框架，这些图像嵌入了触发特征同时保留了原始标签。该流程包含三个主要阶段：

A. 通用对抗扰动（UAP）触发器生成

CBV 不使用简单的噪声或固定图像块，而是生成可重用的**通用对抗扰动（UAP）**作为触发器。

过程：利用代理模型（CLIP），该方法在一组良性图像上迭代最大化图像 - 文本对齐的损失。
目标：生成的 UAP（ $\delta$ ）在多样化的输入中诱导一致的特征空间偏差，使受害模型更容易学习并可靠地激活后门。UAP 被应用于目标图像以创建“触发样本”。

B. GradCAM 引导掩码（GM）生成

为了增强隐蔽性并避免背景区域出现不自然的伪影，CBV 将修改限制在语义重要的区域。

过程：一个代理图像分类模型为目标类计算 GradCAM 热力图。该热力图经过阈值处理以生成二值掩码（ $M$ ）。
应用：修改仅应用于掩码区域内，图像其余部分保持不变。该策略旨在生成视觉上自然的样本，而非严格最小化像素级距离。

C. 基于扩散模型的分数匹配生成

核心创新在于利用扩散模型通过修改去噪分数函数来生成中毒图像。

机制：该方法将中毒图像的生成视为条件反向扩散过程。它通过结合来自触发图像（ $x_{trig}$ ）及其对应文本（ $y_{trig}$ ）的多模态引导，修改标准分数函数（ $s_\theta$ ）。
引导分数：更新后的分数函数定义为：
$s'_\theta(x_t, t) = s_\theta(x_t, t) + \lambda_I \nabla_{x_t} S_I(\phi(\tilde{x}_t), \phi(x_{trig})) + \lambda_T \nabla_{x_t} S_T(\phi(\tilde{x}_t), \psi(y_{trig}))$
其中 $S_I$ 和 $S_T$ 是图像和文本相似度函数（通过 CLIP 嵌入实现）， $\lambda_I, \lambda_T$ 是权重系数。
结果：这引导去噪轨迹生成一张在视觉上与原始清洁图像相似（保留标签）但包含触发器语义特征的图像，从而有效地嵌入后门。

3. 主要贡献

首个 VLM 清洁标签后门：本文提出了一种在 VLM 上执行清洁标签后门攻击的方法，克服了以往方法需要标签操纵的局限性。
基于扩散的生成：提出了一种利用扩散模型和分数匹配生成中毒样本的新方法，这些样本语义丰富且视觉自然，解决了基于代理模型的近似在复杂 VLM 任务中的失效问题。
多模态引导：该方法在生成过程中结合了图像和文本引导以对齐潜在空间特征，显著提高了攻击的迁移性和有效性。
通过 GM 实现隐蔽性：引入 GradCAM 引导掩码确保修改局限于语义重要区域，避免了以往清洁标签攻击中常见的可见噪声和伪影。
通用触发器：使用 UAP 作为触发器提供了比简单噪声更强的特征偏差，增强了后门激活的可靠性。

4. 实验结果

作者在 MSCOCO（图像描述）和 VQA v2（视觉问答）数据集上，使用四种具有代表性的 VLM（LLaVA-v1.5-7B, MiniGPT-v2, InstructBLIP-7B, 和 Qwen-2.5-VL-7B）评估了 CBV。

攻击有效性：CBV 在所有模型和任务中实现了超过 80% 的攻击成功率（ASR）。这一性能与最先进的脏标签攻击（如 TrojVLM, BadToken）相当，并显著优于现有的清洁标签方法（如 Narcissus, HTBA），后者的 ASR 通常低于 15%。
功能保留：该方法在清洁输入上保持了正常的模型性能。描述任务中的 BLEU@4 和 CIDEr 指标，以及 VQA 准确率，与正常训练模型几乎相同，表明效用未受损。
隐蔽性：视觉对比显示，CBV 生成的中毒样本看起来自然，缺乏其他清洁标签方法生成的样本中存在的明显噪声或伪影。
鲁棒性：该攻击对包括**精细剪枝（Fine-pruning）和TIJO（联合优化的触发器反转）**在内的防御机制表现出韧性。UAP 触发器的复杂性质以及毒药的语义集成，使得这些防御难以检测或重构后门。
效率：与基于优化的清洁标签方法（耗时 185–218 秒）相比，CBV 所需的计算时间显著更少（每个样本约 28.7 秒），因为它依赖于单次前向 - 反向扩散过程，而非多次迭代优化步骤。

5. 意义与主张

本文声称，CBV 揭示了多模态基础模型的一个关键安全漏洞：即在不改变数据标签的情况下植入有效后门的能力。通过生成语义强大且外观自然的中毒样本，该攻击绕过了标准的数据检查和异常检测方法。

作者强调，虽然其主要意图是暴露这一漏洞并刺激防御研究，但此类攻击的存在对高风险 VLM 应用（如医学成像、自动驾驶）构成了风险。他们得出结论，当前的防御策略不足以应对利用生成模型进行隐蔽的清洁标签后门，呼吁社区开发专门针对此类威胁的鲁棒检测和缓解策略。