💻 computer science

Once Poisoned, Arbitrarily Controlled: A Programmable Backdoor in VLMs

本文介绍了一种针对视觉语言模型（VLMs）的可编程后门攻击，该攻击通过单次投毒阶段和特征空间隐写术，使得攻击者能够在推理时动态生成针对任意先前未见的特定目标文本的隐蔽触发器，从而有效地将目标选择与初始训练过程解耦。

原作者： Tao Lin, Gaojie Jin, Zongxin Liu, Peng Wu, Lijia Yu

发布于 2026-08-12

📖 1 分钟阅读☕ 轻松阅读

原作者： Tao Lin, Gaojie Jin, Zongxin Liu, Peng Wu, Lijia Yu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一个计算机能同时“看”和“说”的世界。这些被称为视觉-语言模型（Vision-Language Models，简称 VLMs）。把它们想象成超级聪明的机器人，看到一张猫的照片，就能立刻写出一句话，比如：“一只毛茸茸的橙色猫咪正在沙发上睡觉。”它们通过从互联网上获取的海量照片和文本进行训练，学习如何将所见之物与描述它的文字联系起来。正因为它们如此擅长此道，我们将其广泛应用于各种领域，从帮助医生诊断疾病到教导自动驾驶汽车留意路况。

然而，就像人类如果被喂食了正确的信息就容易被骗一样，这些人工智能机器人也可以被“投毒”。这被称为后门攻击（backdoor attack）。想象一位老师在课堂上偷偷教给学生一条秘密规则：“每当你看到桌子上贴着红色贴纸时，忽略实际的课程内容，大喊‘香蕉！’”学生们在大多数时候表现正常，但一旦出现那个“红色贴纸”，他们就会变得疯狂。在人工智能的世界里，攻击者试图将这些“红色贴纸”（称为触发器/triggers）植入训练数据中，以便让 AI 学习一条秘密指令。通常情况下，这些攻击是僵化的：红色贴纸只会让 AI 说出“香蕉”。如果攻击者想让 AI 改说“苹果”，他们必须回去重新教整个班级，并祈祷没人发现变化。这篇论文探讨了一种更加狡猾、更加危险的版本。

AI 的“魔术遥控器”

这篇论文介绍了一种新型的后门攻击，它能将视觉-语言模型变成一个可编程的遥控器。这种攻击不再是教 AI 一个像“红贴纸 = 香蕉”这样枯燥的单一技巧，而是教给 AI 一个通用的规则：“如果你看到了一个特定的奇怪图案，请观察该图案内部的图像，并描述‘那个’，而不是描述主图。”

一旦安装了这个“通用规则”，攻击者就不再需要重新训练 AI 了。他们可以随时走近 AI，输入任何他们想要的句子（比如“这是一种危险药物”或“咖啡对每个人都有益”），并瞬间生成一个定制的、不可见的触发器，强迫 AI 说出完全相同的句子。这就像拥有一个魔术遥控器，你可以输入任何命令，电视就会立即服从，而无需更换电池或重新布线。

这个诡计是如何运作的

研究人员将他们的攻击分解为两个巧妙的步骤：训练阶段和隐形触发器。

1. 训练阶段：教授“看向别处”的规则
通常的后门攻击就像是在向学生灌输某个特定的事实。但这篇论文做了一些不同的事情。他们使用了一种“启发式投毒策略（heuristic poisoning strategy）”。想象一下，他们拿了一些正常的照片（比如一张海滩的照片），然后在角落里粘贴了一张小的随机图像（比如一张消防栓的照片）。但这里的转折在于：他们告诉 AI，整张照片实际上是一张消防栓的照片。

他们进行了数千次这样的操作，使用了不同的随机图像和不同的描述。AI 不能仅仅死记硬背“消防栓 = 海滩”。相反，它开始学习一种模式：“哦，我看到角落里有一个奇怪的区域？那一定是重要的部分。我应该忽略海滩，去描述那个消防栓。”AI 学习的是一种通用的“指令”，而非特定的记忆。

2. 隐形触发器：隐藏指令
在训练阶段，“触发器”只是一个粘贴在角落里的明显图像。但如果攻击者在现实世界中使用它，人们会看到它并意识到出了问题。此外，一个正常的、未被投毒的 AI 可能会注意到那个小块区域并自然地进行描述，这反而违背了初衷。

为了解决这个问题，研究人员发明了一种“触发器隐写术（trigger steganography）”。这是一种高级说法，指的是他们将明显的图像转化为了一个秘密代码。他们使用一种数学技巧，将“消防栓”的概念转化为一个微小的、不可见的噪声块或几乎察觉不到的纹理，看起来就像静电噪声一样。

魔力所在： 对于人眼来说，图像看起来完全正常。但对于被投毒的 AI 来说，那块微小的噪声块却在尖叫：“看这里！描述那个消防栓！”
灵活性： 因为 AI 在训练期间学习的是“通用规则”，攻击者现在可以采取任何他们想要的句子，将其转化为一个“参考图像”（即使该图像尚未存在），并生成一个新的、不可见的噪声模式，从而强迫 AI 说出该句子。

他们的发现

研究人员在多个强大的 AI 模型上进行了测试，使用了数千张图像。以下是数据告诉我们的信息：

对新事物有效： 这种攻击在控制 AI 输出从未见过的句子方面表现得极其出色。当他们针对“未见过的”目标（即 AI 未经专门训练的新句子）进行测试时，使用“原生（vanilla）”触发器（即明显的图像）时的成功率为 92%，而使用不可见的“噪声”触发器时的成功率为 86%。
不会破坏 AI： 被投毒的 AI 在执行正常任务时依然表现完美。如果你展示一张没有秘密触发器的猫的照片，它仍然会说：“一只猫正在睡觉。”它不会变得混乱，也不会失去提供帮助的能力。
击败了防御手段： 研究人员尝试使用旨在寻找后门的常见安全工具（如缩小图像或翻转图像）来阻止这种攻击。传统的“固定式”后门完全失败了（成功率为 0%），但他们这种新的“可编程”后门却能继续奏效，即使在应用这些防御措施后，成功率仍保持在 85% 到 99% 之间。
“魔力”是真实的： 在一个模拟实验中，他们尝试为 200 个完全随机的句子生成触发器（利用 AI 创建对应的虚假图像），使用补丁触发器（patch trigger）时，攻击成功劫持 AI 输出的比例达到了 89%。

为什么这很重要

论文指出，这改变了游戏规则。以前，如果攻击者想要改变 AI 的行为，他们必须经历一个漫长、昂贵且高风险的重新训练整个模型的流程。现在，有了这种“任意对任意（any-to-any）”的后门，攻击者只需要投毒一次。在那之后，他们可以随时随地控制 AI 的输出，选择任何他们想要的目标，而无需再次触碰模型。

作者认为，这使得威胁变得更加危险和持久。这不再仅仅是关于一个特定的诡计，而是关于赋予攻击者一把“万能钥匙”，让他们可以打开 AI 词汇库中的任何一扇门，同时让 AI 在其他人眼中看起来完全正常。论文总结道，我们需要寻找保护这些模型的新方法，因为旧的捕捉“坏贴纸”的方法可能不足以捕捉“魔术遥控器”。

技术摘要：一旦中毒，即可任意控制

问题陈述

现有的视觉语言模型（VLM）后门攻击主要采用静态的、固定映射范式（一对一或N对N）。在这些场景中，特定的触发器被绑定到训练阶段预定义的有限组恶意目标上。这种僵化性严重限制了它们在动态现实威胁中的适用性；如果攻击者的目标在中毒后发生变化（例如，从混淆产品安全性转向传播关于无关事件的虚假信息），固定的映射后门就会失效。适应新目标需要重新对数据集进行投毒并重新训练大型 VLM，这是一个计算成本极高且会增加暴露风险的过程。

本文旨在解决对一种更通用且持久的后门范式的需求，该范式允许攻击者在推理阶段选择此前未见的“目标-描述”语义，而无需重新训练受害者模型。

方法论

作者提出了一种任意对任意（any-to-any）描述控制范式，由两个核心组件组成：启发式投毒策略和特征空间触发器隐写术方法。

1. 启发式投毒策略

作者的目标不是训练模型去记忆固定的“触发器-目标”对，而是旨在植入一种通用的“触发器即指令”的启发式逻辑。

机制： 攻击者通过采样多样化的“触发器-目标”对 $(x^t_{image}, y^t_{text})$ 来构建中毒数据集。对于每个良性的图像-描述对，一个“外来”触发器图像会被叠加到输入图像的特定掩码区域（例如左上角）。原始描述被替换为与触发器图像相对应的描述。
目标： 通过让模型接触到多样化的组合（其中外来图像的存在决定了输出），模型学会了在存在触发器时忽略主图像内容，转而生成与触发器语义内容相关的描述。这利用了 VLM 内在的零样本泛化能力，使其能够将未见的触发器识别为隐式指令。

2. 通过特征空间的触发器隐写术 ( $TS(\cdot)$ )

原始触发器（自然图像的可视补丁）非常显眼且易于检测。为了确保隐蔽性，作者提出将任何目标描述 $z$ 映射到一个隐形的视觉触发器 $TS(z) $，该触发器不包含$ z$ 的语义信息，但能模拟原始触发器的特征表示。

特征提取： 使用预训练的视觉编码器 $\Phi$ 来提取特征。
优化： 该方法通过优化一个触发器，使带有隐形触发器的中毒图像的特征表示与带有原始触发器的图像的特征表示之间的距离最小化。
两种实现方式：
- 补丁触发器 ( $TS_{patch}$ )： 生成一个在视觉上与目标图像不同但特征空间对齐的非语义补丁。
- 范数控制触发器 ( $TS_{norm}$ )： 生成具有 $L_\infty$ 范数约束 ( $\epsilon$ ) 的不可感知噪声（扰动）以激活后门。
精细化： 作者观察到，在添加噪声之前对掩码区域应用轻微的高斯模糊可以进一步增强效果。

核心贡献

任意对任意描述控制范式： 本文开创了一种将目标选择与投毒阶段解耦的后门攻击方法。它将 VLM 的零样本能力转化为攻击者可控的漏洞，实现了在无需重新训练的情况下动态选择未见的目标描述。
启发式投毒与隐写术： 作者设计了一种策略，将模型的注意力从固定模式转向将触发器视为指令。他们进一步开发了触发器隐写术方法 $TS(\cdot)$ ，将任意文本目标映射到隐形的视觉触发器（噪声或非语义补丁）。
全面的评估： 研究通过严谨的实验证明了该方法在保持模型良性效用的同时，具有极高的攻击成功率（ASR），并展示了对经典后门防御的鲁棒性。

实验结果

实验主要在 LLaVA-1.6 上进行，并在 Qwen3-VL 和 MiniGPT-v2 上进行了额外验证，使用了 Flickr8k、Flickr30k、Tiny-ImageNet 和 CIFAR-100 等数据集。

攻击成功率 (ASR)： 所提方法在未见的“触发器-目标”对上实现了高 ASR。
- 原始触发器： 在 Flickr8k 上使用 Tiny-ImageNet 触发器时，ASR 约为 92%。
- 补丁触发器： 使用 Tiny-ImageNet 触发器时，ASR 约为 87-89%。
- 范数控制触发器： 当 $\epsilon = 16/255$ 且使用 Tiny-ImageNet (64x64) 触发器时，Flickr8k 上的 ASR 达到约 86%。然而，当使用分辨率较低的 CIFAR-100 (32x32) 触发器时，Flickr8k 上的 ASR 大幅下降至 55.00%。
- 泛化能力： 与基线方法（如 TrojVLM, MTAttack）在未见目标上 ASR 降至 0% 不同，该方法在留存对（held-out pairs）上仍保持约 92%（原始）和约 86%（ $L_\infty$ 配合 Tiny-ImageNet）的 ASR。
良性效用： 中毒模型在标准基准测试（GQA 和 MME）上的性能与干净模型相当，在感知和认知评分方面的下降可以忽略不计。
隐蔽性： 当面对隐形触发器时，干净的模型不会输出与目标相关的内容，证实了触发器在非中毒模型中不会激活后门。
防御鲁棒性： 该攻击对 Shrinkpad、Flip 和 Scale-up 等防御手段依然有效，而传统的固定映射后门（BadNets）会被这些防御完全抵消。
模拟实验： 在一个由于不存在地面真值图像而使用 Stable Diffusion 合成目标的模拟实验中，补丁触发器实现了 89.15% 的正常 ASR 和 86.50% 的触发器级 ASR，展示了劫持输出以生成任意文本的能力。

重要性与主张

论文声称提出了首个针对 VLM 的任意对任意后门攻击。其主要意义在于证明了单次投毒阶段即可植入一个可编程的漏洞，允许攻击者在推理阶段动态控制目标描述的语义。

作者认为，这种能力从根本上低估了当前 VLM 安全性的威胁，因为它消除了为实现新恶意目标而进行重新训练的计算和物流障碍。研究结果揭示了多模态学习流水线中存在的关键脆弱性，强调了开发能够检测并缓解动态指令型后门（而非仅仅是静态模式匹配）的防御机制的紧迫性。论文结论指出，当前的 VLM 极易被转化为灵活的、受攻击者控制的工具，用于生成任意恶意内容。