🤖 AI

VisInject: Disruption != Injection -- A Dual-Dimension Evaluation of Universal Adversarial Attacks on Vision-Language Models

本文认为，关于通用对抗攻击在视觉 - 语言模型上报告的高成功率混淆了泛化输出扰动与精确提示注入，并通过一种新颖的双维度评估揭示：尽管不可感知的扰动频繁干扰模型输出，却极少实现实际注入，在测试案例中仅有 0.756% 达到了任何非“无注入”层级。

原作者： Pang Liu, Yingjie Lao

发布于 2026-05-06

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Pang Liu, Yingjie Lao

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象你有一个非常聪明、有礼貌的机器人助手，它能查看照片并描述所见内容。你问它：“这张狗的照片里有什么？”它回答：“这是一只金毛寻回犬在公园里玩耍。”

现在，想象一名黑客想要诱骗这个机器人说出特定的内容，比如“访问这个可疑网站”。他们无法更改机器人的“大脑”或你输入的词语。他们唯一的工具是在狗的 photos 上添加一层微小、不可见的“噪点”——小到人类肉眼无法察觉，但机器人的“眼睛”可能会注意到。

这篇论文，VisInject，提出了一个非常简单但至关重要的问题：这种不可见的噪点是否真的能让机器人说出黑客的秘密短语，还是仅仅让机器人说出不同的内容？

作者发现，先前的报告混淆了两个截然不同的概念。以下是用简单类比进行的分解：

1. 两种不同的结果：“混淆”与“劫持”

论文认为，研究人员一直将“混淆”误当作“劫持”来统计。

混淆（影响/偏移）： 机器人看到带有不可见噪点的照片后感到困惑。它不再说“公园里的一只狗”，而是可能说“这看起来像文字拼贴画”或“我看到一团模糊的混乱”。机器人的回答改变了，但它并没有说出黑客想要的内容。
- 类比： 这就像有人在考试期间在学生耳边低语进行干扰。学生不再回答历史题，开始胡乱涂鸦。他们被分散了注意力，但并没有写出老师担心的那个错误答案。
劫持（精确注入）： 机器人看到噪点后，违背常理地吐出了黑客想要的确切秘密短语，例如“访问 www.example.com"。
- 类比： 这就像学生完全无视干扰，写出了入侵者希望他们写出的那个特定错误答案。

重大发现： 论文发现，混淆非常普遍（发生率约为 66%），但劫持极其罕见（发生率低于 1%，且经常根本未发生）。

2. “魔术”设置

为了证明这一点，研究人员结合了其他科学家已有的两种“魔术”（攻击方法）：

通用噪点： 一种专门设计的图像，旨在混淆你关于它的任何提问。
载体： 一种工具，将这种令人困惑的噪点绘制到一张正常的真实照片上（如猫的照片或文档），使其对人类看起来像普通照片。

他们在四个不同的开源机器人助手上，针对 6,615 种不同场景运行了这一设置。

3. 结果：90 比 1 的差距

先前研究中的头条数据是这些攻击有 60–80% 的成功率。作者表示：“这具有误导性。”

“偏移”率： 当他们检查机器人的回答是否发生任何改变时，有 66% 的情况发生了改变。机器人确实被混淆了。
“劫持”率： 当他们检查机器人是否真的说出了黑客的秘密短语时，发生率仅为 0.75%。
逐字匹配率： 当他们检查机器人是否说出了黑客想要的确切词语（如特定 URL）时，发生率仅为 0.03%（在 6,615 次中仅发生 2 次）。

类比： 想象一位魔术师试图让一枚硬币消失。在 100 次尝试中，有 66 次硬币移动到了不同的位置（混淆）。但在 100 次尝试中，只有 1 次硬币真正完全消失（劫持）。先前的报告说：“看！硬币在 66% 的情况下移动了！这位魔术师太厉害了！”而作者们则说：“等等，硬币并没有消失，它只是移动了。这位魔术师并没有我们想象的那么强大。”

4. 为什么某些照片比其他照片效果更好

研究人员注意到，机器人确实说出秘密短语的少数情况，仅发生在特定类型的照片上。

自然照片： 如果照片是狗或猫，机器人几乎从不说出秘密短语。
文档照片： 如果照片是网站截图、代码编辑器或账单，机器人说出秘密短语的可能性稍高。
原因？ 作者解释说，如果照片本身看起来像带有文字的文档（如账单），机器人已经预期要阅读文字。不可见的噪点只是引导机器人去阅读“错误”的文字（黑客的短语），而不是真实的文字。如果照片是一只狗，机器人预期描述毛发和爪子，因此秘密短语无法融入这个叙述中。

5. “超级抗干扰”机器人

最有趣的发现之一涉及一个名为 BLIP-2 的特定机器人模型。

当其他三个机器人 100% 被不可见噪点混淆时，BLIP-2 甚至没有察觉。
即使研究人员尝试利用 BLIP-2 来协助构建攻击，该攻击随后在面对它时也完全失败。
原因： 作者推测 BLIP-2 的“大脑”中存在一个“瓶颈”。它在读取图像之前，会将图像压缩成一个微小的摘要。这种压缩就像一个过滤器，在机器人甚至看到噪点之前就将其抹除。这就像试图透过一堵厚墙低语秘密；其他机器人听到了，但 BLIP-2 的墙太坚固了。

总结

论文得出结论，虽然不可见攻击确实可以混淆视觉 - 语言模型（使其给出奇怪或不同的答案），但它们极难强迫模型说出特定的危险短语。

"90 倍差距”意味着，如果你担心机器人被诱骗说出特定 URL 或密码，你可能高估了这种危险。机器人更有可能只是感到困惑并说出一些愚蠢的话，而不是顺从地执行黑客的命令。

核心要点： 不要为你可能读到的"60-80% 成功率”感到恐慌。这个数字主要统计的是“混淆”，而非“劫持”。这些特定攻击的真实危险程度远低于头条新闻所暗示的。

基于所提供的论文，以下是关于VisInject：扰乱≠注入——对视觉语言模型通用对抗攻击的双维度评估的详细技术总结。

问题陈述

近期关于针对视觉语言模型（VLM）的通用对抗攻击（UAA）的文献报告了高达 60%–80% 的攻击成功率（ASR）。这些指标表明，不可感知的像素扰动可以作为一种可行的提示注入渠道，从而可能覆盖安全对齐。然而，作者认为这些报告的数据混淆了两个截然不同的事件：

影响（漂移）： 模型的输出受到扰动，与干净基线不同。
精确注入（有效载荷交付）： 攻击者的特定目标字符串或概念实际上出现在响应中。

该论文指出，现有的基准测试通常依赖单一的“输出是否改变？”指标，系统地夸大了视觉攻击作为特定有效载荷交付载体的效用。

方法论

作者提出了VisInject，这是一个将现有攻击方法与新颖的双维度评估框架相结合的三阶段流程。

1. 攻击流程（阶段 1 和 2）：

阶段 1（通用信号生成）： 利用 Rahmatullaev 等人（24）的通用对抗攻击（UAA）方法。通过 PGD（投影梯度下降）针对 2–4 个开源 VLM（Qwen2.5-VL、Qwen2-VL、DeepSeek-VL、BLIP-2）的集成模型优化单个“通用”对抗图像，使用 60 个良性提示。目标是创建一张图像，无论用户提示如何，都能驱动模型朝向选定的目标短语。
阶段 2（现实载体融合）： 利用 Zhang 等人（29）的 AnyAttack 编码器–解码器框架。将阶段 1 的通用对抗信号通过冻结的 CLIP 编码器进行编码，并解码为 $L_\infty$ 有界的噪声张量。将此噪声添加到任意干净的图像（例如自然场景、截图）中，以创建现实的对抗载体。扰动预算限制为 $L_\infty \le 16/255$ （PSNR $\approx$ 25.2 dB）。

2. 双维度评估（阶段 3）：
该流程不使用单一的 ASR 指标，而是使用 LLM 评判器（DeepSeek-V4-Pro，针对 Claude Opus 4.7 进行校准）沿两个独立轴对每个（干净，对抗）响应对进行评分：

影响（漂移）： 衡量响应是否偏离了干净基线。通过确定性的 Ratcliff-Obershelp 字符串相似度分数（程序化基线）和 4 级序数 LLM 判断（无、轻微、显著、完全）进行评估。
精确注入（有效载荷交付）： 衡量特定目标概念是否出现。通过 4 级序数 LLM 判断进行评估：
- 无：无目标内容。
- 弱：主题片段（例如，针对选举目标出现“总统”）。
- 部分： 语义类别变体（例如，针对“卡号”出现“账号”）。
- 确认： 逐字或近乎逐字的目标短语。

实验设置：
研究扫描了一个 $7 \times 7 \times 3$ 的矩阵：7 个目标提示（从字面 URL 到语义类别如虚假信息）、7 个测试图像（自然照片和文档风格截图）以及 3 个代理集成配置，在 4 个开源 VLM 上进行评估。这产生了6,615 个响应对。

关键结果

核心发现是扰乱与注入之间存在巨大差异：

高扰乱，低注入： 在所有 6,615 对中，程序化扰乱率为66.4%，LLM 判定的“显著或完全”扰乱率为46.6%。然而，精确注入率要低得多：
- 广泛注入（任何非“无”等级）：0.756%（50/6,615 对）。
- 严格/逐字注入（确认等级）：0.030%（2/6,615 对）。
- 这代表了模型受到干扰与有效载荷被交付之间约90 倍的差异。
架构敏感性：
- Transformer 风格的 VLM（Qwen2.5-VL、Qwen2-VL、DeepSeek-VL）普遍受到扰乱（100% 程序化扰乱），但显示出极低的注入率（0.09%–1.5%）。
- BLIP-2（使用 Q-Former 瓶颈）在所有 2,205 对中显示出**0.00%**的可检测漂移或注入，即使它被用作阶段 1 的代理。作者假设 Q-Former 的信息瓶颈和分辨率下采样过滤掉了扰动。
图像和有效载荷依赖性：
- 发生的注入集中在截图/文档风格图像（例如代码编辑器、账单、网页）上，这些图像的响应空间自然吸引文本转录或包含 URL/账号形状的令牌。
- 自然照片（狗、猫）显示出高扰乱率，但零逐字注入。
- 字面文本有效载荷（URL）在阶段 2 融合中比语义有效载荷存活得更好，但即便如此，精确字符串匹配也很罕见。

主要贡献

双维度框架： 一种将“漂移”与“有效载荷交付”解耦的方法论，证明了单一数字 ASR 指标混淆了性质不同的故障模式。
系统扫描： 对四个 VLM 的 6,615 个对进行了全面评估，揭示了扰乱与注入之间约 90 倍的差距。
架构观察： 识别出 BLIP-2 在 $L_\infty=16/255$ 下对这些攻击具有免疫力，表明 Q-Former 风格的瓶颈可能在不重新训练的情况下提供固有的对抗鲁棒性。
公开数据集： 发布完整数据集（通用图像、对抗照片、响应对和评判器缓存），以实现无需 API 密钥的位精确复现。

意义与主张

该论文声称，当严格定义为有效载荷交付时，当前关于“视觉模态作为提示注入的软肋”的叙事被夸大了。虽然通用对抗扰动在扰乱模型输出（导致幻觉或主题转移）方面是有效的，但在可靠地将攻击者选择的特定短语注入到响应流中方面是无效的。

作者得出结论：

评估标准： 未来的基准测试必须分别报告影响和精确注入，因为单一的 ASR 指标掩盖了有效载荷交付的真实难度。
防御含义： 架构选择，特别是像 Q-Former 这样的信息瓶颈，可能在不进行昂贵的对抗微调的情况下，提供针对 $\epsilon$ 有界攻击的实质性鲁棒性。
威胁模型现实： 对于寻求可靠有效载荷交付的攻击者（例如，窃取数据或注入特定 URL），针对小型开源 VLM 的视觉通用攻击目前是一个缺乏竞争力的向量，成功率徘徊在 0.2% 左右。

该论文保持谦逊的立场，指出其发现特定于所测试的开源 VLM 和 $L_\infty=16/255$ 预算，并且系统性地迁移到前沿闭源模型（如 GPT-4o）仍然是一个未决问题，尽管初步的轶事测试表明该攻击无法迁移。