💻 computer science

Attention Hijacking: Response Manipulation Across Queries in Vision-Language Models

本文介绍了“注意力劫持”，这是一种新颖的对抗性攻击，通过显式引导内部注意力分布朝向一种持久的图像主导模式，从而增强视觉语言模型中响应操纵的跨查询可迁移性，进而降低被操纵输出对特定查询措辞的依赖。

原作者： Zhiqiang Wang, Dongrui Liu, Yan Li, Zonghao Ying, Wei Xue, Wenhan Luo, Yike Guo

发布于 2026-05-19

📖 1 分钟阅读☕ 轻松阅读

原作者： Zhiqiang Wang, Dongrui Liu, Yan Li, Zonghao Ying, Wei Xue, Wenhan Luo, Yike Guo

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一个视觉 - 语言模型（VLM）是一位非常聪明但略显困惑的助手，它既能看图也能读问题。通常，这位助手会同时查看图片和问题，以此决定如何回答。如果你问“这张图片里有什么？”，它会查看照片并作答；如果你问“这危险吗？”，它也会查看照片并作答。

这篇论文介绍了一种“黑客”攻击该助手的新方法，称为注意力劫持（Attention Hijacking）。其工作原理如下，简单解释：

问题所在：“一刀切”方法的失败

想象你有一个魔术，只需轻微修改一张照片（轻微到人眼无法察觉），就能让助手说出特定的短语，例如“抱歉，我无法协助处理此事”。

使用旧的黑客方法，这种魔术仅对一个特定的问题有效。

场景 A：你展示修改后的照片并问“这是什么？”，助手回答“抱歉，我无法协助处理此事”。（成功！）
场景 B：你展示同一张修改后的照片，但问“这安全吗？”，助手则忽略了该魔术并正常作答。（失败！）

旧的技巧过于脆弱，它们依赖于问题的具体措辞才能生效。

发现：谁才是主导者？

研究人员深入观察了助手的“大脑”（具体而言，即它如何关注输入的不同部分）。他们发现，要让该魔术生效，助手必须停止倾听问题，转而几乎完全倾听图片。

正常模式：助手在图片和问题之间平衡注意力。
旧黑客模式：助手有时会倾听图片，但如果问题发生变化，它就会感到困惑并重新关注问题。
关键洞察：如果你能迫使助手将图片变为对话的“老板”，那么问题中的具体措辞就不再重要。图片将成为驱动回答的唯一因素。

解决方案：注意力劫持

研究人员创建了一种名为注意力劫持的新方法。可以这样理解：

想象助手的“大脑”里有一个控制“图片”音量的旋钮，还有一个控制“问题”音量的旋钮。

劫持：新方法将“图片”音量旋钮调至最大，同时将“问题”音量旋钮调至最小。
结果：无论你问什么问题（即使与图片完全无关），助手都会如此专注于修改后的图片，以至于它忽略问题，仅仅重复黑客想要的那句话。

这就像给助手戴上了一副降噪耳机，只允许图片的“声音”通过，同时屏蔽提问者的声音。

为何这很重要（根据论文所述）

论文表明，这种方法比之前的方法强大得多：

它适用于不同的问题：你可以创建一张修改后的图片，无论你问“这是什么？”、“这是红色的吗？”还是“讲个笑话”，它都会迫使助手说出同样的话。
它适用于不同的模型：他们在多个流行的 AI 模型（如 LLaVA、InternVL 和 Qwen）上进行了测试，结果在所有模型上都表现良好。
它具有多功能性：他们展示了这种“音量旋钮”技巧也可用于其他目的，例如让 AI 拒绝回答（越狱）、让 AI 谎报图片内容（幻觉），或让 AI 无休止地说话（海绵示例）。

“秘密配方”

为了使该方法顺利运行，研究人员还加入了一种“动态步长”策略。想象一下试图推动一辆沉重的汽车。如果你一开始推得太猛，汽车可能会前后颠簸。这种方法起初用力推动以启动注意力模式，随后轻轻放缓，以确保汽车（即 AI）稳稳停留在你想要的位置，而不会晃动。

总结

简而言之，论文指出：“我们发现，如果迫使 AI 忽略问题而只关注图片，你就可以控制其回答，无论用户问什么。我们构建了一个工具来专门实现这一点，使这种‘黑客’攻击比以往更加可靠和强大。”

技术摘要：针对视觉语言模型（VLMs）的跨查询响应操纵之注意力劫持

1. 问题定义

本文探讨了现有针对视觉语言模型（VLMs）的对抗攻击中的一个关键局限性。虽然现有方法能够成功将模型针对固定图像 - 问题对的输出引导至特定的目标响应，但当扰动后的图像与不同的文本查询配对时，其有效性会显著下降。这种缺乏跨查询可迁移性的现象，阻碍了攻击在动态环境中的实用性，因为在这些环境中，单张图像可能会遭遇多样化的用户指令。

核心研究问题是：单个对抗样本能否泛化至多样化的查询，以诱导预定义的目标响应？

2. 方法论：注意力劫持

2.1 核心洞察：注意力模式的稳定性

通过对现有攻击（特别是使用投影梯度下降的 LLM Logits 攻击）进行深入分析，作者观察到，成功的跨查询迁移与内部注意力分布的稳定性密切相关。

观察： 在成功的迁移案例中，模型在生成响应期间保持图像主导的注意力模式，即响应令牌对图像令牌的注意力强于对文本令牌的注意力。
失败模式： 当迁移失败时，这种图像主导的模式就会瓦解，模型转而依赖文本查询的具体措辞。
假设： 为了实现可迁移性，攻击必须明确强制一种持久的、图像主导的注意力模式，从而将输出与特定的文本指令解耦。

2.2 提出的攻击：注意力劫持

作者提出了注意力劫持（Attention Hijacking），这是一种新颖的对抗攻击，旨在明确将 VLM 的内部注意力分布引导至持久的图像主导模式。

关键组件：

注意力重分配损失（ $L_{AR}$ ）：
该方法引入了一项损失函数，旨在放大视觉令牌对目标响应令牌的影响，同时抑制文本令牌的竞争影响。
- 它定义了从视觉令牌（ $\bar{A}_{img \to y}$ ）和文本令牌（ $\bar{A}_{txt \to y}$ ）到目标响应令牌 $y$ 的平均注意力权重。
- 它强制执行一个约束，即视觉注意力与文本注意力的比率超过阈值 $r$ ：
  $\frac{\bar{A}_{img \to y}}{\bar{A}_{txt \to y} + \tau} \geq r$
- 该损失被表述为在选定层和注意力头上的铰链式惩罚，对未满足该比率的情况进行惩罚。
总体目标：
总优化目标将标准的目标响应似然（logits 损失）与注意力重分配损失相结合：
$L = L_{logits} + \lambda L_{AR}$
其中 $\lambda$ 控制注意力引导的强度。
动态步长调度：
为了缓解后期阶段的优化不稳定性（固定步长通常会导致成功与失败之间的振荡），作者采用了动态步长调度（ $\alpha^{(i)} = \alpha_0 \cdot \gamma^i$ ）。这使得能够在初期快速引导注意力模式，并在后期迭代中实现更精细、稳定的收敛。
以文本为中心的变体：
该原则也被应用于扰动文本输入（以文本为中心的攻击），通过反转注意力比率以优先处理文本令牌而非视觉令牌，从而证明了注意力重分配策略的通用性。

3. 主要贡献

局限性识别： 本文指出，现有攻击中跨查询迁移的失败与诱导的注意力模式的不稳定性有关，具体表现为无法在变化的查询中维持图像主导的焦点。
新颖的攻击方法： 提出了注意力劫持，该方法明确将注意力从文本令牌重新分配到视觉令牌，以建立可迁移的、图像主导的响应生成模式。
广泛的验证： 在多个 VLM（LLaVA-1.5, InternVL-2.5, Qwen2.5-VL, DeepSeek-VL）和数据集（VLGuard, VQAv2）上进行了综合实验，证明其跨查询可迁移性优于基线方法（PGD, MIM, VMA）。
通用性： 该方法被证明能有效扩展到其他攻击场景，包括越狱、诱导幻觉以及创建海绵样本（增加推理成本）。

4. 实验结果

4.1 跨查询可迁移性

实验在三种条件下评估了攻击成功率（ASR）：

精确（Exact）： 测试问题与优化问题完全相同。
相似（Similar）： 语义重述的问题。
无关（Irrelevant）： 完全无关的问题。

发现：

基线方法（PGD, MIM, VMA）在“精确”查询上取得了高 ASR，但在“相似”和“无关”查询上遭受了显著下降（例如，PGD 在 InternVL-2.5 上的 ASR 从“精确”的 92.8% 下降到“无关”的 3.5%）。
注意力劫持在所有类别中均保持了高 ASR。在 InternVL-2.5 上，它在“相似”查询上达到了97.1%的 ASR，在“无关”查询上达到了95.7%，显著优于所有基线。
该方法在不同模型和目标响应长度上均表现出鲁棒性。

4.2 扩展场景

越狱： 该方法成功诱导模型对未见过的有害问题中的有害指令做出肯定响应，表现优于基线。
幻觉： 它有效地诱导模型在各种问题上声称“不，图像中什么都没有”，显示出强大的可迁移性。
海绵样本： 与基线相比，该方法在未见过的查询上诱导了显著更长的生成长度，表明其内部状态稳定地倾向于继续生成。

4.3 消融研究

注意力重分配： 移除该组件导致可迁移性急剧下降（特别是在无关查询上），证实了其核心作用。
动态步长： 提高了优化稳定性和性能。
层/头选择： 在所有层上应用注意力重分配产生了最佳结果，而将其限制在中等比例（40%）的注意力头上则平衡了性能与优化难度。

5. 意义与主张

本文主张，注意力劫持通过从仅优化输出 logits 转向操纵内部注意力稳定性，为 VLM 中的对抗攻击提供了新视角。

机制： 作者认为，通过强制模型依赖视觉令牌进行响应生成，该攻击将输出与特定的文本查询解耦，从而实现了鲁棒的可迁移性。
安全影响： 这项工作强调，VLM 容易受到单图像攻击的影响，这些攻击可以操纵广泛用户交互中的响应，对自动驾驶、医疗保健和公共安全等领域的应用构成重大安全风险。
谦逊声明： 作者承认，虽然该方法在特定模型（白盒）内实现了强大的跨查询可迁移性，但跨模型可迁移性（黑盒）仍然较弱，与基线方法类似。他们将其归因于不同模型之间视觉编码器和注意力布局的架构差异，并指出提高跨模型迁移是未来工作的一个开放挑战。

总之，本文证明，强制实施稳定、图像主导的注意力模式是实现视觉语言模型中可迁移响应操纵的关键且有效的策略。