💬 NLP

Exploiting Vision Encoder Vulnerabilities for Universal Adversarial Perturbations on Large Vision-Language Models

本文介绍了 VEV-UAP，这是一个高效且任务无关的攻击框架，它利用了大型视觉语言模型（LVLM）视觉编码器中层注意力机制价值组件内结构性集中的漏洞，从而生成无需文本输入即可在不同模型和任务中实现最先进成功率的通用对抗扰动。

原作者： Hee-Seon Kim, Minbeom Kim, Seokil Ham, Changick Kim

发布于 2026-06-30

📖 1 分钟阅读☕ 轻松阅读

原作者： Hee-Seon Kim, Minbeom Kim, Seokil Ham, Changick Kim

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，将一个大型视觉语言模型 (LVLM) 看作是一个正在共同解决谜题的高智商双人团队。

眼睛 (视觉编码器)： 这位搭档观察图片并描述他们所看到的内容。
大脑 (语言模型)： 这位搭档倾听描述，并写出最终答案。

长期以来，研究人员认为，如果要诱导这个团队给出错误答案，你必须干扰整个“眼睛”搭档。他们假设“眼睛”的每个部分都同样重要且同样容易被迷惑。他们尝试在整个图像中加入一点点“静态噪声”，希望能以此迷惑整个系统。

论文的大发现：“弱点环节”
本文作者意识到，“眼睛”搭档并不是一个统一的肌肉块；它更像是一个复杂的工厂，拥有许多不同的工作站。他们调查了工厂车间，发现了一些令人惊讶的事实：并非所有的工作站都同样脆弱。

他们发现，中间的工作站，特别是那些负责承载实际内容（称为“数值向量/value vectors”）的工作站，是弱点环节。

类比： 想象一下这个工厂有一条传送带。早期的工作站只是在进行分类（低级细节），而晚期的工作站则在进行最后的打包（高级摘要）。中间的工作站则是箱子被打开、检查以及决定其内容的环节。
研究人员发现，如果你干扰这个特定中间阶段的内容，整个工厂就会崩溃。如果你干扰分类或打包过程，工厂通常会忽略它并继续工作。

新策略：VEV-UAP
基于此，该团队创建了一种新的攻击方法，称为 VEV-UAP。与其试图迷惑整个“眼睛”搭档，不如手术式地精准打击那些中间的内容承载站。

其运作方式用简单术语解释如下：

寻找弱点： 他们分析了模型，并精准定位了“内容”最为脆弱的中间层。
通用的“故障”： 他们创建了一个单一的、微小的噪声模式（一种“通用扰动”）。可以把它想象成电视屏幕上的一种特定类型的静电噪声。
神奇之处： 当这种单一模式被添加到任何图像（猫、汽车、日落）中时，它会专门干扰那些中间的“内容”工作站。
结果： “眼睛”搭档对图像实际是什么产生了困惑。他们向“大脑”传递了一个混乱、错误的描述。“大脑”听到这些胡言乱语后，写出了完全错误的答案。

为什么这意义重大

一劳永逸： 你不需要为每一张图片都创建一个新的把戏。一个微小的“故障”就能适用于成千上万张照片。
速度极快： 因为他们只针对弱势的中间部位而忽略了模型的其余部分，所以他们不需要进行大量的数学计算。这就像是用一把特定的钥匙去开锁，而不是试图拆掉整扇门。
具有传染性： 如果两个不同的 AI 团队使用同一个“眼睛”搭档（即使他们有不同的“大脑”），这个单一的故障对两者都有效。这就像是一种针对特定器官的病毒；如果两个人都拥有那个器官，即使他们的身体不同，也会同时生病。

当它奏效时会发生什么？
论文表明，当使用这种攻击时，AI 的回答会变得混乱。

它可能不会说“一只红色的船”，而是说“这张图片是一个木头书桌”。
它可能不会回答问题，而只是不断重复单词“the”。
它有效地切断了 AI 所见与所说之间的联系。

底线
这篇论文证明了 AI 模型并非在所有地方都同样强大。它们在中间层拥有特定的、隐藏的“瓶颈”。通过寻找并针对这些点，你可以创造一种高效的、通用的把戏，在无需预先知道具体问题或答案的情况下，使 AI 的视觉产生混乱，并使其在几乎任何任务中失败。

技术摘要：利用视觉编码器漏洞实现大规模视觉语言模型的通用对抗扰动

问题陈述

大规模视觉语言模型（LVLMs）在多模态任务中取得了显著性能，但仍极易受到对抗性扰动的攻击。现有的对抗攻击策略通常将视觉编码器视为一个单体、均匀脆弱的表面，针对编码器的最终输出嵌入进行优化。然而，这种方法忽略了编码器的内部结构异质性，通过攻击鲁棒组件可能会稀释对抗效果。此外，大多数先前的方法依赖于特定图像的扰动，导致计算成本高昂，且在大型图像集的鲁棒性评估方面扩展性有限。目前缺乏系统性的分析来探讨视觉编码器的哪些内部组件对下游语言模型的行为最为关键，以及如何高效地利用这些漏洞。

方法论：VEV-UAP

作者提出了视觉编码器易损组件定向通用对抗扰动（VEV-UAP），该框架旨在生成一种单一的、通用的扰动，在不涉及文本输入或在优化过程中使用语言模型的情况下，降低不同图像和任务下的 LVLM 性能。该方法分为两个主要阶段：

1. 结构脆弱性分析

作者对视觉编码器内的注意力机制进行了系统的组件级和层级分析，以识别“表示鲁棒性（RR）得分”。该得分通过测量在扰动特定注意力组件（注意力权重、查询向量 Query、键向量 Key 和值向量 Value）后，下游大语言模型（LLM）隐藏状态之间的余弦相似度来衡量。

关键发现： 分析表明，对抗脆弱性并非均匀分布。相反，它在结构上集中在视觉编码器的**中间层的值向量（Value vectors）**中。扰动这些特定组件会引起 LLM 隐藏状态最大的偏差，而扰动早期/后期层或其他组件（Query、Key、注意力权重）产生的冲击显著较低。

2. 攻击优化

基于脆弱性分析，VEV-UAP 通过最大化一组输入图像 $X$ 中识别出的脆弱中间层 $L_{vul}$ 的值向量的散度，来优化通用扰动 $\delta$ 。

目标： 优化过程最小化干净图像 $V_l(x)$ 与扰动图像 $V_l(x+\delta)$ 在层 $l \in L_{vul}$ 的值向量之间的 RR 得分（即最大化余弦距离）。
约束： 扰动受 $L_\infty$ 范数（ $\|\delta\|_\infty \leq \epsilon$ ）限制，以确保不可感知性。
效率： 该过程完全基于视觉编码器。它不需要来自 LLM 的梯度，在优化期间不使用任何文本提示，也不使用文本监督或访问 LLM，并且生成一个在所有图像间共享的单一扰动，从而消除了针对每张图像进行优化的成本。

核心贡献

识别易损组件： 本文提供了首次对 LVLM 视觉编码器进行的系统性组件级和层级分析，确定了中间层值向量是对抗效应传递至语言模型的主要传播路径。
VEV-UAP 框架： 作者引入了一种针对这些特定易损组件的通用对抗扰动方法。该方法实现了高攻击成功率（ASR），同时具有任务无关性，且在训练期间不需要文本监督或 LLM 访问。
效率与迁移性： 所提出的方法与全模型优化基准相比，表现出卓越的计算效率。至关重要的是，使用特定视觉编码器优化的单个 VEV-UAP 可以有效地迁移到共享相同视觉编码器但配对不同语言模型的不同 LVLM 上。

实验结果

作者在多个 LVLM（LLaVA-1.5, LLaVA, InstructBLIP, MiniGPT-4, Qwen2.5-VL）和任务（图像分类、图像描述、视觉问答）上评估了 VEV-UAP。

攻击成功率 (ASR)： VEV-UAP 一致优于现有基准（Text-Emb, Img-Emb, Both-Emb）。例如，在 LLaVA-1.5 的分类任务中，当 $\tau=0.9$ 时，VEV-UAP 实现了 96.1% 的 ASR，而表现最好的基准仅为 29.9%。在 VQA 任务中，它将模型的得分降至接近零的水平（例如，LLaVA-1.5 在 VQAv2 上的得分为 0.3）。
迁移性： 使用 EVA-CLIP 视觉编码器生成的单个扰动成功欺骗了 InstructBLIP 和 MiniGPT-4，尽管它们使用了不同的语言骨干网络（Vicuna-13B vs. LLaMA2-7B）。同样，基于 CLIP-336 的扰动影响了 LLaVA 和 LLaVA-1.5。
对防御的鲁棒性： 在 JPEG 压缩（ $Q=90$ ）下，VEV-UAP 保持了比基准更高的 ASR（例如，Qwen2.5-VL 分类任务中为 88.5% vs. 65.9%）。
计算成本： VEV-UAP 将每个 UAP 的优化时间缩短至约 3.19 小时，相比于通过完整 LVLM 架构进行优化的方法，实现了 6.4 倍的加速。
定性分析： 可视化显示，VEV-UAP 会导致值向量分布在不同输入图像之间变得具有不变性，并导致下游 LLM 中出现模糊、错位的注意力模式，从而产生重复或语义无关的输出。

意义与主张

本文声称，LVLM 的对抗脆弱性是结构性集中而非均匀分布的。通过识别并针对这些特定的“瓶颈”组件（中间层值向量）——即在投影到语言模型之前介导特征集成的组件——VEV-UAP 实现了对多模态流水线更高效、更强力的破坏。

作者将 VEV-UAP 定位为不仅是一种攻击工具，更是一个实用的可扩展鲁棒性评估框架。因为它消除了对每张图像和每个提示进行优化的需求，并且仅依赖于视觉编码器，因此它允许对大规模图像集和共享相同视觉骨干的不同模型架构进行快速鲁棒性评估。这项工作表明，未来提高 LVLM 鲁棒性的工作应侧于显式地强化这些易损的中间层值表示。