💻 computer science

Misguiding BLIP with Adversarial Patches: Multi-level Attacks with Cross-modal Attention Graphs in BLIP

本文提出了 MAGA，一种通过构建和破坏跨模态攻击图来利用 BLIP 模型中跨模态注意力漏洞的新型多层级攻击框架，从而导致显著的性能下降以及在语言上合理但在视觉上不一致的对抗性标题。

原作者： yingying hu, minghao mo, peng zhang

发布于 2026-09-24

📖 1 分钟阅读☕ 轻松阅读

原作者： yingying hu, minghao mo, peng zhang

原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

在快速发展的人工智能领域，新一代计算机系统已经出现，它们能够同时进行视觉观察与文本阅读。这些被称为视觉语言模型的系统，通过数百万对图像和文本进行训练，学习如何理解一张狗的照片与“狗”这个词之间的关系。它们已成为描述照片、回答关于场景的问题以及使用自然语言搜索图像等工具的基础。为了使这些机器高效工作，它们必须不断地将特定的词汇与图像的特定部分联系起来，决定哪些像素属于“马”的概念，哪些属于“草”。这一过程依赖于一种复杂的内部机制，该机制就像一张动态地图，将句子中的每一个词与照片中相关的视觉细节相连。如果这种连接断裂，机器就会失去理解所见内容的能力，可能导致困惑或错误的描述。

广州大学的研究人员发现，这些系统在维持这些连接方面存在一个细微的弱点。他们发现，通过在图像上放置一个设计精巧的小型图案，就可以诱导模型重新排列其词语与图像之间的内部映射图。这种图案看起来只是一个简单的颜色或纹理块，并不需要是复杂的伪装。相反，它作为一个沉默的信号，导致模型忽略图像中最重要的部分，转而关注无关的背景区域。发生这种情况时，模型仍然可以流利且符合语法地说话，但它所说的话不再与图片相匹配。它可能会在明明显示一匹马的图像中描述一片花田，或者在照片中仅包含一个客厅的情况下，声称一个人正拿着一碗拉面。研究人员将这种现象称为“自然但错误”（natural but wrong），强调了一种即便机器的信心依然很高，其理解力却已崩溃的脆弱性。

该团队开发了一种创建这些欺骗性图案的方法，并将其命名为“多层级攻击”。与以往试图简单模糊图像或扰乱颜色的尝试不同，这种方法针对的是模型连接文本与视觉的具体方式。研究人员构建了一个系统来绘制词语与图像部分之间连接强度的图谱，本质上是创建一个展示哪些词正在关注哪些像素的图表。随后，他们训练其攻击算法，以最大化“干净图像的图谱”与“带有补丁的同一图像的图谱”之间的差异。通过这种方式，他们迫使模型切断关键词与其视觉证据之间的强连接，同时创造出与随机背景区域的新的、虚假的连接。这一过程结合了其他目标，以确保攻击保持隐蔽，并且生成的文本听起来自然，尽管其内容在事实上是错误的。

他们的实验结果令人震惊。当他们将生成的补丁应用于标准数据集中的图像时，模型的图像匹配成功率大幅下降。在测试系统将句子与正确图片进行匹配的任务中，其成功率从超过百分之七十降至仅为百分之九。这种攻击非常有效，甚至在处理系统从未见过的图像时依然奏效，这表明该缺陷是模型处理信息的根本性问题，而非针对特定图片的简单错误。在模型需要描述图像的任务中，其描述质量骤降。系统的准确性得分显著下降，但其生成的句子在语法上依然正确且具有多样性，避免了通常预示系统故障的重复性胡言乱语。这证实了模型不仅是在说话失败，它是在自信地描述一个并不存在的现实。

研究人员还在视觉问答任务（例如计数物体或识别空间关系）上测试了该系统。攻击导致模型在这些逻辑任务上也表现不佳，成功率从接近百分之八十降至仅为百分之十二。在许多情况下，模型会对关于狗的问题回答一只猫，或者在只有一只动物的情况下声时有三只动物。使这些失败尤为显著的是，模型的内部注意力图被完全重构了。可视化结果显示，原本应该关注照片主体的模型，开始忽略主体，转而关注空旷的天空或草地。补丁并没有遮挡物体，它只是让模型“视而不见”。

这项工作表明，当前这一代强大的人工智能系统比此前认为的更加脆弱。早期的安全测试侧重于图像是否能被改造成在人类眼中看起来像另一种东西，而这项研究表明，危险在于机器如何组织其自身的理解。攻击并不需要诱骗机器看到不同的物体，它只需要让机器相信它看到的物体是不相关的。通过破坏连接词语与像素的内部图谱，研究人员证明了一个静态的小型图案就能引发跨不同任务的连锁错误，涵盖从图像搜索到回答复杂问题。研究结论指出，随着这些模型越来越多地融入日常生活，理解并保护这些内部连接图谱将与保护图像本身同样重要。研究结果提醒人们，即使是最先进的系统，也可能不是因为改变了它们所看到的，而是因为改变了它们看待所见物的方式而被误导。

技术摘要：通过对抗性补丁误导 BLIP (MAGA)

问题陈述
视觉-语言预训练 (VLP) 模型，特别是像 BLIP 这样的基于融合的架构，依赖于跨模态注意力机制来建立文本标记（tokens）与视觉补丁（patches）之间的细粒度交互。现有的针对此类模型的对抗性攻击主要集中在像素级扰动（直接修改图像像素）或特征级破坏（在潜空间中分离图像-文本嵌入），而其内部跨模态注意力结构的脆弱性尚未得到充分探索。作者认为，融合编码器中密集的跨模态注意力图 (Cross-modal Attention Graphs, CAGs) 是一个关键的失效点。目前的攻击往往无法明确针对文本概念与视觉证据之间关联的拓扑重构（topological rewiring），而这种重构对于将文本概念锚定在视觉证据中至关重要。因此，需要一种能够专门针对注意力层级的脆弱性进行攻击的方法，以诱导“自然但错误”的幻觉——即输出在语言上流畅，但在语义上与视觉输入不一致。

方法论：多层级注意力图攻击 (MAGA)
本文提出了 MAGA，这是一个旨在通过多层级优化策略来破坏 BLIP 的通用对抗性补丁攻击框架。该方法在白盒威胁模型下运行，攻击者在训练期间可以访问目标模型的参数和中间注意力矩阵，但在部署时仅使用学习到的补丁。

该框架由三个核心组件组成：

跨模态注意力图 (CAGs)：
作者构建了 CAGs 来表示文本标记与视觉补丁之间的注意力关系。通过对各注意力头（heads）的注意力分数进行平均并应用阈值 $\delta_g$ ，他们将注意力分数矩阵转换为加权二分图。节点代表标记和补丁，边代表注意力权重。一个共享的图卷积网络 (GCN) 将干净的 CAG 和对抗性的 CAG 编码为图级表示（ $g_{clean}$ 和 $g_{adv}$ ）。
多层级目标函数：
MAGA 通过最小化结合了三个不同目标的总损失函数 ( $L_{total}$ ) 来联合优化通用对抗性补丁 $p_\theta$ ：
- 注意力层级目标 ( $L_{attention}$ )： 这是该方法新颖的核心。它最大化干净 CAG 表示与对抗性 CAG 表示之间的余弦距离。通过迫使图结构发生偏离，攻击破坏了特定的“标记-补丁”连接（例如，削弱“马”与包含马的视觉区域之间的联系），从而有效地重构了模型的内部推理。
- 特征层级目标 ( $L_{feature}$ )： 该组件通过包含视觉保真度约束（通过 SSIM 最小化像素失真和结构差异）以及对齐破坏项，确保攻击仍属于通用补丁。它在保持与干净图像视觉特征一致性的同时，降低对抗图像与其配对文本之间的相似度。
- 标题层级目标 ( $L_{caption}$ )： 为了防止生成退化或重复的输出，引入了语义离散项。它最大化生成的对抗性标题与地面真值（ground-truth）标题之间的距离，同时鼓励 mini-batch 内不同标题之间的多样性。这促进了生成语言流畅、多样且在事实层面错误的描述。
优化与部署：
补丁生成器使用固定的潜码（latent code）和空间掩码进行训练。在优化过程中，目标 BLIP 模型的参数保持冻结；仅更新补丁生成器和辅助图编码器。一旦训练完成，该通用补丁即可应用于未见过的图像，而无需进一步访问目标模型或其梯度。

核心贡献

识别注意力脆弱性： 本研究调查并证明了 BLIP 融合编码器中的跨模态注意力分布是一种独特的、可被利用的脆弱性，这与像素或全局特征的脆弱性是不同的。
基于 CAG 的攻击公式化： 作者引入了跨模态注意力图 (CAGs) 作为标记-补丁关联的结构化表示。他们提出了一种最大化干净 CAG 与对抗性 CAG 之间差异的方法，从而有效地“重构”了模型的内部注意力。
多层级攻击框架 (MAGA)： 本文提出了一个统一的框架，共同优化注意力层级破坏、特征层级对齐和标题层级语义离散。
通过多样性正则化实现隐蔽性： 通过引入多样性正则化项，该方法成功诱导了“自然但错误”的幻觉，即模型生成的标题在语言上合理，但在语义上与视觉内容脱节。

实验结果
作者在 MS COCO、Pascal Sentences 和 BLIP-VQA 基准测试上评估了 MAGA 在图像-文本检索、图像描述和视觉问答 (VQA) 任务中的表现。

检索： MAGA 显著优于基线模型（包括 PGD、UAP、AdvPatch 和 AdvCLIP）。在 MS COCO 上，它将图像到文本的 Recall@1 从 72.3%（干净状态）降低到了 9.0%，而最强的基线模型（AdvCLIP）为 20.0%。它还展示了对分布外数据集 Pascal Sentences 的强迁移能力。
描述： 攻击导致 CIDEr 分数大幅下降（从 82.0 降至 12.8），同时保持了较高的词汇多样性（Distinct-2 分数为 0.40）和合理的困惑度（perplexity）。这证实了“自然但错误”现象的存在。
VQA： MAGA 将整体 VQA 准确率从 78.5% 降低到了 12.4%，在 Yes/No、计数和空间位置类问题的攻击成功率 (ASR) 均超过了 80%。
消融实验： 实验证实，相比于仅进行特征层级或标题层级的攻击，注意力层级目标（CAG 破坏）提供了显著的提升，验证了多层级方法的必要性。

意义与主张
本文声称 MAGA 揭示了多模态基础模型推理机制中的一个关键漏洞。通过证明破坏跨模态注意力的拓扑结构比扰动全局特征更有效，这项工作强调了评估内部注意力结构（而非仅仅是输入-输出映射）鲁棒性的重要性。能够生成流畅但视觉不一致输出的能力表明，当视觉锚定被破坏时，当前的 VLP 模型可能过度依赖内部语言先验，这为这些模型在安全敏感型应用中的可靠部署带来了风险。作者总结道，鲁棒性评估必须扩展到融合编码器内部的细粒度交互，以确保未来多模态系统的可靠性。

技术摘要：通过对抗性补丁误导 BLIP (MAGA)

类似论文