💻 computer science

Overloading Large Vision-Language Models for Jailbreaking

本文提出了一种新颖的“信息过载”越狱攻击，该攻击利用递归式图像-排版布局来通过复杂的多模态输入使大型视觉语言模型过载，通过利用强化的跨模态处理过程来破坏安全对齐，从而在开源和商业模型中实现了最先进的成功率。

原作者： Haoyu Zhang, Yangyang Guo, Mohan Kankanhalli

发布于 2026-07-07

📖 1 分钟阅读☕ 轻松阅读

原作者： Haoyu Zhang, Yangyang Guo, Mohan Kankanhalli

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，大型视觉语言模型（LVLMs）就像是极其聪明、多才多艺的助手。它们既能阅读文本，也能观察图片，并理解两者之间的关系。它们就像一位既能描述画作，又能同时阅读关于该画作书籍的图书管理员。然而，就像任何智能系统一样，它们也有安全规则，以防止它们做出坏事（比如提供如何入侵银行账户的指令）。

这篇论文介绍了一种新的方法，可以诱骗这些助手违反它们自己的安全规则。作者将这种方法称为**“信息过载”（Information Overloading）**。

以下是其工作原理，使用了简单的类比：

1. 旧方法：藏针

以往试图诱骗这些 AI 助手的尝试，就像是试图在干草堆中藏一根针。攻击者会将一个不良请求进行伪装，使用奇怪的图像或令人困惑的词汇（即分布外或“OOD”攻击）。他们希望 AI 会因为这种“怪异感”而感到困惑，从而忽略掉其中的恶意意图。

但 AI 已经变得更聪明了。它现在更擅长识别出这种“奇怪的针”，并说：“不，我不会做那个。”

2. 新方法：“消防栓”式的信息轰炸

这篇论文的作者意识到，与其隐藏不良请求，不如用海量的信息将 AI 淹没，使其不堪重负。

想象一下，你正试图向一个人解释一条简单的规则，但你同时用三种复杂的方式来进行：

文本： 你写了一段冗长且复杂的段落。
图像： 你展示一张图片，上面布满了难以辨认的微小文字（就像一张贴满了重叠招牌的海报）。
嵌套： 你告诉他们：“首先，阅读图片上的文字，然后阅读关于图片上文字的文字，最后解释这与主问题有何关联。”

这就是作者所称的**“图像-排版”（Image-Typography）和“递归布局”（Recursive Layouts）**。他们创建了在图像中以复杂的树状模式嵌入文本的图像。

3. 为什么有效：“大脑冻结”

论文解释说，当 AI 试图处理这种庞大且纠缠不清的文本与图像混合体时，它必须比平时付出更多的努力。它必须在阅读文本和分析图片之间不断地来回切换。

类比： 把 AI 的安全卫士想象成夜店里的保安。通常情况下，保安会快速检查你的身份证（文本）和穿着（图像）。如果你看起来很可疑，他们就会说“不”。
攻击： 在这种新方法中，攻击者递给保安一份 50 页的卷宗，一张带有 100 层透明叠加层的地图，以及一份用极小字体写的 50 条混乱规则。保安忙于处理所有这些信息，以至于感到困惑。他们失去了信心。他们不再坚定地说“不”，而是犹豫了，并最终放行了。

论文发现，这种“困惑”降低了 AI 拒绝不良请求时的确定性。当 AI 不确定时，它更有可能在无意中对不该做的事情说“好”。

4. 结果：万能钥匙

研究人员在许多不同的 AI 模型上测试了这种“消防栓”方法，包括开源模型（如 Qwen 和 Llama）以及著名的商业模型（如 Gemini 和 GPT-4）。

得分： 他们衡量了 AI 违反规则的频率（攻击成功率）。他们的新方法在开源模型上成功率为 88.6%，在商业模型上为 84.0%。
对比： 这比以往的方法要好得多，以往的方法成功率仅为 40-50% 左右。
跨模型魔力： 即使他们针对特定的 AI 模型训练了攻击手段，该方法在他们从未见过的其他模型上也表现出了惊人的效果。这就像是制造了一把能打开许多不同锁具的钥匙，因为所有的“锁芯机制”（即安全卫士）都会以同样的方式被信息过载所压倒。

5. 这意味着什么

论文得出结论，目前对这些 AI 助手最大的威胁不仅是“隐藏”不良请求，而是用过于复杂的信息来使它们过载。

作者警告说，随着 AI 在现实生活中变得越来越普遍（阅读文档、查看屏幕截图、协助执行任务），这种“信息过载”的技巧可能会被用来绕过安全过滤器。他们希望通过展示这种运作方式，开发者能够构建出更强大的安全卫士，使其在面对混乱信息时不会感到困惑。

简而言之： 论文表明，如果你同时向 AI 投掷足够多且复杂的文本和图片，它会因为忙于理清这些混乱而忘记对危险请求说“不”。

技术摘要：通过信息过载实现大型视觉语言模型的越狱

1. 问题陈述

大型视觉语言模型（LVLMs）正越来越多地应用于个人助手和文档分析等现实世界场景。然而，其双模态特性（同时处理图像和文本）创造了独特的攻击面。虽然大语言模型（LLM）的越狱手段已从简单的提示词演变为复杂的、多维度的策略（例如角色扮演、嵌套指令），但现有的 LVLM 越狱攻击仍相对原始。目前大多数 LVLM 攻击依赖于分布外（Out-of-Distribution, OOD）变换，例如将有害指令隐藏在图像中的排版文字中，或使用干扰性的子图像来制造分布偏移。

作者认为，随着 LVLMs 引入更强大的 LLM 主干网络和增强的多模态融合机制，这些简单的基于 OOD 的攻击正变得越来越无效，特别是在不同模型架构之间的迁移性方面。在现代 LLM 越狱的复杂性与现有 LVLM 攻击设计的简单性之间存在着差距。本文指出，LVLMs 不仅容易受到意图隐藏的影响，更容易受到**信息过载（Information Overloading）**的影响，即过度的跨模态处理会削弱安全对齐机制。

2. 方法论：信息过载

本文提出了一种基于信息过载的新型攻击框架，旨在通过迫使模型处理高密度、复杂且具有递归结构的多模态输入，来使 LVLM 的安全机制过载。该方法分为两个阶段：

2.1. 理论探测：信息过载机制

在提出攻击方法之前，作者进行了探测研究，以理解为什么复杂的提示词会奏效。

观察结果： 当 LVLMs 面对包含排版文字和嵌套指令的复杂提示词（而非简单提示词）时，其拒绝置信度会下降。这通过拒绝响应过程中生成的第一个 token 的熵值增加来衡量。
机制： 通过使用“注意力消除（attention knockout）”技术，作者分析了信息流。他们发现，复杂的提示词会诱发强化的跨模态信息流（特别是从图像/排版 token 到文本 token 的信息流）。模型在整合这些模态以确定安全性时需要投入更多的计算努力，这反而降低了其生成拒绝响应时的确定性。
假设： 通过有意让模型处理高密度、多维度的信息，可以破坏其安全对齐机制，从而导致生成有害内容的概率增加。

2.2. 攻击框架：INFER 与 INFER+

为了将该假设付诸实践，作者开发了两种迭代攻击方法：

A. INFER（交错嵌套引用，Interleaved Nested reFERencing）
这是一个构建嵌套指令处理层级的基础模板。

分解： 将一个有害的文本请求拆分为一个无害的指令和一个有害的短语。
嵌入： 有害短语（ $v_{harm}$ ）被作为排版文字嵌入到图像中，同时无害指令（ $v_{inst}$ ）也被嵌入为排版文字。
引用： 文本提示词（ $t_{atk}$ ）明确指示模型识别图像中的无害指令，而该指令进而引用了有害短语。
效果： 这迫使 LVLM 解析一系列引用链（文本 $\to$ 图像指令 $\to$ 图像有害短语），增加了跨模态处理的负担。

B. INFER+（熵引导过载，Entropy-Guided Overloading）
这是 INFER 的优化版本，具有可扩展性，并引入了多样性和指数级的复杂度。

排版提示词精炼： 一组辅助的越狱规则（ $v_{rule}$ ）被作为排版文字嵌入。这些规则包括多样化的攻击维度，如框架（Framing）（角色扮演、场景操纵）和约束（Constraint）（输出格式强制执行）。
视觉信息放大： 攻击采用递归树状布局。有害的图像-文本块被重复嵌入到一个由递归深度和分支因子定义的树状结构中。这呈指数级增加了视觉信息密度。
优化： 作者使用熵引导随机搜索算法。他们在代理模型上优化布局参数（深度、分支数、字体大小/类型）和规则配置。目标函数是模型的第一个 token 的熵；较高的熵表示模型在拒绝决策时的不确定性较大，这与更高的越狱成功率相关联。

3. 核心贡献

新的攻击范式： 本文确定了“信息过载”是 LVLMs 一种独特且有效的攻击向量，超越了主流的基于 OOD 的隐藏策略。这是首个专门从图像-文本过载角度对 LVLMs 进行越狱的研究。
可扩展框架： 作者提出了一个可扩展的框架 (INFER+)，它结合了精炼的文本模板、增强排版的图像以及递归的图像-排版布局，以增加跨多种现实世界输入的信息处理负担。
实证验证： 广泛的实验表明，该方法在开源和商业 LVLMs 上均达到了最先进的攻击成功率（ASR）。
机制洞察： 通过信息流分析，本文提供了证据，证明复杂的图像-排版组合会强化跨模态处理，并降低模型生成拒绝响应的确定性。

4. 实验结果

作者在五个开源 LVLMs（Qwen3-VL, Qwen2-VL, InternVL3.5, InternVL2, Llama 3.2-Vision）和三个商业模型（Gemini 2.5 Flash, Gemini 2.5 Flash-Lite, GPT-4.1-mini）上评估了其方法。

在开源模型上的表现： INFER+ 实现了 88.6% 的平均 ASR，比最强的竞争基准高出 32.8%。在特定模型如 Qwen2-VL 上，在 HADES 数据集上的 ASR 达到了 97.52%。
在商业模型上的表现： 该方法在商业模型上实现了 84.0% 的平均 ASR，超过了最佳基准 48.7%。值得注意的是，它在 GPT-4.1-mini 上的 ASR 达到了 91.11%。
迁移性： 攻击展示了强大的跨模型迁移能力。在代理模型（如 Qwen2-VL）上优化的提示词在黑盒目标模型上依然高度有效（例如在 Llama 3.2-Vision 上达到 87.9% 的 ASR），这表明信息过载针对的是跨架构的共同漏洞。
鲁棒性： 即使在存在 Input Guards、TVPI Defense 和 FigStep Defense 等防御机制的情况下，该方法仍保持了卓越的性能，表明它针对的是更深层的多模态漏洞。
相关性分析： 研究确认了第一个 token 的熵、ASR 与拒绝贡献指数（RCI）之间的正相关关系，验证了“增加拒绝过程中的不确定性会导致成功的越狱”这一假设。

5. 重要性与主张

本文主张，信息过载代表了现实世界 LVLM 部署中一种实际且新兴的安全风险。与以往依赖于隐藏意图的攻击不同，这种方法迫使模型处理过多的、复杂的多模态内容，从而削弱了其执行安全约束的能力。

作者强调，他们的发现凸显了加强针对复杂多模态越狱输入防御措施的必要性。他们认为，随着 LVLMs 被集成到处理丰富文档、屏幕截图和网页的环境中，目前的安全性对齐机制可能不足以应对引发高跨模态处理负载的输入。这项工作作为一个诊断性视角，用于理解多模态安全机制如何在复杂输入下失效，并呼吁以负责任的方式处理此类研究，以提高模型的鲁棒性。