VERA-V: Variational Inference Framework for Jailbreaking Vision-Language Models

技术摘要：VERA-V

问题陈述
视觉 - 语言模型（VLMs）将视觉推理与大语言模型（LLMs）相结合，但其多模态设计引入了尚未充分探索的漏洞。现有的针对 VLM 的红队测试方法存在三个主要局限性：(1) 它们通常将文本和图像模态独立处理，忽视了复杂的跨模态交互；(2) 它们严重依赖手工制作的模板，导致攻击示例狭窄且彼此割裂；(3) 它们通常在单攻击设置下运行，使其容易被检测且对前沿模型无效。因此，当前的方法无法系统地揭示广泛的多模态漏洞。

方法论
本文介绍了VERA-V，这是一个变分推断框架，将多模态越狱发现重新定义为学习配对文本 - 图像提示的联合后验分布。VERA-V 不是寻找孤立的对抗性实例，而是将漏洞景观建模为一种分布。

该方法的核心组成部分包括：

1. 变分公式化：该框架定义了一个潜在提示生成过程，其中攻击者 LLM 输出一对潜在提示：文本提示（$x_t$）和图像提示（$x_v$）。这些提示通过映射函数 $g$ 转换为实际的 VLM 输入。文本提示被排版渲染以嵌入显式的有害线索，而图像提示则使用扩散模型合成以编码隐式的对抗信号。
2. 复合输入构建：目标 VLM 的最终输入由固定的良性文本包装器（$x_f$）和复合图像（$v_{comp}$）组成。复合图像整合了三个元素：
   • 排版渲染：将文本转换为图像以绕过文本过滤器。
   • 扩散合成：根据 $x_v$ 生成图像以引入隐式对抗线索。
   • 结构化干扰项：检索一组不相关的图像，以分散 VLM 的视觉注意力，从而掩盖有害内容。
3. 通过变分推断进行优化：攻击者被训练以近似诱导有害行为（$y^*$）的对抗提示的后验分布。这是通过最大化证据下界（ELBO）来实现的，该下界平衡了生成有害响应的可能性与提示的合理性和多样性。由于目标 VLM 是黑盒，因此使用一个评估函数来对 VLM 响应的有害程度进行评分，从而近似该可能性。优化利用 REINFORCE 梯度估计器，基于蒙特卡洛采样更新攻击者的参数（通过 LoRA 适配器实现）。

主要贡献

• 概率框架：VERA-V 是首个将多模态越狱生成表述为配对文本 - 图像输入上的变分推断的框架，能够学习捕捉跨模态相关性的联合后验分布。
• 组合对抗策略：本文提出了一种新颖的攻击设计，结合了排版渲染、扩散引导的图像合成和结构化干扰项。这种方法协调了显式和隐式线索，以产生强有力的攻击，同时降低毒性检测率。
• 可扩展且多样化的采样：通过学习分布而非单一点，VERA-V 能够高效采样多样化的越狱攻击，并提供关于漏洞的分布性见解，支持可扩展的红队测试。

实验结果
作者在 HarmBench 和 HADES 基准测试上评估了 VERA-V，涵盖了开源模型（Qwen2.5-VL-7B, InternVL3-8B）和商业前沿模型（GPT-4o-mini, GPT-4o）。

• 性能：VERA-V 始终优于最先进（SOTA）的基线方法（FigStep, HADES, CS-DJ）。在 GPT-4o 模型上，VERA-V 在 HarmBench 上实现了 67.75% 的攻击成功率（ASR），在 HADES 上实现了 73.5%，比最佳基线提高了高达 53.75%。
• 可迁移性：在一个模型上优化的攻击有效地迁移到了其他模型，GPT-4o 生成的提示在其他目标模型上实现了超过 50% 的攻击成功率，表明发现了可泛化的漏洞。
• 鲁棒性：在各种防御机制（基于 OCR 的检测、BlueSuffix、ETA）下，与急剧下降的基线方法相比，VERA-V 保持了显著更高的成功率。
• 消融研究：实验证实，混合组合（排版 + 扩散 + 干扰项）在攻击成功率和隐蔽性之间提供了最佳权衡。此外，变分微调过程被证明至关重要，其表现大幅优于“最佳 N 选”采样策略（攻击成功率分别为 66% 对 8%）。

意义与主张
本文声称，VERA-V 强调了从孤立的单模态利用转向分布性红队测试方法的必要性。通过证明即使是鲁棒的、经过安全对齐的 VLM 也容易受到可迁移且流畅的对抗提示的攻击，该工作揭示了当前防御策略中的关键差距。作者断言，通过概率框架暴露这些弱点是增强 VLM 安全系统的重要一步，有助于指导开发更强大的过滤器和更有效的对齐技术。该方法严格用于研究目的，旨在对安全过滤器进行压力测试并提高模型的鲁棒性。