💻 computer science

One Perturbation, Two Failure Modes: Probing VLM Safety via Embedding-Guided Typographic Perturbations

本文揭示多模态嵌入距离通过同时影响文本可读性与安全对齐，从而强有力地预测了针对视觉语言模型的排版提示注入攻击的成功率，并基于这一洞察开发了一种模型无关的红队工具，该工具通过优化扰动以绕过安全过滤器。

原作者： Ravikumar Balakrishnan, Sanket Mendapara

发布于 2026-04-29

📖 1 分钟阅读☕ 轻松阅读

原作者： Ravikumar Balakrishnan, Sanket Mendapara

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你有一个非常聪明的机器人助手（即视觉 - 语言模型，或 VLM），它能够查看图片并阅读其中的文字。你可以通过在纸上写下指令并拍照的方式向它下达命令。在一个安全的世界里，这就是它的工作方式。

但如果有人试图欺骗机器人呢？他们会在纸上写下有害指令，但让文字看起来有些怪异——也许文字很小、模糊，或是被旋转了。这被称为排版提示注入。其目标是将不良指令隐藏在看似杂乱的图像中，从而绕过机器人的安全过滤器。

这篇论文提出了一个简单的问题：为什么有些杂乱的图片能欺骗机器人，而另一些却不能？ 我们能否利用这一知识来测试机器人到底有多安全？

以下是他们研究发现的分解说明，并辅以一些日常类比：

1. “距离”计量器

研究人员发现了一个隐藏的标尺，可以预测某种欺骗是否有效。他们称之为嵌入距离。

可以把机器人的大脑想象成拥有两种不同的“语言”：一种用于识别图片，另一种用于阅读文字。

当图片中的文字清晰时，机器人的“图片语言”和“文字语言”就像手拉手站在一起，彼此完美理解。
当文字模糊、微小或被旋转时，机器人就会感到困惑。它的“图片语言”和“文字语言”在心理空间中会彼此远离。

论文发现了一条强有力的规律：这两种语言相距越远，机器人遵循指令的可能性就越低。

高距离（相距甚远）： 机器人会想：“我读不懂这个”，或者“这说不通”，于是它忽略了该指令。
低距离（彼此靠近）： 机器人会想：“啊，我明白这说的是什么了”，于是它遵循了指令——即使该指令是危险的。

2. 破坏机器人的两种方式

研究人员发现，当他们尝试“修复”那些杂乱的图片，以使机器人的两种语言重新靠近时，会发生两种不同的情况。这就像修理一台坏掉的收音机：有时你只需要调大音量，而有时你需要说服收音机忽略它的“禁止播放”列表。

模式 A：“你能听见我吗？”修复法（可读性）
有时文字过于模糊或微小，以至于机器人根本无法阅读。这就像试图透过浓雾阅读路牌。

修复方法： 研究人员使用了一种特殊的数学技巧，微调像素，使机器人的“眼睛”最终能够辨认出字母。
结果： 机器人突然意识到：“哦，我现在能读懂这个了！”并开始遵循指令。这种情况在重度模糊和极小字体中非常常见。

模式 B：“别说‘不’"修复法（绕过安全机制）
有时机器人完全可以完美地阅读文字，但它拒绝执行，因为其安全规则说：“不，这是一个不良请求。”

修复方法： 研究人员对图像进行了轻微调整。这并没有让文字变得更清晰（因为它原本就很清晰），但却在机器人的脑海中改变了图像的“氛围”或“形状”，足以迷惑其安全守卫。
结果： 机器人仍然看到了不良请求，但其安全过滤器变得困惑，并说：“好吧，我想我可以做这个。”这种情况在旋转文字中非常常见。

3. “红队”工具

作者们开发了一种工具（一种“红队”工具，即受雇测试安全性的专业黑客工具），该工具利用了这个“距离计量器”。

该工具不再猜测如何欺骗机器人，而是自动调整杂乱的图片，使机器人的“图片语言”和“文字语言”彼此靠近。它无需查看机器人的内部代码或安全规则即可做到这一点。它只是尝试让图像对其他作为替代模型的一组 AI 而言“看起来更像文字”。

他们的发现：

当他们在不同的机器人（如 GPT-4o、Claude、Mistral 和 Qwen）上运行此工具时，它成功地使这些机器人遵循了它们之前拒绝的指令。
关键在于： 对于某些机器人，该工具通过使文字变得可读而生效；而对于其他机器人，它则是通过迷惑安全过滤器而起作用。这取决于机器人的安全守卫有多强，以及原始图像有多杂乱。

结论

论文总结道，安全性不仅仅关乎图像在人类眼中的样子。 它关乎图像在机器人大脑内部的表征方式。

如果你能让一张杂乱的图片在机器人的内部数学表示中看起来与文字“更近”，你通常就能欺骗它，使其忽略安全规则。这意味着未来的安全系统不仅要针对模糊的图片，还要针对那些会混淆机器人理解的微妙内部“距离”。

局限性： 研究人员仅在特定类型的文本（白底黑字）和一组特定的不良指令上测试了这一点。他们还指出，他们的工具运行耗时较长，且需要强大的计算机。他们并未测试该方法是否能对抗旨在捕捉黑客的防御措施。

以下是论文《一次扰动，两种失效模式：通过嵌入引导的排版扰动探测视觉语言模型安全性》的详细技术总结。

1. 问题陈述

视觉语言模型（VLM）正被越来越多地用于驱动自主智能体，从而产生了一种被称为**排版提示注入（TPI）**的安全漏洞。在 TPI 攻击中，恶意指令被渲染为图像内的文本。由于指令是通过视觉模态传入的，它可以绕过传统的基于文本的安全过滤器。

虽然先前的研究侧重于通过新颖的攻击设计来最大化攻击成功率（ASR），但对于为什么某些视觉渲染（例如特定的字体大小、旋转或模糊）能够绕过安全对齐而其他渲染却会失败，目前仍缺乏理解。作者旨在通过表征视觉退化、模型嵌入与安全失效之间的关系来填补这一空白。

2. 方法论

本文提出了一种双管齐下的方法：一项用于识别攻击成功预测因子的实证研究，以及一个用于利用这些预测因子的优化框架。

A. 实证研究：嵌入距离作为预测因子

作者在四个 VLM（GPT-4o、Claude Sonnet 4.5、Mistral-Large-3 和 Qwen3-VL）上，利用 SALAD-Bench 中的 1,000 个提示进行了受控研究。

变量： 他们测试了 12 种字体大小（6–28 像素）和 10 种视觉变换（旋转、模糊、噪声等）。
指标： 他们使用现成模型（JinaCLIP 和 Qwen3-VL-Embedding）计算了渲染图像的多模态嵌入与源文本提示嵌入之间的L2 距离。
假设： 嵌入空间中的距离越小（意味着对编码器而言，图像“看起来”更像文本），攻击成功率越高。

B. 优化框架：嵌入引导的红队测试

基于实证发现，作者开发了一种红队测试工具，用于在无需访问目标模型内部权重或安全分类器的情况下对 VLM 安全性进行压力测试。

目标： 在有界 $\ell_\infty$ 扰动下，最大化退化排版图像与源文本嵌入之间的余弦相似度。
算法： 他们改进了CWA-SSA（带有谱模拟增强的常见弱点攻击）。
- 集成： 优化过程使用了 4 个代理嵌入模型（Qwen3-VL-Embedding、JinaCLIP、OpenAI CLIP、SigLIP）的集成，以确保扰动的鲁棒性和可迁移性。
- 过程： 该算法迭代调整像素值以最小化嵌入距离，有效地将退化图像“推”入 VLM 更有可能顺从的嵌入空间区域。

3. 主要贡献

发现强相关性： 本文确立了多模态嵌入距离是 TPI 成功的一个强有力、可解释且与模型无关的预测因子。
- 相关系数（ $r$ ）范围从 -0.71 到 -0.93（负相关：距离越小 = 攻击成功率越高）。
- 这提供了一个代理指标来衡量攻击成功率，而无需反复查询目标 VLM。
识别两种共存的失效模式： 优化过程揭示，减少嵌入距离通过两种不同的机制提高了攻击成功率：
- 感知可读性恢复： 当文本因退化（例如重度模糊或字体过小）而先前无法阅读时，扰动使其在语义上变得可被模型解析。
- 安全对齐规避： 扰动改变了整体图像表示，足以绕过模型的安全推理，即使文本原本已是可读的。
一种与模型无关的红队测试工具： 所提出的方法允许安全研究人员仅使用代理嵌入模型来探测 VLM 安全性的鲁棒性，无需访问目标模型的梯度或安全过滤器。

4. 实验结果

作者在四个目标 VLM 上，针对五种退化设置（6 像素字体、8 像素字体、90°旋转、三重退化和重度模糊）测试了其优化效果。

定量增益：
- Claude Sonnet 4.5 表现出最显著的改进，特别是在“重度模糊”场景中，攻击成功率（ASR）增加了 +28%（从 0.7% 提升至 28.5%）。
- GPT-4o 在旋转场景（+22%）和重度模糊（+10%）中显示出增益，尽管它比其他模型更具鲁棒性。
- Mistral 和 Qwen（其基线攻击成功率较高）有时在优化后性能反而下降，这表明扰动无意中触发了先前处于休眠状态的安全机制。
定性分析（失效模式）：
- 可读性主导： 在极端退化情况下（6 像素字体、重度模糊），主要增益来自于模型终于能够“读取”文本。例如，在 GPT-4o 处理 6 像素文本时，可读性失败从 35 次降至 10 次，但安全拒绝次数上升，表明安全过滤器拦截了现在已可识别的恶意请求。
- 拒绝减少主导： 在中等退化情况下（90°旋转、8 像素），增益是由模型未能拒绝请求所驱动的，即使它能够读取文本。这表明扰动成功混淆了安全对齐逻辑。
- 模型依赖性： 主导失效模式取决于模型固有的安全过滤器强度。更强的过滤器（如 GPT-4o）往往首先在可读性上失效；而较弱的过滤器则在对齐上失效。

5. 意义与启示

安全机制的脆弱性： 研究结果表明，VLM 的安全对齐在表示空间中是脆弱的。那些在视觉外观（像素域）上没有显著改变的小扰动，可能会极大地改变模型的内部表示，从而导致安全绕过。
防御策略： 当前依赖视觉退化（例如模糊文本以隐藏它）的防御措施是不够的。防御必须在嵌入空间中具有鲁棒性，确保无论文本是否完全清晰或略有扰动，模型都能拒绝有害指令。
红队测试标准： 本文提供了一种新的、高效的 VLM 安全性评估方法，该方法不需要黑盒访问目标模型的训练数据或内部架构，而是依赖嵌入对齐。

局限性： 本研究仅限于单个数据集（SALAD-Bench）和特定的渲染风格（白底黑字）。优化过程计算成本高昂（每个样本约 2.5 小时），且未针对基于检测的防御措施进行评估。