🤖 AI

Vision Token Manipulation Attacks on Cloud-Edge Inference of Large Vision-Language Models

本文通过证明黑盒对手仅需操纵低至 10% 的传输视觉标记（vision tokens），即可在多种最先进的模型中将准确率降低高达 88.31%，揭示了云边协同大视觉语言模型（LVLM）推理中的一个关键漏洞。

原作者： Zikai Zhang, Rui Hu, Olivera Kotevska, Jiahao Xu

发布于 2026-07-07

📖 1 分钟阅读☕ 轻松阅读

原作者： Zikai Zhang, Rui Hu, Olivera Kotevska, Jiahao Xu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你拥有一个超级聪明的机器人助手（一个大型视觉语言模型），它居住在位于“云端”的一个巨大且强大的数据中心里。然而，你却是在一台像智能手机或智能摄像头这样的小型、电池供电的设备上，处于“边缘侧”。

为了让机器人回答关于你拍摄的一张图片的问题，你并不会把整张沉重的图片发送到云端。相反，你的手机会对图像进行一次快速、轻量级的扫描，并将图像转化为一组数字“笔记”，称为视觉标记（Vision Tokens）。然后，它通过互联网将这些笔记发送到云端，在那里，那个“大脑袋”会完成剩下的工作，并将答案传回。

新的弱点：信使

这篇论文指出，你的手机与云端之间的这种“交接”过程，创造了一个新的、危险的弱点。把互联网连接想象成一个在您和机器人之间奔跑的信使。

研究人员发现，一名黑客（对手）可以拦截这条路径上的这些数字笔记。他们不需要攻破机器人的大脑，也不需要黑掉你的手机；他们只需要在这些笔记被携带的过程中篡改笔记。

攻击方式：“视觉标记操纵”

研究人员将这种攻击称为 VTM 攻击（视觉标记操纵攻击）。他们测试了黑客可能干扰这些笔记的四种不同方式，即使黑客只能改变极小比例的笔记（仅 10%）：

洗牌（置换/Permutation）： 想象这些笔记是一副描述照片的扑克牌。黑客交换了几张牌的顺序。机器人看到的仍然是同样的牌，但它们讲述的故事现在变得混乱且令人困惑。
橡皮擦（掩码/Masking）： 黑客将一些笔记变成了白纸（零）。这就像看一张照片时，其中几个关键的拼图碎片突然消失了。
静电噪声（高斯扰动/Gaussian Perturbation）： 黑客在笔记中加入了一点“静电”或噪声，使它们变得略微模糊或扭曲，就像带有干扰的无线电信号。
翻转（符号翻转/Sign Flip）： 这是最具破坏性的。想象一个笔记说“红色”，黑客将其翻转为意味着“非红色”或大脑中完全相反的方向。这就像拿着一张地图，把北箭头翻转到了南方向。机器人完全迷失了方向。

结果：纸牌屋

团队在目前最智能的六个视觉机器人（从小型到大规模模型不等）上进行了测试。结果令人震惊：

微小的变化，巨大的崩溃： 通过改变仅仅 10% 的笔记，他们就能让机器人的智能崩溃。
“翻转”是致命的： 在某些情况下，“符号翻转”攻击将机器人的准确率从接近 88% 降低到了几乎 0%。这就像一个聪明人在听到一声细微的耳语后，突然忘记了如何阅读或观察。
并非所有机器人都是平等的： 一些机器人模型（如 Qwen 系列）在这些攻击下几乎瞬间崩溃。其他的模型（如 InternVL 系列）稍显强韧，但仍然脆弱。

“聪明”的黑客手段

研究人员还发现了一种让攻击变得更严重的办法。他们并没有随机选择要搞乱哪些笔记，而是使用一种数学方法来寻找最重要的笔记（即机器人最依赖的那些笔记）并专门针对这些笔记进行攻击。这使得机器人的失败发生得更快。

核心结论

论文得出结论，虽然在你的手机和云端之间拆分工作是非常高效的，但这同时也为黑客通过篡改传输中的数据来破坏系统打开了一扇门。即使是对从边缘侧发送到云端的“笔记”进行微小且有针对性的篡改，也能导致最先进的 AI 视觉系统彻底失效。

技术摘要：云-边推理中大规模视觉语言模型的视觉标记操纵攻击

问题陈述
本文针对云-边大规模视觉语言模型（LVLM）推理系统中一个关键的安全漏洞进行了研究。在这种架构中，资源受限的边缘设备执行轻量级的视觉编码，并将中间视觉标记（vision tokens）传输至云端服务器，而计算密集型的文本编码器和大型语言模型（LLM）骨干网络则驻留在云端。作者指出，连接边缘与云端的通信链路是一个全新的、尚未被探索的攻击面。不同于传统的针对原始视觉输入（如对抗性扰动）或文本提示词（text prompts）的攻击，这项工作关注的是视觉标记操纵（Vision Token Manipulation, VTM）攻击。其核心问题在于，处于黑盒中间人（Man-in-the-Middle, MitM）环境下的攻击者可以拦截并操纵这些传输过程中的一部分视觉标记。由于视觉标记是编码了语义内容的紧凑且高维的表示，操纵这些标记可以破坏 LVLM 对空间关系和语义线索的理解，从而在攻击者无需访问模型权重或原始图像数据的情况下，导致严重的推理失败。

方法论
作者提出了一系列在受限黑盒设置下的 VTM 攻击，在该设置中，攻击者无法获取边缘侧或云端的任何模型参数。该攻击受限于两个主要约束：

维度一致性（Dimensional Consistency）： 被操纵的标记必须保持原始形状（ $L_v \times d$ ），以避免被立即检测到或导致流水线崩溃。
操纵预算（Manipulation Budget）： 攻击者只能修改一部分标记（ $I$ ），由标记操纵比例（ $\rho$ ）定义，以保持隐蔽性。

该方法分为两个部分：

朴素攻击策略（Naïve Attack Strategies）： 作者设计了四种应用于随机选择标记的基准操纵策略：
- 排列（Permutation，基于结构）： 在保留标记数值的同时，打乱所选标记的位置排列，从而破坏结构的连贯性。
- 掩码（Masking，基于数值）： 将所选标记置零，从而移除信息内容。
- 高斯扰动（Gaussian Perturbation，基于数值）： 向所选标记注入范数缩放的噪声，以随机改变其幅度和方向。
- 符号翻转（Sign Flip，基于数值）： 反转所选标记在嵌入空间中的方向（ $\hat{v}_i = -v_i$ ），同时保留其范数。这会在表示空间中产生巨大的位移。
基于优化的标记选择（Optimization-based Token Selection）： 意识到随机选择并非最优方案，作者提出了一种优化策略来识别最具影响力的视觉标记。由于在黑盒设置下直接测量输出分布的影响是难以实现的，他们使用自注意力破坏（Self-Attention Disruption）作为代理指标。他们构建了一个目标函数，旨在最大化原始标记与被操纵标记之间自注意力输出的差异（ $L_{SA}$ ）。为了防止选择偏向于高范数标记（这类标记可能会被下游层归一化处理），他们引入了一个范数感知正则项（ $L_{norm}$ ）。最终的目标是通过投影梯度上升法使 $L_{SA} - \lambda L_{norm}$ 最大化，从而确定待操纵的最优标记集，随后使用“符号翻转”策略进行攻击。

核心贡献

识别了新的攻击面： 本文正式定义了云-边视觉标记传输接口作为一个实际存在且脆弱的 LVLM 攻击面。
VTM-Attack 框架： 引入了一个全面的标记级攻击家族，包括基于结构的（排列）和基于数值的（掩码、高斯、符号翻转）操纵策略。
优化策略： 提出了一种新型的基于优化的标记选择方法，利用自注意力破坏和范数感知正则化，在有限的预算下显著提升了攻击效力。
实证评估： 该研究在六个最先进的 LVLM（参数量从 3B 到 72B 不等）和四个多样化的基准测试（OCRBench, MMBench, HallusionBench, MathVista）上进行了广泛评估。

实验结果
实验表明，云-边 LVLM 推理极易受到 VTM 攻击的影响，即使在低操纵预算（ $\rho = 0.1$ ，即 10% 的标记）下也是如此：

影响严重性： 仅操纵 10% 的标记即可使准确率下降高达 88.31%。例如，在 MMBench 基准测试中，符号翻转攻击将 Qwen2.5-VL-72B-Instruct 的准确率从 88.39% 降低到了 0.23%。
符号翻转的有效性： 在所有朴素策略中，符号翻转始终产生最灾难性的性能退化，经常导致模型在 MMBench 和 HallusionBench 上的表现几乎降至零。这表明，反转标记的语义方向比打乱或掩码更具破坏性。
模型鲁棒性的差异： 不同模型家族之间表现出显著的鲁棒性差异。Qwen2.5-VL 模型在各种攻击下都表现出灾难性的退化，而 InternVL3.5 模型则展现出了相当高的鲁棒性。此外，规模法则（Scaling Laws）并不一致；虽然较大的 InternVL 模型通常更具鲁棒性，但这一趋势在 Qwen 模型中并未得到一致体现。
优化增益： 与随机选择相比，基于优化的标记选择策略进一步放大了攻击效力。例如，在 HallusionBench 上，优化策略相比随机选择，分别将 InternVL3.5-4B 和 InternVL3.5-38B 的攻击成功率提升了 5.79% 和 21.09%。

意义
本文的研究结果表明，在云-边环境中部署 LVLM 存在关键的安全风险。研究结果显示，传输中间表示的通信链路是一个高风险向量，而在现有的安全文献中，研究重点主要集中在输入空间攻击或纯文本模态，这一领域很大程度上被忽视了。该研究强调，即使是对视觉标记进行有限且隐蔽的操纵，也能从根本上破坏视觉-语言的交互，导致推理完全失败。这凸显了开发专门针对分布式 LVLM 系统中中间表示层的安全传输协议和鲁棒防御机制的紧迫性。