🤖 AI

Bit-Flip Attacks on Vision-Language-Action Models: Action-Decoding Architecture Shapes the Vulnerability

本文证明了量化视觉-语言-动作模型对针对性的比特翻转攻击具有极高的脆弱性，即在特定的动作生成层中通过极少量的梯度选择权重损坏，即可使具身智能体完全失效，且所需的攻击预算随动作解码架构的不同而显著变化。

原作者： Yudong Gao, Linghan Chen, Wenhan Wu, Mia Zhou, Jiyao Wang, Kaiyan Ji, Mingyu Guo, Honglong Chen

发布于 2026-08-18

📖 1 分钟阅读☕ 轻松阅读

原作者： Yudong Gao, Linghan Chen, Wenhan Wu, Mia Zhou, Jiyao Wang, Kaiyan Ji, Mingyu Guo, Honglong Chen

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

现代机器人正开始通过观察和聆听来学习如何移动，而不是遵循僵化的、预先写好的指令。这些被称为视觉-语言-动作模型（vision-language-action models）的系统，通过拍摄一张房间的照片并接收类似“拿起红杯子”的句子，随后计算出完成任务所需的精确动作。它们通过将人类语言和视觉数据转化为一串数字，从而指挥机器人的电机如何转动。为了让这些强大的系统能在仓库或家庭中使用的廉价小型计算机上运行，工程师们通常会压缩模型的内部记忆。这种被称为“量化”（quantification）的过程，将模型复杂的数学权重转化为更容易存储和快速处理的简单整数。虽然这使得该技术在日常使用中变得切实可行，但也改变了机器“大脑”的本质，使其变成了一个在特定方面异常脆弱的系统。

一个研究小组发现，这种压缩过程创造了一个隐藏的漏洞。他们发现，如果攻击者能够翻转压缩内存中极少数微小的比特位（bits），整个系统就会彻底失效。这并非由摄像头故障或指令模糊引起的错误，而是对机器人内部指令的直接破坏。研究人员展示了，通过精心选择要翻转哪些比特位，他们可以让机器人在执行任务时的成功率从接近完美降至零。这一发现至关重要，因为它揭示了机器人的安全性不仅取决于其软件代码，还取决于其内存中存储的数字的物理完整性。

研究人员在几种不同类型的机器人“大脑”上测试了这个想法，其范围涵盖了从直接计算动作的简单模型，到使用多步流程生成动作的更复杂模型。他们首先提出了一个简单的问题：需要多少个微小的错误才能让机器人瘫痪？在现实世界中，随机错误经常发生，比如收音机里的杂音。团队发现，如果他们在机器人的记忆中引入数百个随机错误，机器几乎察觉不到。它能像之前一样正常工作。这表明该系统对于日常生活中预期的噪声具有鲁棒性（robustness）。然而，当错误不再是随机的时候，情况发生了彻底的变化。

通过使用一种分析机器人决策过程的方法，研究人员识别出了哪些比特位对机器人的成功最为关键。随后，他们只翻转了这些特定的比特位。结果令人震惊。对于那些直接计算动作的简单模型，仅翻转三个或五个精心挑选的比特位，就足以让机器人在尝试完成任务时每次都失败。在一场模拟实验中，一个成功率高达88%的机器人，在仅经过三次针对性修改后，成功率便跌至零。机器人不仅仅是犯了一个小错，而是完全失去了功能，经常做出物理上不可能或危险的动作。

机器人的“大脑”复杂度起到了很大作用。那些使用更高级方法来平滑运动轨迹的模型更难被破坏。它们需要数百次针对性的比特翻转才能失效，而不是仅仅几个。然而，即使是这些具有鲁棒性的系统也并非免疫。研究人员开发了一种特定的策略来寻找这些复杂模型的弱点，将破坏它们所需的翻转次数减少了十倍。他们证明，通过以一致的方式引导错误，可以压垮机器人的自我纠正能力。这证明了这种脆弱性并非单个模型的偶然现象，而是这些系统处理信息的根本特征。

为了确保这些发现不仅仅是计算机模拟的结果，团队在真实的机械臂上测试了他们的理论。他们采用了一个已在现实世界中训练用于执行任务的模型，并对其记忆应用了与模拟实验中相同的逻辑变更。他们并没有物理损坏机器人的硬件；相反，他们通过改变机器人用于计算动作的数字来模拟比特翻转的效果。当他们运行任务时，机器人在二十次尝试中无一成功。相比之下，运行干净数据或带有随机错误的同一台机器人，在二十次尝试中能成功十四到十六次。这证实了对模型权重的逻辑性破坏足以摧毁其工作能力，即便没有对硬件进行物理攻击。

这项研究还探讨了如何保护这些系统。研究人员发现，危险的比特位并非随机散布在机器人的记忆中。相反，它们集中在负责生成最终动作的极少数特定层中。通过保护极小比例的总内存——特别是那些直接控制机器人动作的部分——就可以让系统变得更加稳健。在一种情况下，仅保护大约3%的权重，就能让机器人在数百个比特被破坏时仍保持较高的成功率。这表明，实际的防御并不需要检查每一件数据，而是应该专注于机器人决定如何移动的最关键路径。

这项工作的意义对于机器人技术的未来至关重要。随着这些模型在家庭和工厂中变得越来越普遍，确保其内部数据的完整性成为了一个安全优先级。研究人员表明，目前压缩这些模型的方法虽然高效，但也使它们容易受到一种标准安全检查无法察觉的攻击。机器人不会崩溃，也不会显示出被黑客攻击的迹象；它只是单纯地停止了工作。研究结论指出，具身智能（embodied intelligence）的安全性取决于其权重的稳定性，而理解这些系统究竟在哪里以及如何被破坏，是构建真正可靠机器人的第一步。

技术摘要：针对视觉-语言-动作（VLA）模型的比特翻转攻击

问题陈述

量化后的视觉-语言-动作（VLA）模型（将图像和指令直接映射到机器人动作）在其部署的 INT8 权重中暴露了一个关键漏洞。现有的安全研究主要集中在输入侧攻击或训练时后门，而边缘设备上部署的低精度整数权重创造了一个易受 Rowhammer 式比特翻转故障影响的“权重故障面”。

本研究解决的核心挑战在于，VLA 的失效与分类器失效有着本质区别。分类器的故障仅被读取一次，而 VLA 的故障会通过动作解码器进行传播，并在一个变化的闭环环境中进行重复交互。因此，导致 VLA 性能崩溃所需的比特翻转预算无法通过开环偏差或先前在类别输出上的结果来预测。本文研究了多少个权重翻转足以导致闭环任务失败，以及是否可以通过局部保护来遏制这些漏洞。

方法论

威胁模型

研究假设一个在边缘端运行的 INT8 VLA 模型，其模型内存可能与不受信任的进程共享。攻击者拥有架构、存储权重、量化比例和解码器的知识。攻击者拥有一个与评估集不相交的小型校准集（ $D_{cal}$ ）。攻击者可以诱发最多 $K$ 个持久性的线性权重翻转（每个选定的标量一个），但无法控制训练、输入、激活值或环境。基准部署缺乏有效的端到端内存完整性或纠错码（ECC）。

攻击策略：固定方向流形逃逸

作者提出了一种结合了解码器感知目标函数和量化感知比特排序的两步攻击程序：

第一步：固定方向流形逃逸损失（Fixed-Direction Manifold-Escape Loss）：
由于简单的各向同性能量或平方偏差在流匹配（flow-matching）策略上会失效（因为在干净状态下梯度为零），作者定义了一个可微的已执行动作目标。他们构建了一个损失函数，用于优化在动作空间中沿一个固定的非零方向 $u$ 的单侧位移：
$L_{dir}(\theta; \bar{\theta}) = -\frac{1}{|D_{cal}|M} \sum_{o \in D_{cal}} \sum_{m=1}^{M} \langle d^{(m)}_{\theta}(o), u \rangle$
其中 $d^{(m)}_{\theta}$ 是执行动作与作为停止梯度参考的干净动作之间的差异。该目标函数在迭代解码（例如流采样）过程中依然有效，并避免了零梯度初始化问题。
第二步：量化感知比特排序（Quantization-Aware Bit Ranking）：
攻击根据其最大化损失的潜力对比特进行排序。对于每个符合条件的权重，通过结合损失的梯度和翻转特定比特 $b$ 导致的去量化权重精确变化量来计算得分 $G$ ：
$G^{(\ell)}_{ijb} = -g^{(\ell)}_{ij} \Delta^{(\ell)}_{ijb}$
其中 $\Delta$ 代表去量化权重的变化。算法选择具有最高正收益的前 $K$ 个比特，从而允许攻击集中在具有高杠杆作用的层，而无需预先进行架构假设。

防御策略：局部完整性保护

防御机制涉及从攻击者的候选集中移除特定的权重，并在剩余权重上重新构建攻击。这种自适应方法测试了保护一小部分“破坏性”比特是否可以显著提高攻击预算。

核心贡献

首个针对 VLA 的权重故障攻击： 这是首次演示针对连续、闭环 VLA 策略的比特翻转攻击。作者展示了仅仅 1–5 个选定的 INT8 翻转就能使模拟任务成功率降至 0%，这一后果在以往针对类别输出的攻击中并未出现。
经验脆弱性谱系： 研究揭示了对动作解码架构的强烈依赖。直接回归和离散 Token 策略非常脆弱（1–5 个翻转），而流匹配策略则需要显著更大的预算（约 100–300 个翻转）。
架构感知的攻击与防御：
- 攻击： 固定方向流形逃逸目标函数比各向同性能量在流头（flow heads）上的效率提高了 10 倍。
- 防御： 保护一小部分权重（第一层为 3.1%，包含动作头在内为 5.3%）可以在高翻转计数（ $K=100$ ）下保持闭环成功率，并将开环崩溃阈值提高了 33 倍。
真实机器人验证： 使用经过真实训练的 $\pi0.5$ 模型，作者在物理 6 自由度机械臂上验证了攻击。模拟 $K=100$ 次任务校准的翻转导致 0/20 次成功，相比之下，干净模型为 14/20，全局随机翻转为 16/20。

实验结果

攻击预算与成功率

直接头部（OpenVLA-OFT, Discrete OpenVLA）：
- LIBERO-Spatial： 3 个梯度选择的翻转使成功率从 88% 降至 0%（ $n=50$ ）。
- SimplerEnv： 在“pick-coke-can”任务中，3 个翻转使成功率从 20.8% 降至 0%；在“move-near”任务中，从 58.3% 降至 12.5%。
- 随机翻转： 300 个随机翻转的影响微乎其微，成功率保持在接近干净基准的水平（例如 80% 对比 88%）。
流头部（ $\pi0$ , $\pi0.5$ ）：
- 需要显著更多的翻转（约 100–300 个）才能使性能崩溃。
- 固定方向攻击比各向同性能量高效 10 倍（需要约 100 个翻转，而非约 1000 个）。
- 在 $\pi0.5$ （真实训练）上，模拟 $K=100$ 次翻转导致 0/20 次真实机器人成功。

破坏性比特的定位

破坏性比特并非均匀分布，而是集中在特定层：

直接头部： 高杠杆比特存在于最早的 LLM 解码器层（L1）和动作头中。
流头部： 破坏性比特集中在最后的动作专家层（例如 $\pi0$ 中的 L17），而非视觉-语言骨干网络。

防御效能

开环： 仅保护动作头（2.3% 的权重）是不够的；攻击会转向 L1。添加 L1 保护（总计 5.3%）将崩溃阈值从 $K=3$ 提升到了 $K=100$ 。
闭环： 仅保护 L1（3.1% 的权重）即可在 $K=100$ 时保持 60% 的成功率。相比之下，相同大小的随机切片则无法提供任何保护。

重要性与主张

论文声称，权重完整性是具身基础模型的安全边界。研究结果表明：

闭环动力学放大微小故障： 权重中的微小残余误差可以通过反馈循环累积，导致仅需极少比特翻转即可造成任务完全失败。
架构决定脆弱性： 动作解码架构（直接式 vs 流式）从根本上塑造了攻击面和所需的预算。
选择性保护是可行的： 全面的校验和或 ECC 并非即时缓解的必要条件；保护一小部分被识别出的权重（3–5%）可以极大地增强系统抵御针对性比特翻转攻击的韧性。

作者总结道，在部署前必须进行解码器感知的故障评估，并且局部完整性检查为保障直接头部 VLA 的安全性提供了一个切实可行的起点。本研究旨在提供一种关于完整性保护的双重用途动机，而非作为物理故障实施的指南。