💻 computer science

SABER: A Stealthy Agentic Black-Box Attack Framework for Vision-Language-Action Models

本文提出了 SABER 框架，这是一种基于智能体的黑盒攻击方法，能够通过生成微小且合理的指令扰动，在 LIBERO 基准测试中有效降低多种视觉 - 语言 - 动作（VLA）模型的机器人任务成功率并增加其执行错误，从而为机器人基础模型提供了一种高效可扩展的红队测试方案。

原作者： Xiyang Wu, Guangyao Shi, Qingzi Wang, Zongxia Li, Amrit Singh Bedi, Dinesh Manocha

发布于 2026-03-27

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Xiyang Wu, Guangyao Shi, Qingzi Wang, Zongxia Li, Amrit Singh Bedi, Dinesh Manocha

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇文章介绍了一个名为 SABER 的新系统，它就像是一个专门给机器人“找茬”的隐形黑客。

为了让你更容易理解，我们可以把机器人想象成一个听话但有点死脑筋的管家，而 SABER 就是一个擅长玩弄文字游戏的恶作剧大师。

1. 背景：机器人为什么容易“被骗”？

现在的机器人（特别是那些结合了视觉和语言的 VLA 模型）非常聪明，它们能看懂图片，也能听懂人话，然后动手干活。比如你让它：“把碗放进上面的抽屉里”，它就能照做。

但是，这就好比管家只认字面意思。如果你故意把指令改得极其微小，比如把“抽屉（drawer）”改成“抽届（drawee）”，或者加一句看似无害的废话，机器人可能会：

彻底罢工（任务失败）；
瞎忙活半天（动作变得特别长，效率极低）；
甚至干出危险的事（比如撞坏东西，违反安全规则）。

以前的攻击方法要么太笨重（需要人工一个个改），要么太明显（改得面目全非，一眼就能看出是假的）。

2. SABER 是什么？（核心概念）

SABER 是一个自动化的“红队”（Red Team，即模拟攻击者）智能体。它不像人类那样手动去改字，而是像一个拥有超能力的侦探，自己想办法去修改指令。

它的目标：在不被人发现的前提下，用最小的改动，让机器人“翻车”。
它的限制：它不能直接黑进机器人的大脑（因为机器人是“黑盒”，代码不公开），也不能把指令改得面目全非（那样太容易被发现）。它必须在有限的修改次数内完成攻击。

3. SABER 是怎么工作的？（创意比喻）

想象 SABER 是一个正在接受特训的“文字魔术师”，它的训练过程分为两个阶段：

第一阶段：冷启动（Cold-Start）—— 先学“怎么拿笔”

刚开始，这个魔术师是个新手，不知道该怎么改字。研究人员先给它看一些人类专家（GPT）改过的例子，让它学会基本的“找茬”套路。

比喻：就像教小孩写字，先让他临摹字帖，学会怎么拿笔、怎么下笔，而不是让他直接去创作。

第二阶段：GRPO 强化训练 —— 在实战中“悟道”

这是 SABER 最厉害的地方。它不再看字帖，而是直接去实战演练：

找位置（FIND）：它看着指令，思考：“改哪个词最有效？是改‘抽屉’，还是加个‘请确认’？”
动手改（APPLY）：它使用三种“魔法工具”：
- 字符级：像打字错误一样，把“碗（bowl）”改成“玻（boowl）”。
- 词级：把“打开”改成“半开”。
- 句子级：加一句“在打开之前，先确认抽屉是空的”。
看结果：它把改好的指令发给机器人，看机器人是成功了还是失败了。
得奖励：
- 如果机器人失败了，或者动作变慢了，SABER 就得到高分奖励。
- 如果它改得太明显（比如改了很多字），或者用了太多工具，就会被扣分（惩罚）。

通过成千上万次的试错，SABER 学会了：“原来只要把‘打开’改成‘半开’，机器人就会卡住，而且没人能看出来！”

4. 实验结果：它有多强？

研究人员在 6 种 最先进的机器人模型上测试了 SABER，结果非常惊人：

破坏力大：
- 机器人的成功率下降了 20.6%（本来能做成 10 次，现在只能做成 8 次）。
- 机器人的动作长度增加了 55%（本来 10 步做完，现在要 15 步，效率极低）。
- 违反安全规则的情况增加了 33%。
隐蔽性高：
- 它比那些用大模型（GPT）硬算出来的攻击者更聪明。
- 它用的修改次数少了一半以上（54.7% 的字符改动更少）。
- 它调用工具的频率更低（21.1% 更少）。

比喻：如果说以前的攻击者是用大锤砸门（动静大，容易被发现），SABER 就是用一根细针（改动极小，悄无声息）就能让门锁卡死。

5. 为什么这很重要？

这就好比在机器人真正上岗工作（比如照顾老人、在工厂干活）之前，我们需要一个严格的“压力测试员”。

以前：我们只能靠人工想一些奇怪的指令来测试，很难覆盖所有情况。
现在：SABER 可以自动、大规模地生成各种“隐形陷阱”，帮我们提前发现机器人的弱点。
意义：只有知道机器人会在什么情况下“发疯”或“变傻”，我们才能在它真正进入家庭或工厂前，把漏洞补上，确保它的安全。

总结

SABER 就是一个经过强化学习训练的“文字黑客”。它不需要知道机器人的内部代码，只需要通过极其微小、看似合理的文字修改，就能让最先进的机器人效率大降、任务失败甚至违反安全规则。

这项研究告诉我们：哪怕是一点点文字上的“小瑕疵”，也可能让机器人彻底“翻车”。 因此，在机器人普及之前，我们需要像 SABER 这样的工具来不断“找茬”，确保它们足够安全、稳健。

1. 研究背景与问题定义 (Problem)

背景：
视觉 - 语言 - 动作（Vision-Language-Action, VLA）模型通过将自然语言指令与视觉观察直接映射到机器人动作，成为通用机器人控制的主流范式。然而，这种基于文本的接口也引入了关键的安全漏洞：微小的指令扰动（如字符编辑、Token 替换或提示词注入）可能导致机器人执行效率低下、动作序列膨胀，甚至违反安全约束或导致任务失败。

现有挑战：

缺乏自动化黑盒攻击工具： 现有的 VLA 攻击研究多依赖人工设计扰动、固定启发式规则或昂贵的 GPT 搜索，难以泛化到不同任务和模型。
隐蔽性与预算限制： 在实际部署中，VLA 策略通常是冻结的（Black-box），且指令通常简短结构化。大幅度的重写或频繁的查询容易被检测，因此攻击必须在有限的编辑预算下，通过微小且看似合理的指令修改来实现。
评估维度单一： 现有工作多关注任务是否失败，缺乏对“动作膨胀”（执行时间过长）和“约束违反”（物理不安全行为）等细粒度行为退化的系统性评估。

核心问题：
如何构建一个通用的、自动化的黑盒攻击代理（Agentic Attacker），在无需访问模型梯度的情况下，通过受预算限制的微小指令编辑，针对多种 VLA 模型诱导特定的行为退化（任务失败、动作膨胀、约束违反）？

2. 方法论 (Methodology: SABER)

作者提出了 SABER（Stealthy Agentic Black-Box Attack Framework），这是一个以代理（Agent）为中心的自动化攻击框架。

2.1 核心架构

SABER 将攻击生成建模为一个多轮决策问题。攻击代理是一个基于 ReAct（Reasoning + Acting）范式的智能体，通过调用工具来编辑指令。

工作流程 (FIND $\rightarrow$ APPLY)：
1. FIND (定位)： 代理分析当前指令，决定在哪里进行编辑（选择目标 Token、字符位置或插入位置）。
2. APPLY (执行)： 代理调用相应的工具执行具体的编辑操作。
扰动工具箱 (Perturbation Toolbox)： 包含三个层级的编辑工具：
- 字符级 (Character-level)： 模拟拼写错误（如插入、删除、替换、大小写翻转），例如 pick $\rightarrow$ plck。
- Token 级 (Token-level)： 替换单词或子词，例如 top $\rightarrow$ semi-top。
- 提示词级 (Prompt-level)： 注入从句、验证步骤、不确定性描述或额外约束，例如在指令前添加“先验证抽屉是否完全打开”。

2.2 训练策略：GRPO 强化学习

由于 VLA 模型是黑盒且冻结的，无法使用梯度下降，SABER 采用 Group Relative Policy Optimization (GRPO) 进行训练。

奖励函数设计 ( $R$ )：
$R(\delta; \tau) = R_O(\delta; \tau) - \lambda P_{stealth}(\delta)$
- 目标奖励 ( $R_O$ )： 根据攻击目标（任务失败、动作膨胀、约束违反）计算。例如，若基准成功但攻击后失败，则任务失败奖励为 1。
- 隐蔽性惩罚 ( $P_{stealth}$ )： 基于工具调用次数和字符编辑距离（Levenshtein 距离）计算，鼓励最小化修改。
两阶段训练流程：
1. 冷启动 (Cold-start)： 使用监督微调 (SFT) 初始化代理，使其学会基本的工具调用和编辑流程，避免 RL 初期探索失败。
2. GRPO 优化： 在冻结的 VLA 和模拟器环境中进行多轮 Rollout。代理根据反馈调整策略，仅更新攻击代理的 LoRA 权重，不更新目标 VLA。

2.3 攻击目标

SABER 针对三个主要目标进行优化：

任务失败 (Task Failure)： 机器人无法完成指令。
动作膨胀 (Action Inflation)： 机器人执行了不必要的长序列动作。
约束违反 (Constraint Violation)： 机器人违反物理约束（如碰撞、关节限位、过度受力）。

3. 实验设置与结果 (Experimental Results)

3.1 实验设置

基准数据集： LIBERO（包含空间、物体、目标、长程四个套件，涵盖多种家庭操作任务）。
目标模型： 6 种最先进的 VLA 模型，包括 $\pi_0$ , $\pi_0.5$ , X-VLA, GR00T-N1.5, InternVLA-M1, DeepThinkVLA。
对比基线： 基于 GPT-5 mini 的强基线攻击器（使用相同的工具接口）。

3.2 关键性能指标

SABER 在 LIBERO 基准测试中表现出显著的攻击效果，同时保持了极高的隐蔽性和效率：

指标	平均提升/下降幅度	说明
任务成功率 (Task Success)	下降 20.6%	攻击导致大量原本成功的任务失败。
动作序列长度 (Action Length)	增加 55%	诱导机器人执行冗余动作，降低效率。
约束违反 (Constraint Violations)	增加 33%	显著增加了碰撞或违反安全约束的概率。
工具调用次数	减少 21.1%	相比 GPT 基线，SABER 用更少的交互达到同等效果。
字符编辑数	减少 54.7%	攻击更加隐蔽，修改幅度更小。

3.3 消融实验与发现

冷启动的重要性： 仅使用 GRPO 训练（无 SFT 冷启动）会导致策略退化，攻击成功率下降 5.8%。冷启动帮助代理发现有效的工具调用模式。
策略演化： 训练初期代理倾向于使用高成本的提示词级编辑；随着训练深入，代理学会使用更高杠杆的 Token 级编辑，以最小的代价实现攻击目标。
跨模型泛化： 在 6 种不同架构（含/不含显式推理）的 VLA 模型上均表现出一致的攻击效果，证明了方法的通用性。

4. 主要贡献 (Key Contributions)

首个通用的 VLA 自动化黑盒攻击框架： 提出了 SABER，将 VLA 攻击形式化为受预算约束的优化问题，能够自动适应不同任务和策略。
基于代理的 GRPO 训练方法： 设计了一个 ReAct 风格的攻击代理，利用 GRPO 在无需梯度的情况下，通过多轮工具调用学习自适应的指令扰动策略。
多维度的行为退化评估： 不仅关注任务失败，还系统评估了“动作膨胀”和“约束违反”，揭示了 VLA 模型在物理执行层面的脆弱性。
高效且隐蔽的攻击策略： 实验证明，经过 RL 训练的代理能学会“高杠杆”的微小扰动，相比传统 GPT 搜索方法，在攻击效果相当的情况下，显著降低了编辑成本和可检测性。

5. 意义与未来展望 (Significance)

意义：

红队测试 (Red-teaming) 工具： SABER 为机器人基础模型的部署前评估提供了实用、可扩展的工具，能够量化模型在真实世界中的鲁棒性。
揭示潜在风险： 研究表明，即使是微小的、看似合理的指令修改，也足以导致机器人产生危险或低效的物理行为，这对 VLA 系统的安全性提出了严峻挑战。
方法论创新： 将强化学习（GRPO）与代理工具使用（Agentic Tool Use）结合用于黑盒攻击，为其他封闭系统的对抗性研究提供了新范式。

局限与未来工作：

目前研究仅限于文本扰动和仿真环境。
未来工作将扩展到多模态攻击（同时扰动语言和视觉输入）以及推理过程攻击（针对中间规划步骤和工具选择逻辑），以探索更复杂的跨模态漏洞。

总结：
SABER 论文通过引入智能体驱动的强化学习框架，成功解决了 VLA 模型黑盒攻击中“自动化”、“隐蔽性”和“泛化性”的难题。它不仅证明了 VLA 模型对微小指令扰动的脆弱性，还提供了一套高效的红队测试方案，对于推动安全、可靠的具身智能发展具有重要意义。