技术摘要：FailSafe —— 视觉-语言-动作模型的失效推理与恢复

问题陈述

最近的视觉-语言-动作（VLA）模型进展使得机器人能够通过将低层控制集成到视觉-语言模型（VLM）中来执行复杂的操纵任务。然而，这些模型严重依赖于由高质量、真实轨迹组成的大规模数据集，而这些数据很少包含失败场景。因此，虽然 VLA 在分布内表现良好，但在面对现实世界执行过程中遇到的不可预测且突发的失效时，它们难以进行检测或恢复。

现有的失效推理方法面临显著局限性：

• 缺乏可执行动作： 许多数据集仅提供文本形式的失效解释（例如，“夹爪应该向左移动”），这在幅度（magnitude）和终点（endpoints）方面具有歧解歧义，使其难以被 VLA 模型直接执行。
• 依赖人类监督： 诸如 OLAF 和 YAY 之类的方法需要外部人类观察者进行监控和干预，这对于实现完全自主的系统而言是不切实际的。
• 难以扩展： 虽然某些流水线可以生成失效轨迹，但它们往往无法产生既有效又可由机器人直接执行的相应纠正动作。

这项工作所解决的核心挑战是：缺乏一个可扩展的流水线，能够自动生成高层失效推理并配对低层、可执行的恢复动作，以增强 VLA 的鲁棒性。

方法论：FailSafe 流水线

作者提出了 FailSafe，这是一个创新的框架，旨在支持运动规划的模拟器（在 ManiSkill 中得到验证）中，自动生成多样化的失效案例并配对可执行的恢复动作。该流水线由五个关键阶段组成：

1. 失效生成

FailSafe 定义了三种基本的失效模式，以模拟常见的机器人错误：

• 平移失效（Translation Failure）： 沿笛卡尔轴（$x, y, z$）的扰动。
• 旋转失效（Rotation Failure）： 滚转（roll）、俯仰（pitch）或偏航（yaw）的角度偏差。
• 无动作失效（No-ops Failure）： 机械臂在一段时间内保持静止不动。

这些失效被注入到真实轨迹的任意步骤中。系统使用 YAML 配置来指定噪声范围（例如，平移为 $\pm0.1$，旋转为 $\pm1$ 弧度）以及失效发生的阶段。这模拟了现实世界部署中可能发生的意外错误。

2. 动作收集

与以往输出文本的方法不同，FailSafe 收集的是 7 自由度末端执行器恢复动作 ($\Delta A$)。

• 映射： 对于失效轨迹中的偏差位姿 ($P_d$)，系统将其映射到正确轨迹中对应的纠正位姿 ($P_c$)。
• 约束： 为了防止碰撞，$P_c$ 是从失效开始后 10 步之后开始选择，并在任务结束前 3 步结束。
• 多样性： 系统生成多个候选 $(P_d, P_c)$ 对。最终的纠正动作 $\Delta A$ 是这些位姿之间的 7 自由度差异。至关重要的是，即使注入了特定的失效类型（例如，平移 X），生成的 $\Delta A$ 也并不局限于单一维度；它提供了跨越所有七个维度的调整，以处理同时发生或复杂的失效模式。

3. 系统化验证

在纳入数据集之前，每个候选恢复动作都要经过严格验证：

• 系统重放轨迹：$A \to P_d \to P_c \to \text{剩余任务}$。
• 如果应用纠正位姿 $P_c$ 后，原本失败的任务得以成功，则该对数据被视为有效。
• 这确保了收集到的动作在应用于不同时间步时是鲁棒且有效的。

4. 数据集构建

该流水线被应用于 ManiSkill 中的三个任务：Pick Cube（抓取方块）、Push Cube（推动方块）和 Stack Cube（堆叠方块）。

• 规模： 生成的数据集包含约 131,000 个失效-动作对 和 56,000 条真实（成功）轨迹。
• 格式： 每个条目包括 10 帧连续的多视图图像（前视图、侧视图、腕部视图）、任务指令、子任务识别、失效分类（是/否）、失效类型以及 7 自由度纠正动作向量。

5. 模型训练 (FailSafe-VLM)

作者在 FailSafe 数据集上微调了 LLaVa-OneVision-7B (LLaVa-OV-7B)。

• 架构： 该模型使用 Qwen2-7B-Instruct 作为语言骨干，使用 SigLIP 作为视觉塔，并配备一个两层 GELU MLP 投影器。
• 训练： 进行了全指令微调，并与 RoboPoint VQA 混合数据进行协同训练，以提高泛化能力。
• 推理策略： FailSafe-VLM 作为基础 VLA 模型的外部助手运行。每 10 个步长，它会分析当前状态以判断是否可能发生失效。如果结果为“是”，则输出纠正动作；如果为“否”，则控制权返回给基础 VLA。

核心贡献

1. 可扩展的失效-动作流水线： 第一个能够自动生成机器人失效推理解释及精确、可执行的 7 自由度恢复动作的框架，且适用于支持运动规划的模拟器。
2. 性能提升： 证明了 FailSafe 数据集使现有的 VLM 具备了失效推理能力，显著提高了三种最先进 VLA 模型（$\pi$o-FAST, OpenVLA, OpenVLA-OFT）的成功率。
3. 泛化能力： 展示了 FailSafe-VLM 可以跨越不同的空间配置、相机视角、物体类别（包括未见过的球体和充电器）以及机器人形态（例如，从 Franka Emika Panda 迁移到 xArm 6）进行泛化。

实验结果

作者在 ManiSkill 环境下的 Franka Emika Panda 机械臂上评估了 FailSafe-VLM：

• VLA 性能增益：

  • OpenVLA： 取得了最大的提升，平均成功率增加了 22.6%（从 14.7% 提升至 37.3%）。
  • OpenVLA-OFT： 提升了 8.0%（从 90.7% 提升至 98.7%）。
  • $\pi$o-FAST： 提升了 4.0%（从 78.7% 提升至 82.7%）。
  • 即使在使用与 FailSafe-VLM 训练视图不同的新颖相机视角时，这些增益依然成立，同时匹配 VLA 的训练视图。

• 泛化能力：

  • 未见物体： 在测试 Pick Sphere、Place Sphere 和 Pick Charger 时，FailSafe-VLM 使 OpenVLA-OFT 的性能平均提升了 17.4%。
  • 未见机器人形态： 当应用于仅在 Franka 数据上训练过的 xArm 6 机器人时，它将 Stack Cube 的成功率从 56% 提高到了 76%。

• 与最先进 VLM 的对比：

  • 在失效检测（二元成功率：0.9094 vs. GPT-4o 的 ~0.70）、失效类型识别（准确率：0.8368 vs. ~0.20）以及恢复动作预测（余弦相似度：0.6522 vs. 其他模型的接近 0）方面，FailSafe-VLM 显著优于 GPT-4o、Gemini-2.5-flash 和 Qwen2.5-VL。
  • 值得注意的是，Qwen2.5-VL 经常输出“无失效”且动作全为零，无法协助恢复。

• 效率：

  • 集成过程带来的推理开销很小，每个任务仅增加 +3.8s 至 +9.1s，这主要是由于模拟器重新规划导致的。

重要性与主张

论文将 FailSafe 定位为迈向鲁棒且可解释的具身智能的关键一步。作者主张：

• 自主性： 通过消除失效检测和恢复对人类监督的需求，FailSafe 使 VLA 系统更接近完全自主。
• 可执行的推理： 从文本形式的失效描述转向可执行的 $\Delta$ 动作，弥合了高层推理与低层控制之间的鸿沟，解决了先前工作的局限性。
• 可扩展性： 流水线的设计允许大规模创建失效-恢复数据，而这在现实世界中收集是非常困难的。
• 未来工作的基石： 虽然目前的方法侧重于运动层面的恢复，尚未涉及物体层面的错误（例如掉落物体），但它为未来能够在复杂动态环境中进行自我纠正的系统奠定了基础。

作者总结道，FailSafe 是实现更强失效推理和自主性的早期尝试，为在非结构化环境中实现更可靠的机器人操纵铺平了道路。