💻 computer science

Uncovering Vulnerability of Vision-Language-Action Models under Joint-Level Physical Faults

本文证明了视觉-语言-动作模型易受破坏“动作-运动”接口的关节级物理故障的影响，并提出了 J-PARC，这是一个轻量级的残差校准框架，通过从关节动力学中推断潜在故障状态，来自适应地修正动作并在不损害无故障性能的情况下恢复鲁棒性。

原作者： Minsoo Jo, Taeju Kwon, Junha Chun, Youngjoon Jeong, Taesup Kim

发布于 2026-06-10

📖 1 分钟阅读☕ 轻松阅读

原作者： Minsoo Jo, Taeju Kwon, Junha Chun, Youngjoon Jeong, Taesup Kim

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

大局观：当机器人的身体“生病”时

想象你有一位才华横溢、受过高度训练的大厨（VLA 模型），他能观察凌乱的厨房，阅读食谱，并完美地规划如何切菜和搅拌锅里的食物。这位大厨非常聪明，能够应对新的食谱和不同的厨房布局。

然而，有一个问题：大厨并不亲自动手做饭。他向一个机械臂（具身/Embodiment）发出指令，由机械臂来执行实际的工作。

这篇论文提出了一个从未有人真正测试过的问题：如果机械臂“生病”了会发生什么？

也许是机械臂的一个关节卡住了（就像生锈的合页）、只能移动一半的幅度（就像断了腿的膝盖），或者因为摩擦力变得过于僵硬（就像有关节炎的关节）。大厨（AI）仍然认为一切正常，并给出完全相同的指令。但由于机械臂坏了，菜刀可能会错过蔬菜，或者锅里的东西会洒出来。

论文表明，即使 AI 大脑非常完美，这些“生病”的机械臂也会导致机器人失败。为了解决这个问题，作者为机器人构建了一个被称为 J-PARC 的“物理治疗师”。

问题所在：“断臂”效应

研究人员测试了在机器人尝试执行任务（例如将碗放入抽屉）时，锁定不同关节（如 Franka Panda 机器人）会发生什么情况。

1. 不仅仅是“无法触及”：
你可能认为如果一个关节被锁定了，机器人就无法触及目标。但论文发现情况更为微妙。即使机器人物理上可以触及目标，其动作感觉也是“不对劲”的。

类比： 想象你穿着沉重、僵硬的长靴走直线。你可能仍然可以到达终点，但你的步态非常奇怪，以至于你会踉跄、失去平衡并错过目标。机器人的“步态”（即它的运动方式）会被摩擦或锁定搞乱，导致它偏离航线。

2. “漂移”效应：
当机器人因为损坏的关节而犯下一个小错误时，它会看到一个与世界略微不同的视角。AI 大脑会想：“噢，我不在预期的位置。”于是试图进行修正。但由于机械臂仍然是坏的，这种修正反而会让情况变得更糟。

类比： 这就像是在驾驶一辆爆胎的汽车。你向左转动方向盘试图走直线，但车却向右拉。你向左转得更猛，但车却向右拉得更狠。最终，你失控旋转。机器人陷入了这种试图用它那破碎的身体去修复一个它实际上无法修复的问题的死循环中。

3. 不同关节，不同问题：
论文发现，损坏不同的关节会导致不同类型的失败。

类比： 如果你的肩膀锁住了，你就无法抬高手臂。如果你的手腕锁住了，你就无法转动门把手。同样，锁定“关节 0”（底座）会破坏水平运动，而锁定“关节 4”（靠近手部）则会破坏抓取动作。机器人会根据损坏的部分不同，以非常特定的方式失败。

解决方案：J-PARC（“物理治疗师”）

作者创建了一个名为 J-PARC（关节级物理故障感知残差校准器）的新系统。

把主 AI（大厨）看作是静止不变的。你不想重新训练大厨，因为他们已经非常擅长烹饪了；你只想修复机械臂。

J-PARC 的工作原理：

侦探： J-PARC 观察机器人最近的运动。它查看机械臂运动的历史记录，并问道：“嘿，感觉有点不对劲。是机械臂变僵硬了吗？是某个关节卡住了吗？是哪一个？”它无需通过手册就能找出这种“疾病”。
治疗师： 一旦它知道机械臂生病了，它会对大厨的指令进行微小的“推力”调整。
- 如果大厨说：“将手向前移动 10 厘米”，而机械臂很僵硬，J-PARC 可能会说：“好吧，但实际上，请向前推 12 厘米，以克服这种僵硬感。”
- 它只微调位置（手部去哪里），而不调整旋转或抓取，因为如果不进一步损坏机械臂，这些动作很难修复。
安全网： 如果机械臂是健康的，J-PARC 就什么也不做。它保持沉默。这意味着当没有故障时，机器人的表现与之前完全一样。

结果：它有效吗？

研究人员通过两种方式进行了测试：

在模拟器中（电子游戏）： 他们在虚拟机器人上模拟了损坏的关节（锁定、运动范围受限、高摩擦力）。
- 结果： 没有 J-PARC，机器人经常失败。有了 J-PARC，成功率显著提高。即使他们在一种从未见过的“疾病”（摩擦力）上进行测试，它仍然有效。这就像治疗师即使面对新的伤情也能猜对正确的治疗方案一样。
在现实世界中（真实机器人）： 他们让一个真实的机器人手臂（Trossen WidowX）进行碗的取放任务。他们在任务过程中物理性地锁定了其中一个关节。
- 结果： 普通机器人每次都会失败。带有 J-PARC 的机器人在大多数尝试中都成功了。视频显示，没有 J-PARC 时机器人的手会偏离航线，而有了 J-PARC 后，它能保持平稳且成功的路径。

总结

这篇论文证明了，即使机器人的大脑非常完美，给它一个“生病”的身体也会破坏它完成任务的能力。解决方案不是重新训练大脑，而是添加一个智能、轻量级的层（J-PARC），它扮演着物理治疗师的角色。它观察机器人的运动，查明关节出了什么问题，并轻轻地调整指令以进行补偿，从而让机器人在身体部件受损时仍能继续工作。

技术摘要：揭示视觉-语言-动作模型在关节级物理故障下的脆弱性

问题陈述

将视觉-语言-动作（VLA）模型部署到实际机器人系统中面临着一个关键的鲁棒性差距：尽管这些模型在语义和感知变化方面表现出强大的泛化能力，但它们往往缺乏对**具身侧故障（embodiment-side faults）**的鲁棒性。具体而言，VLA 策略假设机器人本体能够忠实地将预测的动作转化为预期的运动。然而，现实世界的机器人容易受到关节级物理故障的影响，例如执行器退化、硬件故障、安全限制以及由碰撞或磨损引起的摩擦增加。

这些故障改变了动作到运动的接口（action-to-motion interface），破坏了学习到的闭环关系——即指令动作、实现的运动以及随后的观测之间的联系。与传统的动作噪声（直接扰动策略输出）不同，关节级物理故障改变了机器人本身的运动学或动力学能力。因此，相同的指令动作可能会根据受影响的关节和故障程度，导致不同的实际状态。这导致了闭环执行失配（closed-loop execution mismatch），即机器人会偏离 VLA 策略所预期的标称状态轨迹，即使任务在物理上仍然可行，也可能导致不可恢复的失败。

方法论：J-PARC

为了解决这一脆弱性，作者提出了关节级物理故障感知残差校准器（Joint-level Physical-fault Aware Residual Calibrator, J-PARC）。这是一个轻量级框架，旨在不微调基础模型的情况下，运行在冻结的 VLA 策略之上。

核心架构

J-PARC 作为一个残差修正模块，根据推断出的执行上下文来调整 VLA 动作输出的平移分量。

输入上下文： 该模块观察近期的关节动力学和执行历史（ $H_t$ ），其中包括基础动作、末端执行器/夹持器状态，以及指令动作与执行动作之间的差异。
故障模式推断： 一个预训练的编码器（ $g_\psi$ ）处理近期的关节运动，以推断潜在的关节故障模式（ $u_t$ ）。该编码器被训练用于检测是否存在故障并分类受影响的具体关节，但在残差训练阶段保持冻结状态。
残差预测： 一个基于 Transformer 的残差校准器（ $f_\theta$ ）接收基础动作块、执行历史和推断的故障模式作为输入。它专门针对平移臂指令（ $\Delta x, \Delta y, \Delta z$ ）预测一个残差块（ $R_{\theta,t}$ ）。
动作校正： 最终执行的动作是基础 VLA 动作与预测残差之和。旋转和夹持器指令保留自基础策略，以避免不必要的关节重构。

训练策略

J-PARC 利用了一种**参考引导的残差目标（reference-guided residual target）**方法：

数据采集： 系统将无故障的参考轨迹运行过程与从相同初始状态开始的关节锁定条件下的运行过程进行配对。
目标生成： “教师”机制将故障执行状态与无故障参考轨迹进行比较。如果偏差超过阈值，则计算目标残差，以将末端执行器重新导向至无故障路径点。如果偏差处于“演示管（demonstration tube）”内，则目标残差为零。
优化： 残差校准器被训练以最小化其预测残差与教师生成的目标之间的均方误差，同时基础 VLA 策略和故障编码器均保持冻结。

核心贡献

识别脆弱性： 本文确立了关节级物理故障（锁定、范围限制、增加的摩擦力）是 VLA 部署中一个关键且独特的鲁棒性挑战，这与感知或指令空间的噪声截然不同。
分析异质效应： 通过广泛分析，作者证明了故障效应是依赖于关节的（joint-dependent）。任务的退化程度根据受影响的关节及其在任务中的使用情况呈现异质性。此外，性能下降甚至发生在可行场景下（例如，增加摩擦力），这表明问题不仅在于物理上的不可行性，更在于闭环执行失配。
J-PARC 框架： 提出了一种轻量级的残差校准框架，该框架通过执行历史推断潜在故障模式并据此调整动作，同时保留了基础策略的行为。
实证验证： 在 LIBERO 基准测试和真实硬件（Trossen WidowX AI）上的实验表明，J-PARC 在关节故障下显著提高了成功率，同时在标称条件下保持了原有性能。

实验结果

作者在两个冻结的 VLA 主干网络（OpenVLA-OFT 和 $\pi_0.5$ ）上评估了 J-PARC 在 LIBERO 基准测试中的表现。

关节锁定故障： 在关节锁定条件下，J-PARC 将平均成功率从 42.3% 提升至 46.8%（OpenVLA-OFT），从 48.4% 提升至 55.2%（ $\pi_0.5$ ）。值得注意的是，它优于 CIK（约束逆运动学）和 RobustVLA 等基准方法，后者未能持续提高性能，甚至导致了性能下降。
未见过的摩擦故障： 至关重要的是，J-PARC 仅在关节锁定数据上进行训练。当测试增加的关节摩擦力（一种训练期间未见的故障模式）时，它仍然提高了平均成功率（例如，对于 OpenVLA-OFT，从 46.4% 提升至 55.1%），展示了对未见执行失配的泛化能力。
无故障保持： 在无故障环境中，J-PARC 保留了基础策略的性能，证实了残差模块不会干扰正常操作。
真实世界验证： 在执行碗类取放任务的物理机器人上，基础策略在关节锁定下完全失败，而 J-PARC 通过使末端执行器轨迹保持在接近无故障参考路径的状态，在大多数试验中取得了成功。

重要性与主张

本文认为，具身侧鲁棒性是可靠部署 VLA 的必要条件，而不单纯是一个次要的硬件问题。作者主张：

目前专注于动作噪声或感知扰动的鲁棒性方法不足以处理改变机器人动力学的持久性物理故障。
指令动作与实现运动之间的失配会随时间累积，因此需要一种自适应动作校准，该校准需以当前的执行上下文为条件，而非静态约束。
J-PARC 提供了一个实用且轻量级的解决方案，它在不增加大规模 VLA 模型微调成本或需要大量对抗训练数据的情况下，增强了鲁棒性。

作者对局限性保持了谦逊的态度，指出由于安全限制，其实际验证目前仅限于特定关节（4 和 5）及单一任务，且该方法目前依赖于获取无故障参考轨迹进行训练。未来的工作建议探索自动参考构建以及更广泛的动作空间。