💻 computer science

CompliantVLA-adaptor: VLM-Guided Variable Impedance Action for Safe Contact-Rich Manipulation

本文提出了一种名为 CompliantVLA-adaptor 的新方法，通过利用视觉语言模型（VLM）解析任务上下文来动态调整可变阻抗控制（VIC）的刚度与阻尼参数，并结合实时力/力矩反馈，显著提升了现有视觉语言动作（VLA）模型在接触丰富操作任务中的安全性与成功率。

原作者： Heng Zhang, Wei-Hsing Huang, Qiyi Tong, Gokhan Solak, Puze Liu, Kaidi Zhang, Sheng Liu, Jan Peters, Yu She, Arash Ajoudani

发布于 2026-03-18

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Heng Zhang, Wei-Hsing Huang, Qiyi Tong, Gokhan Solak, Puze Liu, Kaidi Zhang, Sheng Liu, Jan Peters, Yu She, Arash Ajoudani

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一种名为 CompliantVLA-adaptor 的新方法，它的核心目的是教机器人如何“温柔”地干活，特别是在需要接触、推挤或插入物体的任务中。

为了让你更容易理解，我们可以把现在的机器人和这项新技术比作一个**“莽撞的实习生”和一个“经验丰富的老工匠”**。

1. 现在的机器人（VLA 模型）：懂道理但手太“硬”

目前的先进机器人（比如论文里提到的 RDT、OpenVLA 等）就像是一个读过很多书、懂很多大道理的“高材生”。

它的强项：你给它看一张图，说“把那个杯子放进微波炉”，它能完美理解你的意图，甚至能认出哪个是杯子，哪个是微波炉。
它的弱点：它只懂得“位置控制”。这就好比它只关心“手要移动到哪个坐标”，却完全感觉不到力。
后果：当它去插 USB 线或者关抽屉时，如果遇到了阻力（比如线没对准，或者抽屉卡住了），它不会像人一样“试探一下”或“松一点劲”，而是会死板地继续用力推。结果就是：USB 口被插坏了，抽屉把手被拽断了，或者机器人自己撞疼了。
比喻：就像一个不懂轻重的实习生，老板让他“轻轻放”，他理解成了“把东西放到那个位置”，结果因为用力过猛把花瓶砸碎了。

2. 这项新技术（CompliantVLA-adaptor）：给机器人装上了“触觉大脑”和“弹簧手臂”

为了解决这个问题，作者们设计了一个**“外挂插件”（Adaptor），它就像给那个“高材生”配了一位“经验丰富的老工匠”**作为助手。

这个系统由三部分组成，我们可以这样理解：

A. 老工匠（VLM，视觉语言模型）：负责“看”和“想”

角色：这位老工匠不仅懂语言，还特别擅长看图。
工作：当机器人要干活时，老工匠会实时观察：“哦，现在机器人正在靠近抽屉（还没碰到）”，或者“哦，现在已经碰到了，而且有点卡”。
比喻：就像你在教孩子插钥匙，你会说：“现在还没碰到锁孔，手要稳（硬一点）；碰到锁孔了，要轻轻转（软一点）；卡住了，就退回来再试（更软一点）”。老工匠就是负责发出这些“软硬指令”的人。

B. 弹簧手臂（VIC，可变阻抗控制）：负责“执行”

角色：这是机器人的物理执行机构，但它不再是死板的铁手，而是一只带有弹簧和减震器的“智能手”。
工作：它接收老工匠的指令。
- 老工匠说“现在是自由移动阶段” -> 弹簧手臂就变硬，保证走位精准。
- 老工匠说“现在是接触阶段” -> 弹簧手臂立刻变软，像海绵一样，遇到阻力就顺势退让，而不是硬顶。
比喻：这就像你用手去推一扇弹簧门。如果你用力推，门会弹回来保护你；如果你轻轻推，门就慢慢开。这个“弹簧手臂”就是让机器人拥有了这种**“顺势而为”**的能力。

C. 安全卫士（力反馈）：最后的防线

角色：机器人的手腕上装有“力传感器”，就像人的神经末梢。
工作：即使老工匠判断失误，如果传感器发现“哎呀，力太大了！”，它会立刻强制让手臂变软，防止损坏东西。
比喻：就像你手碰到烫的东西，哪怕大脑还没反应过来，手也会本能地缩回来。

3. 这个系统是怎么工作的？（一个生动的场景）

想象机器人要把一根 USB 线插进电脑：

传统机器人：大脑说“往坐标 (x,y,z) 移动”。它像一根铁棍一样直直地插过去。如果没对准，它就硬生生地戳，直到把接口戳坏或把线头弄断。
CompliantVLA-adaptor 机器人：
- 老工匠（VLM） 看着画面说：“现在还没碰到，手要稳（高刚度）；快碰到了，准备变软；碰到了，现在要非常非常软，像羽毛一样轻轻试探。”
- 弹簧手臂（VIC） 听到指令，立刻调整自己的“硬度”。
- 当线头碰到电脑外壳时，手臂自动变软，顺着阻力稍微调整角度，而不是硬顶。
- 结果：线顺利插进去了，没有损坏任何零件。

4. 为什么这很重要？（实验结果）

作者在电脑模拟和真实的机器人手臂上做了测试：

以前：机器人做这种精细活（插东西、关抽屉），经常失败，要么东西坏了，要么任务做不完。成功率很低，甚至只有 0%。
现在：加上这个“插件”后，机器人的成功率大幅提升（平均从 9.8% 提升到了 17.2%，在某些困难任务上提升更明显）。
更重要的是：即使失败了，也是“优雅地失败”（比如只是没对准，轻轻滑开了），而不是“灾难性地失败”（把东西砸坏）。

总结

这篇论文的核心思想就是：让机器人不仅要有“聪明的大脑”（理解任务），还要有“温柔的手”（懂得控制力度）。

CompliantVLA-adaptor 就像一个智能的“力感适配器”，它利用先进的 AI 模型来实时判断“现在该用多大的劲”，并指挥机器人像人类一样，在接触物体时懂得**“进则刚，退则柔”**。这让机器人真正具备了在人类家庭、工厂等复杂环境中安全工作的能力，不再是一个只会“死磕”的莽夫。

CompliantVLA-adaptor 技术总结

1. 研究背景与问题定义 (Problem)

核心痛点：
现有的视觉 - 语言 - 动作（Vision-Language-Action, VLA）模型（如 RDT, Pi0, OpenVLA 等）虽然在语义理解和高层任务规划方面表现出色，能够根据自然语言指令执行复杂的操作任务，但它们存在一个致命缺陷：缺乏对物理接触力的感知与适应能力。

刚性控制局限： 大多数 VLA 模型输出的是位置或轨迹指令，将机器人视为刚性位置跟踪系统。
安全隐患： 在涉及接触、顺应性（compliance）或不确定性的任务中（如插入插头、关闭抽屉、擦拭白板），这种刚性执行模式会导致机器人无法根据接触力调整行为。一旦遇到意外阻力，机器人会施加过大的力，导致物体损坏、机器人受损或任务失败。
现有方案不足： 传统的可变阻抗控制（VIC）虽然能解决安全问题，但通常依赖人工调节参数或特定任务的训练，缺乏基于视觉和语言上下文的自适应能力，难以泛化到新场景。

目标：
开发一种即插即用的适配层（Adaptor），在保留 VLA 模型强大泛化能力的同时，引入基于视觉 - 语言模型（VLM）指导的可变阻抗控制，实现安全、高效的接触丰富型（contact-rich）操作。

2. 方法论 (Methodology)

论文提出了 CompliantVLA-adaptor，这是一个将 VLM 的语义推理能力与可变阻抗控制（VIC）相结合的混合架构。系统由三个核心组件构成：

A. 混合 VLA-VIC 控制架构

系统采用多时间尺度的控制循环：

VLM 阻抗生成 (约 1Hz)： 处理视觉、语言和力反馈，生成上下文感知的阻抗参数。
VLA 动作块 (约 3Hz)： VLA 模型根据当前观测生成期望的末端执行器位移。
底层控制器 (1000Hz)： VIC 控制器利用 VLM 生成的刚度（Stiffness, $K$ ）和阻尼（Damping, $D$ ）参数，结合实时力反馈执行动作，确保接触安全。

B. 基于 VLM 的阻抗参数生成

利用冻结的预训练 VLM（如 ChatGPT-4o-mini）作为“阻抗教练”，通过多模态推理生成参数：

输入： 任务描述、语言指令、视觉观测（全局图 + 腕部图）、实时力/力矩反馈 ( $F$ )。
接触阶段识别 (Contact Phase Recognition)： VLM 结合视觉和力传感器数据，识别当前任务阶段（自由运动、接近、接触、撤退），解决纯视觉检测接触状态不可靠的问题。
上下文感知参数生成： VLM 根据任务阶段和物理约束，输出各向异性的阻抗参数（ $K_x, K_y, K_z$ $K_{x}, K_{y}, K_{z}$ 和 $D_x, D_y, D_z$ $D_{x}, D_{y}, D_{z}$ ）。
- 策略示例： 在“接触”阶段降低刚度以最大化顺应性；在“自由运动”阶段提高刚度以保证位置精度。

C. 实时力调节安全层

为了应对 VLM 推理延迟或误判，系统引入了双重安全机制：

力反馈缩放因子 ( $\alpha_{force}$ )： 当实时测量的接触力超过安全阈值时，自动降低刚度参数（ $K_{final} = K_{VLM} \cdot \alpha_{force}$ ）。
临界阻尼计算： 根据有效质量和缩放后的刚度计算阻尼，确保系统稳定性。
安全阈值： 设定 30N 为力阈值，若连续三次超过阈值则终止任务，防止损坏。

3. 关键贡献 (Key Contributions)

VLM 增强的可变阻抗控制： 首次提出利用 VLM 将高层语义理解（如任务阶段、物体材质暗示）转化为底层的物理控制参数（刚度和阻尼），填补了语义推理与物理顺应性控制之间的鸿沟。
即插即用的安全适配层： 提出了一种无需重新训练 VLA 主干网络的模块化方案。它可以在不改变原有 VLA 模型的情况下，显著提升其在接触任务中的安全性和成功率。
多模态接触阶段识别与参数生成： 设计了结合视觉、语言和力反馈的混合推理机制，实现了比纯视觉或纯力控更鲁棒的接触状态感知和阻抗调节。
实证验证： 在仿真和真实机器人平台上进行了广泛测试，证明了该方法在保持 VLA 泛化性的同时，显著降低了力违规率。

4. 实验结果 (Results)

仿真实验 (Simulation)

数据集： 基于 LIBERO 和 ManiSkill 基准，选取了 8 个典型的接触丰富任务（如插 peg、开抽屉、推盘子等）。
对比基线： RDT-1B, Pi0, OpenVLA-oft。
性能提升：
- 成功率： 在 30N 力约束下，基线 VLA 模型的平均成功率仅为 9.86%（部分任务甚至为 0%），而引入 CompliantVLA-adaptor 后，平均成功率提升至 17.29%。
- 安全性： 显著减少了力违规导致的任务终止。特别是在机械约束任务（如抽屉、旋钮）中，相对提升最为明显。
- 失败模式转变： 基线模型常因“暴力接触”导致灾难性失败，而本方法将失败模式转变为“轻微错位”或“滑移”，实现了更优雅的降级（graceful degradation）。

真实世界实验 (Real-world)

硬件： Franka Emika Panda 机械臂。
任务： 推动 3kg 重物、擦拭白板。
结果：
- 机器人能够根据任务动态调整刚度：擦拭白板时保持低刚度（400-600 N/m）以轻柔接触；推箱子时保持高刚度（800-1000 N/m）以提供推力。
- 力曲线平滑，无突变尖峰，全程力控制在安全范围内，验证了系统在真实物理环境中的有效性。

5. 意义与局限性 (Significance & Limitations)

意义：

迈向安全的基础模型： 为 VLA 模型在物理世界中的安全部署提供了一条可行路径，解决了“懂语义但不懂物理”的关键瓶颈。
低成本升级方案： 无需重新训练庞大的 VLA 模型，通过轻量级适配层即可显著提升现有模型的安全性，具有极高的实用价值。
人机交互安全： 为机器人在非结构化环境中与人类或脆弱物体进行安全交互奠定了基础。

局限性与未来工作：

推理延迟： VLM 的推理速度（~1Hz）慢于伺服循环（1000Hz），虽然安全层由底层力控保障，但语义阻抗的更新频率受限。
计算成本： 依赖云端 API 调用成本高昂且不环保；本地部署大模型则计算负荷过重。
泛化能力： VLM 在面对完全未见过的物体或极端环境时，可能无法生成最优的阻抗参数。

总结：
CompliantVLA-adaptor 成功地将大模型的语义理解能力与经典控制理论的物理安全性相结合，是解决机器人接触丰富型操作任务中“安全 - 性能”权衡问题的重要一步。