💻 computer science

SWIM: Vision-Language-Grounded Soft Whole-Body Interactive Manipulation

SWIM 是一个视觉-语言驱动的框架，它通过将基于扩散模型的视觉-语言-动作（VLA）策略与视觉软本体感知相结合，生成能够利用固有顺应性实现鲁棒物理执行的可执行驱动序列，从而使软连续体机器人能够执行复杂的全身交互式操控任务。

原作者： Tingcong Liu, Aye Phyu Phyu Aung, Junjie Xiong, Siyi Ma, Bo An, Ke Wu, Senthilnath Jayavelu

发布于 2026-09-16

📖 1 分钟阅读☕ 轻松阅读

原作者： Tingcong Liu, Aye Phyu Phyu Aung, Junjie Xiong, Siyi Ma, Bo An, Ke Wu, Senthilnath Jayavelu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

在机器人领域，存在着一种明显的划分：一类是利用坚硬金属框架制造的机器，另一类则是用柔软、灵活材料打造的机器。刚性机器人（如汽车工厂中看到的机械臂）能够以精确且预设好的确定性进行运动，但当它们需要挤进狭窄空间或处理易碎且形状不规则的物体而不将其压碎时，就会显得力不从心。相比之下，软体机器人由具有顺应性的材料制成，可以像生物组织一样弯曲、拉伸和扭转。这种灵活性使它们能够包裹住物体，并根据周围环境调整形状，为在受限空间内执行任务或与人类安全交互提供了潜在的解决方案。然而，这种灵活性本身也带来了一个新问题：控制一个可以发生无数种形变的身体是极其困难的。当人类给出一个简单的指令，如“把那个拿起来”时，刚性机器人可以计算出一条移动其手部的单一路径。而对于一个全身都能改变形状的软体机器人来说，它必须弄清楚如何扭转其整个形态来实现同样的目标，这项任务不仅需要理解目标物体，还需要实时理解机器人自身复杂的几何结构。

研究人员最近开发了一种名为 SWIM 的新系统来解决这一特定挑战，旨在教会软体机器人通过理解语言和视觉场景来进行全身操控。该团队的研究重点是一个由线缆驱动的螺旋形机器人，其原理类似于肌肉拉动骨骼，这使得机器人能够进行卷曲、触达并包裹物体。他们解决的核心难点在于，以往的方法通常试图仅通过关注机械臂末端来控制这些机器人，而忽略了身体其余部分的复杂形状。这种方法之所以失败，是因为仅靠末端的位置无法完整描述机器人其余部分的弯曲程度，也无法描述它与世界的接触状态。为了解决这个问题，研究人员创建了一个学习系统，该系统能同时观察机器人的整个身体形状、视觉场景以及语音指令。他们在模拟环境中训练该系统，让机器人可以在其中进行数千次的练习，学习预测能够实现目标的线缆运动序列，例如将物体收纳起来、伸手触达目标或抓取物体。

他们方法中的一项关键创新是一种被称为“视觉软本体感觉”（visual soft proprioception）的技术。简单来说，这意味着机器人学会了通过摄像头图像来“看见”自己的身体形状，从而补充其内部关于线缆张力的感知知识。在训练期间，系统使用当前的腱长向量作为本体感觉输入来理解其构型，同时也会被展示模拟器中机器人身体上若干个点的精确坐标。通过强制计算机模型预测这些点的位置，系统学会了在脑中建立一张关于自身几何结构的地图。这使其能够理解，为了触及某个特定物体，机器人可能需要以不同于“收纳物品”时的弯曲方式来调整其中部截面。此外，该系统并没有尝试去预测通往目标的单一、完美的路径，而是学会了预测一系列可能的成功运动。这一点至关重要，因为对于软体结构而言，通常存在许多种不同的包裹物体的方式，系统需要具备足够的灵活性来选择任何一个有效的选项，而不是困于某一个僵化的计划。

研究人员通过两种方式测试了这一方法：首先是在计算机模拟中，然后在实际的物理机器人上。在模拟中，该系统的表现非常出色，完成收纳任务的成功率达 100%，触达目标的成功率达 96%，抓取物体的成功率达 88%。这些结果明显优于那些未使用身体形状感知或缺乏灵活预测模型的其他方法。然而，真正的考验出现在他们将系统转移到现实世界时。当他们尝试直接在物理机器上运行机器人的“大脑”，并将其连接到摄像头和电机进行实时操作时，性能大幅下降。机器人在抓取物体时失败率高达 75%，这主要是由于处理过程中的微小延迟以及模拟环境与现实世界之间的差异，导致机器人是在基于过时信息进行动作。

为了克服这一问题，研究人员引入了一种巧妙的部署策略。他们不再要求机器人在移动时进行实时思考和反应，而是让它先在虚拟模拟中规划好整个运动序列。机器人观察现实世界，创建一个场景的数字孪生体，然后在脑海中演练整个任务，生成一份完整的指令列表。一旦这套完整的序列准备就绪，机器人便会执行动作，期间不再停下来观察或思考。由于机器人的身体本质上是柔软且具有弹性的，它可以自行处理细小的碰撞和接触变化，而无需计算机进行持续修正。当他们使用这种“先规划后执行”的方法时，物理机器人的成功率大幅回升：收纳任务达到 100%，触达目标达到 80%，抓取物体达到 75%。这表明，通过结合对自身形状的深度理解以及利用其天然物理灵活性的策略，软体机器人可以被简单的语言引导，从而完成以往难以实现的复杂全身任务。

技术摘要：SWIM —— 基于视觉-语言引导的软体全身交互式操控

1. 问题陈述

本文解决了针对软体和连续体机器人的视觉-语言引导的全身操控（vision-language-grounded whole-body manipulation）这一挑战。虽然软体机器人通过分布式的身体变形和接触（例如包裹、包围）提供了独特的操控能力，但将高层语言指令和视觉上下文转化为可执行的全身驱动序列仍然非常困难。

作者确定了阻碍现有方法的三个根本性失配问题：

动作接口失配（Action-Interface Mismatch）： 标准的视觉-语言-动作（VLA）模型通常输出末端执行器的运动（笛卡尔位姿），这无法指定软体操控所需的协同身体变形和分布式接触。
全身状态失配（Whole-Body State Mismatch）： 末端执行器状态无法捕捉高维度的身体构型。此外，动作目标仅提供间接的几何监督，使得从有限的演示中学习身体变形与驱动之间的关系变得困难。
执行失配（Execution Mismatch）： 模拟到现实（Sim-to-real）的差异以及在线部署中的推理/通信延迟会导致指令被应用于不匹配的状态，从而导致物理执行失败。

其目标是将初始 RGB 观测 ( $I$ ) 和语言指令 ( $\ell$ ) 映射到完整的驱动命令序列 ( $U$ )，通过全身变形和分布式接触来完成任务。

2. 方法论：SWIM 框架

提出的框架 SWIM 在两个不同的阶段运行：训练阶段和推理/部署阶段。它使用一种腱驱动螺旋连续体机器人（SpiRob）作为测试平台。

A. SWIM-VLA：基于几何监督的学习

核心策略 SWIM-VLA 在模拟交互轨迹上进行训练。它基于 OpenVLA-OFT 主干网络，并引入了两个关键组件来解决状态和动作失配问题：

共享多模态表示（Shared Multimodal Representation）： 该策略对 RGB 观测、语言指令以及当前的腱长向量（提供低维本体感受）进行编码，生成共享表示 ( $h_t$ )。
扩散动作头（Diffusion Action Head）： 为了应对软体机器人控制的多模态特性（即多种驱动序列可以实现同一任务），该策略使用扩散模型来预测 $H$ 步驱动命令块的条件分布。这使得模型能够捕捉多样化的有效策略，而非单一的确定性输出。
视觉软体本体感受（Visual Soft Propereception, VSP）： 为了解决缺乏直接几何监督的问题，在训练扩散头的同时还训练了一个辅助的 VSP 头。VSP 预测沿机器人脊柱分布的有序“身体锚点”（body anchors）在图像平面上的坐标。通过最小化这些锚点相对于模拟器真值的定位误差，强制共享表示保留全身几何信息，从而提高从有限演示中学习的能力。

联合训练目标结合了扩散损失 ( $L_{act}$ ) 和 VSP 损失 ( $L_{VSP}$ )。训练完成后，丢弃 VSP 头，由编码器和扩散头组成可部署的策略。

B. 虚拟展开与具身机械智能

在推理阶段，SWIM 避免在物理机器人上进行在线策略查询，以减轻延迟和模拟到现实的差距。相反，它采用了一种**虚拟展开（virtual rollout）**策略：

初始化： 使用初始物理 RGB 观测，结合校准后的物体模型，在模拟器（MuJoCo）中实例化一个虚拟场景。
迭代虚拟展开： 训练好的 SWIM-VLA 策略在模拟环境中进行迭代查询。它预测命令块，在模拟器中执行前 $K$ 步，更新模拟状态，并重复此过程直到任务完成。
开环执行： 生成的完整命令序列在物理机器人上进行开环执行。
顺应性的角色： 该框架依赖于具身机械智能（embodied mechanical intelligence）。机器人的固有顺应性使其能够在物理执行过程中局部适应接触变化，而无需实时的视觉反馈或策略重规划。

3. 核心贡献

论文声称了三个主要贡献：

SWIM 框架： 一种通过虚拟展开生成完整驱动序列的部署策略，利用内在的身体顺应性进行局部接触适应，并消除了在物理执行期间进行在线 VLA 推理的需求。
SWIM-VLA 策略： 一种以腱状态为条件的策略，结合了扩散动作头与视觉软体本体感受（VSP）。这种设计对条件动作分布进行建模，并利用几何监督来保留身体形状信息，从而实现从有限演示中学习。
全面评估： 在平面腱驱动机器人上的打包（packing）、到达（reaching）和抓取（grasping）任务上进行了评估，证明了虚拟展开部署相比于直接在线部署的有效性。

4. 实验结果

该框架在一个具有 24 个关节和两个腱驱动执行器的平面 SpiRob 上进行了评估。

模拟结果

在留出的测试条件下，SWIM-VLA 实现了以下成功率：

打包（Packing）： 100%
到达（Reaching）： 96%
抓取（Grasping）： 88%

这些结果优于经过改进的 OpenVLA-OFT 基线（90%, 72%, 52%）及消融变体。具体而言：

移除 VSP 会使到达和抓取的成功率分别降至 90% 和 78%，凸显了几何监督对于远端放置的重要性。
用确定性回归器替换扩散头 会使抓取成功率降至 69%，证实了为接触密集型任务建模动作分布的价值。

物理部署结果

作者将 SWIM（虚拟展开 + 开环执行）与 直接 SWIM-VLA（在物理机器人上进行在线查询）在相同策略检查点下进行了对比：

打包： SWIM 达到 100% (20/20)，而直接部署为 75% (15/20)。
到达： SWIM 达到 80% (16/20)，而直接部署为 40% (8/20)。
抓取： SWIM 达到 75% (15/20)，而直接部署为 25% (5/20)。

虽然 SWIM 恢复了在直接模拟到现实迁移中损失的大部分性能，但由于场景初始化过程中的物体位置误差以及材料/结构的差异，物理成功率仍略低于模拟结果。

5. 意义与主张

本文将 SWIM 定位为解决将语言和视觉转化为软体机器人操控特定挑战的解决方案。其意义在于：

弥合模拟到现实的差距： 通过将策略交互循环转移到虚拟环境中，并依靠机器人的物理顺应性进行最终执行，SWIM 缓解了在线部署中存在的推理延迟和模型不准确问题。
VLA 中的几何感知： 引入 VSP 表明，显式监督身体几何结构可以提高从有限数据中学习全身驱动策略的能力，从而解决了“全身状态失配”问题。
处理多模态动作： 使用扩散模型承认了软体机器人针对单一任务往往存在多种有效驱动路径的特性，而这种细微差别在确定性回归方法中经常丢失。

作者指出，目前的研究局限于平面操控、预定义的重置配置以及锚定的抓取目标，未来的工作计划转向 3D 交互和移动物体。