💻 computer science

SEED-UMI: Sharing the Exoskeleton between human and robot for onE-to-one Dexterous demonstration

SEED-UMI 是一种新颖的模仿学习框架，通过让人类和机器人佩戴相同的外骨骼，从而实现共享的关节测量数据和腕部摄像头视图，进而通过消除对易出错的重定向过程的需求，使高效的灵巧机器人训练成为可能，并允许策略直接从富含接触信息的原始演示中进行学习。

原作者： Tengbo Yu, Jiahao Wu, Daohan Li, Bingxu Chen, Hao Liu, Xiaojian Ma, Hangxin Liu

发布于 2026-09-11

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Tengbo Yu, Jiahao Wu, Daohan Li, Bingxu Chen, Hao Liu, Xiaojian Ma, Hangxin Liu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

教机器人像人类一样使用双手是现代机器人领域最难的谜题之一。虽然机器在行走或移动手臂方面已经成为了大师，但手指那种精细且充满接触感的动作仍然难以捉摸。核心难点不仅在于手本身的复杂性，还在于我们如何教它。为了学习，机器人需要观察人类执行任务并尝试模仿其动作。然而，人类的手和机器人的手构造不同：它们的关节数量不同、尺寸不同，运动方式也不同。当人类触摸物体时，皮肤会发生压缩，关节会以特定的方式弯曲，而坚硬的金属手无法完美地模拟这一点。目前的方法试图通过摄像头观察人类或使用手套记录其动作来弥补这一差距，但这些方法在手部实际接触物体时往往会失效。数据变得混乱，从人类到机器人的转换过程会崩溃，导致机器人难以复制像拧螺丝或投掷球类任务中所需要的微妙压力和时机。

一组研究人员提出了一种不同的解决方案，完全绕过了复杂的转换过程。他们没有尝试用数学方式将人类动作转换为机器人指令，而是构建了一个系统，让其人类和机器人佩戴完全相同的机械装置。这个装置是一个专门设计的轻量化外骨骼框架，可以套在手部和手指上。研究人员设计了这个框架，使其在尺寸和关节位置上与机器人的手完美匹配。当人类戴上它时，框架随其手指运动；当机器人戴上它时，框架随其电机运动。由于物理结构完全一致，无论是由人类还是机器人佩戴，设备内部的传感器记录的数据都是完全相同的。这一简单的改变将一个困难的“翻译问题”转变成了一个直接的“观察问题”。

由郁腾波（Tengbo Yu）及其同事领导的研究团队开发了一个名为 SEED-UMI 的框架，将这一想法付诸实践。该系统依赖于一种共享的物理测量方式。外骨骼在每个关节处都配备了传感器，用于测量每根手指弯曲的程度。同时，它还配备了一个安装在手腕上的摄像头，指向手部及正在接触的物体。当人类操作员佩戴该装置执行任务时，传感器记录关节角度，摄像头记录视角。由于机器人佩戴的是同一个装置，它在执行相同动作时，看到的视角和测量的关节角度也是一样的。这意味着机器人不需要猜测如何转换人类的手势；它只需学习通过观察传感器的读数来移动自己的关节，并将人类的表现作为直接引导。

为了实现这一目标，团队采用了两步学习法。首先，他们让机器人佩戴外骨骼并随机移动关节，这个过程被称为“电机咿呀学语”（motor babbling）。这有助于机器人理解其自身的电机指令与产生的传感器读数之间的基本关系。接着，他们引入了配对数据。人类佩戴该装置执行任务，例如拿起 AirPods 充电盒或拧入一颗螺丝。随后，机器人利用初始映射关系重放该动作。至关重要的是，系统会将人类尝试时的传感器读数与机器人尝试时的传感器读数进行对比。如果机器人的手指运动与人类不同，系统就会利用这种差异来调整映射关系。这使得机器人能够学会如何处理手指压向真实物体时产生的额外摩擦力和阻力，而这正是以往方法经常失败的地方。

团队在五个具有挑战性的任务上测试了这种方法，这些任务需要精确的接触和时机。这些任务包括将螺丝拧入木板、将 AirPods 放入充电盒、将球投进篮筐、用布擦拭桌面以及喷洒空气清新剂。在这些测试中，研究人员将这种新方法与传统的遥操作（即人类实时控制机器人）以及不使用配对微调步骤的方法进行了对比。结果显示，SEED-UMI 方法非常有效。通过这种方法训练的机器人，在所有任务中的成功率达到了 70.0%。这一表现几乎与通过直接遥操作收集数据训练出的机器人（成功率为 71.7%）持平，但在速度上具有显著优势。

最令人震惊的发现是数据采集的效率。因为人类操作员不需要实时控制机器人，所以他们可以自然且快速地完成任务。研究人员发现，使用 SEED-UMI 收集数据的速度比传统遥操作快三倍。在 30 分钟的时间窗口内，一名操作员使用新系统收集了 52 次成功的演示，而使用旧方法仅能收集 18 次。这种速度的提升并未以牺牲质量为代价。经过这种更快的数据训练后的机器人，能够处理需要精确时机的任务（如投球）或需要稳定压力的任务（如擦桌子），其表现与使用较慢的实时数据训练的机器人一样出色。该系统在机器人必须应对物体物理阻力的场景中表现尤为强劲，而这正是以往开环方法经常遇到困难的场景。

这项工作的成功表明，教学机器人掌握灵巧技能的瓶颈可能不在于更好的算法，而在于人类与机器之间的交互界面。通过让人类和机器人共享同一个物理测量工具，研究人员消除了对复杂软件转换动作的需求。机器人直接从共享的体验中学习，观察着与人类相同的世界，并感受着相同的机械约束。虽然该系统目前仍需要为每种特定的机器人手定制外骨骼，但研究结果指明了一条充满希望的路径。它提供了一种无需实时控制的延迟或误差，即可收集大量高质量、高接触感数据的方法，有望加速开发出能够真正掌握人类手部精细触觉技能的机器人。

技术摘要：SEED-UMI

问题陈述

灵巧手操控仍然是机器人学习中的一个显著瓶颈，这主要是由于难以收集能够从人类可靠转移到机器人的高质量、富含接触（contact-rich）的演示数据。现有方法面临着固有的权衡：

基于视觉的追踪允许不受约束的运动，但在接触过程中容易受到遮挡和抖动的影响。
基于手套的系统（惯性/柔性传感器）提供了可靠的运动数据，但会引入皮肤运动伪影，并且需要在人类与机器人关节之间进行复杂且往往不准确的对应关系映射。
基于外骨骼的系统提供了一致的机械测量，但通常由于硬件笨重而牺牲了操作者的舒适度和吞吐量。

至关重要的是，当前的工作流将人类演示与机器人执行视为两个独立的领域，并通过开环重定向（retargeting）模型进行连接。这些模型通常在自由空间中进行校准，在处理富含接触的交互时（由于摩擦、外部负载和关节耦合效应的影响）性能会显著下降。此外，人类与机器人观察之间的视觉差异通常需要生成式图像翻译或分割，这可能会掩盖关键的接触像素。

方法论：SEED-UMI

作者提出了 SEED-UMI（通过共享外骨骼实现人机一对一灵巧演示），该框架建立在共享物理测量的概念之上。SEED-UMI 不再学习不同人类与机器人具身形态之间的映射，而是利用一个由人类操作者和目标机器人手共同使用的、运动学同构的单一外骨骼。

1. 硬件：共享外骨骼

其核心创新在于设计了一个与特定全驱动灵巧手（Wuji hand）协同工程设计的定制外骨骼。

运动学同构性： 外骨骼的连杆长度、关节轴和运动范围限制在机械上与机器人的运动树完全一致。这确保了严格的 1:1 关节对应关系（20 个自由度）以及在人类侧和机器人侧完全相同的接触几何结构。
机构设计： 为了避免遮挡掌心接触面并适应侧向间隙包络，该设计采用了平行四杆机构。这种设计将旋转从关节轴引导至背部安装的无接触式磁编码器，从而保留了精细操作所需的无遮挡接触表面。
传感器集成： 外骨骼框架刚性安装了以下设备：
- 每个关节处的无接触式磁旋转编码器（提供共享编码器向量 $e_t \in \mathbb{R}^{20}$ ）。
- 用于 6 自由度腕部追踪的背部 Intel RealSense T265。
- 用于工作空间观察的腹部鱼眼摄像头（150° 视场角）。
  由于传感器安装在外骨骼上，无论是由人类还是机器人佩戴该设备，摄像头相对于编码器坐标系的内参和外参都保持一致。

2. 软件：两阶段跨具身映射

该框架将数据采集与实时遥操作解耦，利用一个两阶段过程来学习编码器到指令的映射 ( $e_t \to q_t$ )：

阶段 1：电机漫游（自由空间）： 机器人佩戴外骨骼并执行结构化探索（单关节扫掠、耦合运动）。这训练了一个从编码器读数到机器人关节指令的初始映射 $f_{\theta_0}$ 。虽然这捕捉了基础运动学，但在接触负载下容易产生漂移。
阶段 2：配对回放与微调：
1. 人类操作者佩戴外骨骼进行演示，记录富含接触的编码器轨迹 $\{e^{(h)}_t\}$ 。
2. 使用初始映射 $f_{\theta_0}$ 将这些轨迹在机器人上进行回放。
3. 系统记录由此产生的机器人侧编码器响应 $\{e^{(r)}_t\}$ 和关节指令 $\{q^{(r)}_t\}$ 。
4. 形成一个配对数据集，其中人类侧编码器轨迹与机器人侧编码器响应之间的差异作为监督信号。
5. 通过最小化一个损失函数来微调映射，该函数旨在使预测的机器人侧编码器与人类轨迹对齐，同时将指令正则化向配对回放靠拢，并惩罚时间跳变。这无需手动重新调优或仿真，即可修正受接触影响的效应（如摩擦、顺应性）。

3. 策略学习

策略直接基于原始的、以外骨骼为中心的腕部图像和共享编码器向量进行训练。由于视觉观测（安装在共享外骨骼上的摄像头）和物理接口在人类数据采集和机器人展开期间是完全相同的，因此该框架消除了对以下内容的需要：

手部分割。
生成式图像翻译（图像修复）。
仿真或强化学习 (RL)。
作者使用标准的架构（如 ACT、Diffusion Policy 和 $\pi0.5$ ），将原始观测和编码器输入作为输入来预测动作块（action chunks）。

核心贡献

共享物理测量接口： 一种新型硬件设计，通过同一个外骨骼被人类和机器人共同使用，将重定向转变为一个配对的跨具身监督问题，而非开环映射。
富含接触的数据采集： 该系统能够收集可直接转移到机器人的自然、富含接触的演示，避免了开环映射在负载下的性能退化。
3 高效的学习流水线： 通过移除对生成式视觉对齐和仿真的需求，该框架允许使用标准增强手段在原始数据上训练策略，显著简化了学习流程。
配对微调： 一种利用配对的人类-机器人编码器轨迹来优化编码器到指令映射的数据驱动方法，有效地在无需人工干预的情况下修正了接触动力学。

实验结果

该框架在五个富含接触的灵巧操作任务上进行了评估：拧螺丝、AirPods 盒插入、投篮、桌面清洁和空气清新剂喷洒。

成功率：
- 带有配对微调的 SEED-UMI ( $P+$ )： 在所有任务中实现了 70.0% 的平均成功率。
- 遥操作基准 ( $T$ )： 实现了 71.7%。
- 不带微调的 SEED-UMI ( $P-$ )： 实现了 57.3%。
  值得注意的是， $P+$ 在高度精确和动态的任务中表现优于遥操作，例如 AirPods 盒插入（73.3% vs. 65.0%）和投篮（68.3% vs. 60.0%），在这些任务中，实时遥操作循环在延迟和时机控制方面表现挣扎。
数据采集效率：
- 与基于外骨骼的遥操作相比，SEED-UMI 展示了 3.0 倍 的数据采集吞吐量提升。
- 在 30 分钟的时间窗口内，操作者通过 SEED-UMI 收集了 52 次成功演示，而通过遥操作仅收集了 18 次。
- 每分钟有效训练数据的成功归一化增益保持在约 2.9 倍。

重要性与主张

论文认为，克服灵巧操作瓶颈的关键在于重新思考人类与机器人具身形态之间的接口，而不仅仅是改进重定向算法。通过将重定向和视觉运动策略学习转化为一种形式的配对跨具身监督，SEED-UMI 为大规模收集灵巧机器人数据提供了一条高效且可扩展的路径。

作者声称其方法：

将人类演示采集与实时机器人遥操作、仿真或强化学习解耦。
在确保向机器人忠实转移的同时，保留了人类自然接触交互的特性。
提供了一个极具前景的方向，用于以传统遥操作无法达到的规模收集现实世界的灵巧手数据，且不会牺牲数据质量。

该工作也承认了局限性，指出当前的系统需要针对不同的手部几何形状进行工程选择，且操作者的佩戴体验仍是长程任务中的一个因素。未来的工作方向包括实现跨手部设计的自动化以及改善佩戴体验。