💻 computer science

DexFormer: Cross-Embodied Dexterous Manipulation via History-Conditioned Transformer

DexFormer 是一种端到端的、以历史为条件的 Transformer 策略，它通过从时序上下文中推断形态学和动力学特性，使单个模型能够泛化至多种不同的灵巧手具身形态，从而在无需为每个机器人进行单独训练的情况下实现强大的零样本迁移。

原作者： Ke Zhang, Lixin Xu, Chengyi Song, Junzhe Xu, Xiaoyi Lin, Zeyu Jiang, Renjing Xu

发布于 2026-02-10

📖 1 分钟阅读☕ 轻松阅读

原作者： Ke Zhang, Lixin Xu, Chengyi Song, Junzhe Xu, Xiaoyi Lin, Zeyu Jiang, Renjing Xu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在试图教一只机械手抓取一个杯子。现在，想象你有三种不同的机械手：一只看起来像人类的手，一只看起来像蜘蛛，还有一只看起来像机械爪。

在过去，如果你想让机器人使用这三种手，你必须分别进行教学。你得坐在“人类手”面前，教它如何移动，然后重新开始学习“蜘蛛手”，接着又是“机械爪”。这就像是为三个不同的学生雇佣了三个不同的导师，尽管他们学习的是同一个课题：“抓取杯子”。

DexFormer 是一种改变了这一现状的新方法。它就像雇佣了一位超级聪明的导师，这位导师只需通过听取学生动作时的反馈，就能瞬间判断出自己正在和哪位学生对话，并同时教导他们所有人。

以下是它的工作原理，通过简单的概念进行拆断解析：

1. 问题所在：“一刀切”行不通

机械手有各种各样的形状和尺寸。有的有3个手指，有的有5个，有的有12个关节，有的则有20个。它们的移动方式不同，重量不同，对触觉的反应也各不相同。

旧方法： 如果你为一只5指手构建了一个机器人控制器，它在3指手上会表现得一团糟。你必须为每一只手重新构建“大脑”。
障碍： 这使得机器人的成本高昂且难以适应。如果一家工厂购买了一种新型号的手，他们必须从头开始训练。

2. 解决方案：具有“历史感知能力”的大脑

研究人员构建了一个名为 DexFormer 的系统。你可以把它想象成一个机器人大脑，它不仅观察“当前”时刻（比如“我看到了一个杯子”），还会观察“过去几秒钟”发生的事情（比如“我把拇指向左移了，然后向右移，接着感觉到了一个凸起”）。

类比： 想象你走进一个房间，看到一个陌生人。你不知道他是谁。但如果你观察他走路五秒钟，你可能会注意到他走路一瘸一浴，或者步幅很大，或者提着一个重物。你只需通过观察他的“运动历史”，就能推测出他的身体特征。
DexFormer 的做法： 它观察机械手最近的运动，并在不被告知手部类型的情况下，“感知”到手的形状和重量。它能够即时推断出“形态学”（即形状和物理特性）。

3. 训练过程：“随机化的健身房”

为了让这个大脑变得如此聪明，研究人员并没有仅仅针对三种特定的手进行训练。他们创建了一个大规模的、程序化生成的“健身房”。

他们采用了标准的机械手，并对其进行了随机微调：让手指变长、变重或变轻，或者改变关节的硬度。
他们同时在 300 种不同版本 的机械手上训练这个 AI。
结果： AI 学习到了一条“通用规则”来抓取物体。它没有死记硬背特定的手型，而是学会了如何适应遇到的任何形状。

4. “零样本（Zero-Shot）”魔力

最令人印象深刻的部分是，当他们在从未见过的机械手上测试该机器人时会发生什么。

他们将训练好的 AI 交给了 Leap Hand、Allegro Hand 和 Rapid Hand。这些都是 AI 未经明确训练过的特定型号。
结果： AI 立即生效了。它不需要重新调优或重新编程。它观察了一下新手的动作，通过片刻的观察弄清了其物理特性，然后便开始成功地抓取物体。这被称为“零样本迁移（zero-shot transfer）”。

5. 现实世界测试

他们并没有仅仅停留在计算机模拟中。他们将该系统安装在一个带有真实 Leap Hand 的真实机械臂上。

他们使用摄像头来观察手部和物体（就像在模拟器中一样）。
机器人成功地举起了一个立方体，并将其移动到了目标位置。
这证明了在计算机世界中学到的“大脑”确实可以在复杂的现实世界中发挥作用。

总结

DexFormer 就像是机械手的万能遥控器。你不再需要为每台电视（机械手）配备一个不同的遥控器，而是拥有一个可以通过观察按键动作来学习电视设置的通用遥控器。它允许单个机器人大脑控制多种不同类型的机械手，使机器人更加灵活、更易于构建且更易于升级。

该论文并未声称：

它并未声称适用于现存的所有可能的机械手（仅限于测试过的及类似的变体）。
它并未声称机器人可以执行复杂任务，如手术或烹饪；它目前专注于抓取和移动物体。
它并未声称解决了机器人理解物体“是什么”（例如知道杯子是用来喝水的）的问题；它解决的是如何忽略手部形状差异而实现抓取的问题。

技术摘要：DexFormer

问题陈述

由于需要在复杂且富含接触的动力学环境下，对高自由度（DoF）手部和机械臂进行连贯控制，灵巧操纵仍然是机器人领域的一个重大挑战。实现可扩展性的一个主要障碍是具身多样性（embodiment variability）：不同的灵巧手具有独特的运动学、惯性、执行器响应和接触动力学。因此，现有方法通常需要为每种手训练单独的策略，或者依赖于带有特定具身解码器头的共享动作空间。这种特殊性使得学习和从仿真到现实（sim-to-real）的迁移变得脆弱，经常需要针对每个新平台进行重复的系统辨识（SysID）、调优或额外的现实世界数据采集。此外，现有的弥合仿真与现实差距的方法——如系统辨识、领域随机化或残差建模——要么缺乏在测试时补偿特定具身动力学的显式机制，要么依赖于收集特定具身的现实世界数据，无法实现真正的零样本跨具身迁移。

方法论

作者提出了 DexFormer，一种基于改进 Transformer 骨干网络的端到端、动力学感知的跨具身策略。其核心创新在于一种**基于历史记录的调节（history-conditioned）**方法，该方法允许策略通过时间上下文隐式地推断形态和动力学，而不是依赖于显式的具身标识符或独立的解码器头。

关键技术组件：

共享动作空间： 作者定义了一个规范的、与形态无关的动作空间（ $D_F$ 维）。具有相同功能角色（例如，拇指外展、食指屈曲）的关节被映射到不同具身中的固定索引。低自由度的手利用零填充（zero-padding）处理未使用的维度，而高自由度的手则占用更多索引。这使得单个策略能够输出异构手的动作。
具身生成： 为了构建形态无关的策略，作者构建了一个广泛的灵巧手具身分布。他们从规范手（Allegro、LEAP、RAPID）开始，在保持运动学图拓扑结构和驱动结构不变的前提下，程序化地随机化形态相关的物理参数（连杆长度、质量、惯性）。这创建了一个“形态丰富的”训练集（ $E_{train}$ ）。
基于历史记录的 Transformer： 策略基于有限的历史观测-动作对窗口（ $H$ $H$ ）进行调节。
- 输入： 历史记录被标记化（tokenized），并通过带有因果自注意力掩码（causal self-attention masks）的 Transformer 编码器进行处理，以防止未来信息泄露。
- 推理： 最终的嵌入作为历史记录的紧凑摘要，用于隐式推断当前手的潜在形态和动力学。该嵌入通过一个 MLP 动作头，以产生控制分布。
- 观测空间： 包括物体位姿/四元数、目标位姿、前序动作、关节位置/速度、指尖/手掌状态、接触力以及物体点云。
训练框架： 作者利用分布式训练框架（Isaac Lab），将同一规范手的随机变体分配到单个 GPU 上，而将不同的规范类型分配到不同的 GPU 上。通过带有 all-reduce 梯度同步的分布式数据并行（DDP），确保在这一多样化的形态分布上训练单个共享策略。

核心贡献

DexFormer 架构： 引入了一种基于历史记录调节的 Transformer 策略，该策略在规模化的灵巧手具身上进行训练，通过隐式形态推断实现自适应控制，无需显式的具身编码。
可扩展训练流水线： 开发了一个大规模形态随机化流水线和专门为跨具身灵巧手训练设计的分布式训练框架。
零样本泛化： 证明了单个形态无关的策略可以泛化到未见的灵巧具身以及多种现实世界的手部（Leap、Allegro、Rapid），且无需手动重定向、显式形态编码或独立的策略头。

实验结果

作者通过广泛的仿真和现实世界实验评估了 DexFormer：

基线对比： 在 LEAP、Allegro 和 RAPID 手部的抓取成功率方面，DexFormer 一致优于基于 LSTM 和 GRU 的基线模型。例如，在规范的 LEAP 手部上，Dexformer 实现了 83.25% 的成功率，而 LSTM 为 66.81%，GRU 为 58.91%。
零样本迁移： 该策略展示了对每种规范手中 32 个未见变体的强零样本泛化能力，同时也对训练过程中被留出的规范手本身具有泛化能力。
消融研究：
- 时间上下文： 使用 5 步历史记录比使用 1 步历史记录性能显著提高，特别是在 Allegro 和 LEAP 手部上。
- 形态多样性： 增加不同训练具身的数量（从每种规范手的 25 个增加到 100 个）显著提升了零样本性能，证实了暴露于异构性可以增强泛化能力。
- 并行性： 扩展每个 GPU 的并行环境数量通常会提高性能，但在 RAPID 手部上观察到了一些不稳定性，这归因于形态统计的不平衡。
- 鲁棒性： 策略对关节锁定表现出韧性，其性能下降程度随解剖学上重要关节的锁定情况而平滑变化。
现实世界部署： 该策略成功部署在带有 LEAP 手的真实 Franka 机械臂上。通过使用 2000 个专家演示回合的离线蒸馏，该系统实现了从仿真到现实的零样本迁移，成功将物体提升至目标位置。

重要性与主张

本文声称 DexFormer 建立了可扩展的跨具身灵巧操纵基础。通过利用时间上下文来隐式推断物理结构，该方法消除了对特定具身调优或显式运动学建模的需求。结果表明，动力学感知的时间推理是实现跨具身泛化的有效机制。作者认为，这项工作架起了大规模强化学习（RL）训练与基于历史记录的模型之间的桥梁，为适用于各种机器人具身和部署场景的统一操纵策略提供了路径。

作者对局限性保持了谦逊的态度，指出目前的训练受限于特定的物体几何形状，且高自由度具身（如 RAPID）在零样本设置下仍表现出适度的性能下降。他们指出了未来在基础模型风格、多专家蒸馏以及针对混合运动学拓扑结构的改进梯度聚合策略方面的研究方向。