💻 computer science

MoDex: A Diffusion Policy for Sequential Multi-Object Dexterous Grasping

ModEx 是一种两阶段扩散策略，它通过使用一个为未来任务预留自由度的对立空间条件，使灵巧手能够在不释放已持有物体的情况下顺序抓取多个物体，从而在模拟和真实世界实验中均实现了比现有基准更高的成功率。

原作者： Haofei Lu, Hongjia Liu, Yifei Dong, Florian T. Pokorny, Jens Lundell, Danica Kragic

发布于 2026-06-05

📖 1 分钟阅读☕ 轻松阅读

原作者： Haofei Lu, Hongjia Liu, Yifei Dong, Florian T. Pokorny, Jens Lundell, Danica Kragic

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，一个机器人手就像一位技艺高超的杂耍表演者。通常情况下，当机器人尝试抓取物体时，它们会使用整个手掌——每一根手指都去抓同一个东西。这就像是用一整支搬运工团队来搬运一个咖啡杯。一旦拿到了这个杯子，它们就必须放下或松开它，才能去捡下一个。它们对一个物体“全力以赴”，导致没有多余的手指可以做其他事情。

MoDex 是一个改变游戏规则的新型机器人大脑。它不再是用所有的手指去抓取一个物体，而是学会了成为一名战略性节省者。它只用几根手指（比如仅用大拇指和食指）来拿起一个物体，从而留下其他手指保持空闲并准备就绪。然后，在不松开第一个物品的情况下，它会伸出手，用另一组手指抓住第二个物体，接着是第三个。这就像一个杂耍者接住一个球，用一只手拿着它，同时用另一只手接住第二个球，然后用脚接住第三个，且在此过程中始终没有掉落前两个球。

以下是论文如何通过简单的概念来解释这一奇迹的：

1. “对立空间”（The Opposition Space，规则手册)

MoDex 的秘诀在于作者称之为对立空间 (OS) 的东西。你可以把它理解为每一次抓取的“规则手册”。

在机器人尝试拿起一个物体之前，一条“规则”会告诉它：“对于这个特定的物体，只使用你的大拇指和中指。留下无名指和小指保持空闲。”
这确保了机器人不会意外地使用了它在未来抓取下一个物体时需要的指头。这就像一位厨师只针对特定的菜肴使用特定的刀具，把其他的刀留给后续的课程。

2. “记忆”（Grasp History，抓取历史)

机器人还拥有一个被称为抓取历史 (Grasp History) 的短期记忆。

如果机器人正在拿起第二个物体，它会记得：“我正用大拇指和食指拿着一个球。”
这种记忆防止了机器人再次尝试使用这些相同的指头。它迫使机器人寻找一种新的方式，利用那些目前处于“非值班”状态的指头来抓取下一个物品。

3. “训练营”（两步学习法)

机器人并不是一夜之间学会这项技能的。论文描述了一个两步走的训练过程，类似于人类运动员的训练方式：

第一步：模仿学习（观察专家）： 首先，机器人在计算机模拟中观看了几千段类似人类专家的演示视频。它学习模仿这些动作，就像学生临摹老师的手写体一样。这给了它一个良好的起点。
第二步：强化学习（试错法）： 然后，机器人被放入了一个“健身房”，让它自主练习。它拥有一个奖励机制：
- 好：拿起一个新物体，并且保持旧有的物体不掉落。
- 坏：掉落物体、撞击桌面或移动了不该移动的指头。
- 这一步对机器人进行了精细调整，使其比仅仅模仿视频更加可靠。

4. 结果：模拟 vs. 现实

研究人员在两个地方测试了 MoDex：

在计算机中（模拟）： 他们使用了一个虚拟机器人手臂（Franka Panda）和一个灵巧手（Allegro Hand）。他们要求它连续拿起三个物体。MoDex 的表现远优于其他方法，平均成功率约为 56%，而其他方法随着物体数量的增加，表现挣扎甚至完全失败。
在现实世界中： 他们将同样的算法应用到实验室里的真实机器人上。尽管机器人之前从未见过真实的物体（它只在模拟中见过），但它仍然奏效了！它成功抓取了现实世界的物品，尽管表现比在计算机中稍逊一筹（在最难的任务中，成功率从 ~56% 下降到 ~35%）。这证明了“从模拟到现实 (sim-to-real)”的迁移是有效的。

MoDex 目前还做不到的事（局限性）

论文诚实地说明了机器人目前还无法做到的事情：

没有“手中变换”的魔力： 人类可以用两根手指拿起一支笔，然后将其转移到更舒适的握法而不松手。MoDex 做不到这一点。一旦它用特定的手指抓住了物体，它就会一直保持这种握法直到结束。
没有战略规划能力： 机器人不会决定使用哪些手指或先抓取哪个物体。人类负责决策；机器人只是遵循给予它的指令。

大局观

论文总结道，目前的机器人正在“低效利用”它们那些精巧的多指手。通过教它们一次只使用几根手指，并将剩余的手指留给以后使用，我们可以让它们在处理多个物体而不掉落方面变得更加出色。MoDex 是第一个证明这种“序列化节省”策略行之有效的系统，它将笨拙的机器人手变成了一个细心的、能同时处理多项任务的杂耍者。

技术摘要：MoDex —— 一种用于序列化多目标灵巧抓取的扩散策略

问题定义

目前的灵巧抓取方法通常会将灵巧手的全部可用自由度（DoFs）都分配给单个物体。虽然这能最大化特定抓取的稳定性，但却低估了灵巧手的灵活性，并为后续抓取留下的冗余不足。此外，现有的多目标抓取方法通常依赖于已知的物体模型、解耦的抓取生成与执行过程，或固定的物体位姿，这限制了它们在动态现实场景中的适用性。

本研究解决了序列化多目标抓取的挑战：即在抓取第 $i$ 个目标物体的同时，能够安全地持有之前已抓取的全部 $i-1$ 个物体，且不释放它们。本研究中使用的 Allegro Hand 的运动学约束将可抓取物体的最大数量限制为三个（ $I \le 3$ ）。核心难点在于学习一种控制策略，该策略能够将部分观测映射到动作，并动态管理哪些手指（DoFs）用于当前物体，以及哪些手指被预留给未来的物体。

方法论：MoDex

MoDex 是一种扩散策略 (Diffusion Policy, DP)，旨在直接根据观测预测下一个夹持器位姿。它在一个两阶段训练框架内运行：模仿学习 (IL) 预训练以及随后的强化学习 (RL) 微调。

1. 策略架构与条件化

MoDex 遵循编码器-去噪器架构（具体为 1D 卷积 U-Net），处理跨预测时界的动作块（action chunks）。该策略受三个关键输入的调节：

部分点云 ( $P_t$ )： 环境的原始感知。
对向空间 (Opposition Space, OS) 向量 ( $f_i$ )： 一个二进制指示向量，指定哪些手指参与当前的抓取。这明确限制了当前抓取的活跃自由度，从而为后续抓取保留剩余的自由度。
抓取历史上下文 ( $h_{i-1}$ )： 一个拼接了所有先前抓取 OS 向量的向量。这告知策略哪些手指已被占用，防止重复使用已处于活跃状态的自由度进行新的抓取。

OS 和历史信息在每个去噪步骤中都会与噪声动作块进行拼接，使策略能够对运动学冗余和手指分配进行推理。

2. 训练流水线

第一阶段：模仿学习（预训练）： MoDex 在由仿真环境 (Robosuite) 生成的专家序列抓取轨迹数据集上进行预训练。通过启发式位姿生成器和操作空间控制器 (OSC) 生成这些演示数据。策略使用行为克隆目标进行训练，以实现动作块的去噪。
第二阶段：强化学习微调： 为了提高鲁棒性并处理分布外状态，使用 扩散策略优化 (Diffusion Policy Policy Optimization, DPPO) 对预训练策略进行微调。该方法将去噪过程视为一个嵌套的马尔可夫决策过程 (MDP)。
- 奖励函数： 使用密集的、针对特定任务的奖励 ( $r_{base}$ $r_{ba se}$ )，包括：
  - $r_{succ}$ ：成功提起目标物体且同时持有所有先前物体时，给予一个较大的常数奖励。
  - $r_{grasp}$ ：鼓励活跃手指接触目标物体。
  - $r_{maintain}$ ：奖励保持先前抓取的物体稳固且静止。
  - $r_{avoid}$ ：惩罚与桌面发生碰撞或闲置手指产生不必要的接触。
  - $r_{ina}$ ：设置惩罚以防止闲置手指出现抖动或漂移，这对于维持后续抓取的稳定性至关重要。

核心贡献

MoDex： 首个用于序列化多目标抓取的扩散策略，它能直接将原始观测映射到抓取动作，同时保留运动学冗余。
条件化机制： 引入了对向空间 (OS) 和抓取历史上下文作为显式条件信号，使单一策略能够管理复杂的、多阶段的抓取任务，而无需释放已持有的物体。
数据采集算法： 一种用于收集阶段索引专家轨迹的新颖算法，该算法系统地将物体与有效的 OS 配置配对，确保了训练数据的多样性和有效性。
全面评估： 在仿真和真实硬件中，针对代表性的模仿学习 (BC-RNN, MoDex-BC) 和强化学习 (PPO, SeqDiffuser) 基准模型，对 MoDex 进行了广泛的基准测试。

实验结果

作者在配备 Franka Emika Panda 机械臂和 Allegro Hand 的设备上，针对 15 种不同几何形状（球体、圆柱体、长方体）的物体对 MoDex 进行了评估。

仿真性能： MoDex 在所有抓取阶段（1、2 和 3）均取得了最高的成功率。
- 阶段 1： 75.00%（对比 MoDex-BC 为 57.08%）。
- 阶段 2： 49.58%（对比 MoDex-BC 为 50.00%，但显著优于 PPO 等基准模型，后者仅达到 0%）。
- 阶段 3： 45.00%（对比 MoDex-BC 为 42.08%）。
- 整体提升： MoDex 在仿真中比表现最好的基于学习的方法提升了 2.92–17.92%。
真实世界迁移： MoDex 被部署在真实硬件上，并实现了对未见物体的零样本迁移。
- 它实现了 57.78%（阶段 1）、26.67%（阶段 2）和 20.00%（阶段 3）的成功率。
- 这代表了相比于 MoDex-BC 基准模型（仅经过预训练，未进行 RL 微调）提升了 6.67–17.78%，证明了 DPPO 微调在弥合仿真与现实差距方面的关键作用。
消融实验： 移除 OS 条件或抓取历史上下文会导致阶段 2 和阶段 3 的性能大幅下降，证实了显式手指分配信号对于序列化抓取是必不可少的。同样，移除 DPPO 微调会导致成功率降低，尤其是在真实世界中。

意义与局限性

论文指出，目前的算法由于未能管理自由度在序列任务中的分配，可能无法充分利用灵巧手的潜力。MoDex 证明了通过以对向空间和抓取历史为条件的单一扩散策略，可以有效地解决这一问题，其表现优于依赖解耦规划或从头开始的标准强化学习的方法。

局限性：
作者承认 MoDex 在以下两个特定领域尚未达到人类水平的灵巧度：

手内重新抓取 (In-hand Regrasping)： 策略为每个物体分配单一的对向空间，无法进行手内操作（例如，将物体从捏握转换为抓握）。
任务规划： MoDex 假设 OS 分配和物体抓取顺序是作为输入提供的；它不会自主推理出最优的 OS 或抓取顺序。

研究结论认为，虽然 MoDex 成功解决了序列化抓取问题，但未来的工作应侧重于整合手内操作和自主任务规划。