💻 computer science

Decompose and Reorganize: Planning with Primitives and Visuomotor Policies Learned from Demonstrations

该论文提出了 DR-LfD，这是一个通过将演示分解为原子技能，从而将视觉运动策略与任务和运动规划（TAMP）相结合的框架，进而实现了鲁棒且数据高效的长程机器人操控，克服了传统规划的脆弱性以及纯模仿学习的泛化限制。

原作者： Yizhou Chen, Hang Xu, Dongjie Yu, Yupu Lu, Tengye Xu, Zeqing Zhang, Wei Zhang, Yi Ren, Ben M. Chen, Jia Pan

发布于 2026-07-29

📖 1 分钟阅读☕ 轻松阅读

原作者： Yizhou Chen, Hang Xu, Dongjie Yu, Yupu Lu, Tengye Xu, Zeqing Zhang, Wei Zhang, Yi Ren, Ben M. Chen, Jia Pan

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，试图教一个机器人完成一个复杂的魔术技巧，比如一边走钢丝一边玩杂耍。长期以来，科学家们一直尝试用两种主要方式来教机器人。第一种方式就像是给机器人一份由人类编写的严格、循序渐进的食谱。这种方式非常适合逻辑处理，但如果机器人掉落了一把勺子，或者桌子稍微移动了一下，食谱就会失效，导致机器人陷入僵局。第二种方式则像是向机器人展示一段人类表演该技巧的视频，并寄希望于机器人通过观察来学习。这种方式非常擅长模仿动作，但如果机器人看到的勺子位置与视频中的位置稍有偏差，它就会感到困惑并失败。机器人学的核心问题在于：我们如何兼顾两者的优点？如何让机器人既足够聪明能够提前规划，又足够灵活能够应对现实世界的混乱，而不需要为了学习每一种可能性而去观看数百万个视频？

这篇论文介绍了一种名为 DR-LfD（从演示中分解并重组技能）的新系统，试图解决这个难题。可以将它想象成一位大师级厨师，他不仅仅是死记硬背一道七道菜大餐的完整食谱，而是将这顿饭分解成一个个微小且完美的“技能”，比如切洋葱、煎牛排或搅拌鸡蛋。厨师会多次练习这些细小的技能，直到它们变得完美无缺。那么，当顾客订购了一道新的、奇怪的菜肴时，厨师并不会惊慌失措。他只需查看订单，从自己的脑海清单中挑选出预先练习过的正确技能，然后按照新的顺序重新排列它们，即可烹饪出新菜。

论文指出，通过将漫长且复杂的任务分解为这些细小、可重用的“技能”，机器人可以学得更快，并能更好地应对新情况。机器人不需要学习一个包含 20 个步骤的任务的所有可能组合（那将耗费极长时间），它只需要将这 20 个独立的步骤各学习一次。然后，一个聪明的“规划器”（即厨师的大脑）会负责思考如何将这些步骤组合起来以完成任何新工作。

以下是 DR-Lfd 的工作原理，我们用机器人学习复杂电子游戏的类比来进行说明：

1. 将游戏分解为关卡（分解）
当人类向机器人展示如何完成一项任务（例如打包螺丝刀或递给朋友一个杯子）时，系统并不会仅仅将整个过程记录为一段长视频。它使用一种特殊的“接触检测器”来观察机器人的手何时接触或离开物体。它根据这些接触点将视频切割成一个个微小的片段。

“简单动作”： 对于简单的部分，如拿起杯子或放下杯子，机器人会学习一种“原语”（primitive）。这就像是一种预设的肌肉记忆，知道无论物体在桌子的什么位置，都要如何移动手臂去抓取物体。
“困难动作”： 对于复杂的环节，如擦拭杯子或在双手之间传递物体，机器人会学习一种“视觉运动策略”（visuomotor policy）。这就像是一种反射动作，通过观察摄像头并实时调整双手，以保持物体的稳定。
“过渡动作”： 对于在空旷空间中移动的部分，机器人则直接使用标准的数学方法来规划路径。

2. 智能规划器（重组）
一旦机器人拥有了这样一个“工具箱”，它并不会盲目地按顺序执行。它使用了一个任务与运动规划器（TAMP）。你可以把这个规划器想象成机器人大脑中的 GPS。

如果机器人需要把杯子递给一个人，规划器会检查：“杯子是否可触及？人的手是否在正确的位置？是否有椅子挡住了路？”
如果杯子太远，规划器不会只说“失败”，它会说：“好吧，先移动椅子，然后拿起杯子，最后再递过去。”
如果机器人尝试抓取杯子却因为杯子移动而没抓稳，规划器会察觉到这一点，停止当前动作，并重新计算一条新路径。这就像 GPS 在遇到交通拥堵时为你重新规划路线一样。

3. 系统测试
作者在计算机模拟和真实机器人（使用名为 ALOHA 的双臂机器人）上测试了该系统。他们只给了机器人少量的训练数据——每个技能仅 20 次演示。

结果： 当他们在物体处于从未见过的奇特位置进行测试时，传统方法（如单纯观看视频）经常失败，但 DR-LfD 却能保持成功。例如，在“插孔”任务中，当孔的位置发生移动时，其他方法大约有一半时间会失败，而 DR-LfD 在标准测试中成功率为 100%，在难度极大的随机测试中也达到了 88%。
处理障碍物： 在一次测试中，他们放置了一根杆子挡住了机器人的手臂。机器人意识到无法直接到达目标，于是规划器指示它先移动杆子，然后再伸手拿目标。它成功清除了障碍并完成了任务。
长任务： 他们甚至让机器人完成长期的多步骤任务，比如将三种不同的胶带依次递入篮子，或者在擦拭杯子的同时打包螺丝刀。在这些特定实验中，机器人成功地将 19 到 21 个步骤串联了起来，而这类任务通常会导致机器人产生混乱并失败。不过，论文也提到，这种成功是在规划器的计算极限范围内，并且是针对特定任务的。

论文中提到的局限性（目前还做不到的事）
作者谨慎地指出，这并非魔法。系统仍然需要人类来指定目标或提供偏好；在没有这些输入的情况下，它无法自主“弄明白需要做什么”。此外，由于机器人依赖 3D 深度摄像头来观察物体，如果摄像头脏了或者光照条件不好，机器人可能会产生困惑。论文还提到，如果任务变得过于复杂，涉及过多的物体，规划部分所需的思考时间就会变长，就像人类面对太多选择时会感到不知所措一样。

总结
论文表明，通过教机器人学习细小且可重用的技能，并使用智能规划器进行组合，我们可以构建出更加灵活且对训练数据需求量更小的机器人。这是迈向未来的一步：机器人可以走进一个凌乱的房间，在人类告知目标后，自行搞清楚需要做什么，并高效完成任务，而无需为每一种可能的场景都去观看数百万个练习视频。

技术摘要：DR-LfD（基于演示的分解与重组技能学习）

1. 问题陈述

长程机器人操控需要既能进行高层推理（技能序列化），又能进行精细执行（接触密集型操作）的框架。现有方法面临着根本性的权衡：

任务与运动规划 (TAMP)： 擅长符号推理和约束满足，但通常依赖于人工设计的模型和精确的感知，这使得其在接触密集、非结构化环境中表现脆弱。
模仿学习 (IL)： 在复制复杂的视觉运动行为方面非常有效，但在空间泛化和处理多阶段转换方面表现不佳。端到端策略必须隐式地学习何时以及如何切换技能的组合逻辑，这需要指数级增长的数据集才能泛化到未见的设置或长序列中。

核心挑战在于长程任务的组合复杂性。从 $N$ 个可用原语中学习由 $M$ 个技能组成的序列，通常要求数据规模随 $M$ 指数级增长。此外，目前的混合系统在将学习到的策略集成时，往往难以定义鲁棒的技能切换准则并处理物理约束（可达性、碰撞）。

2. 方法论：DR-LfD 框架

DR-LfD 提出了一个系统化框架，将人类演示分解为原子技能，并通过 TAMP 门控决策系统对其进行重组。该框架分为两个阶段运行：离线技能获取与在线规划组合。

A. 技能分解与抽象

系统通过处理演示数据，基于接触关系提取原子技能：

VLM 辅助接地 (Grounding)： 使用视觉语言模型（VLM，具体为 Qwen-VL-Max）分析视频演示，以识别任务物体、其属性（如容器、表面）以及一系列离散技能。它将边缘操作（夹持器-物体或物体-物体交互）接地到特定的技能上。
接触感知分区： 通过检测接触状态的变化（例如，夹持器与物体之间的距离阈值）将演示分割为不同的阶段（启动、接触密集、终止）。
图表示： 每个技能被抽象为一个前置条件图 ( $G_{pre}$ ) 和一个效应图 ( $G_{eff}$ )。这些图利用场景图结构表示接触特征（例如，“夹持器持有物体”、“物体在桌面上”），从而抽象掉随机的中间行为。

B. 技能学习与分类

技能被分类并使用不同的表示进行学习，以最大化数据效率和泛化能力：

以物体为中心的原语（低复杂度）： 对于简单技能（如拾取、放置、丢弃），系统使用 SO(3) 等变扩散模型学习开环轨迹。该网络以点云和语言描述作为输入，预测末端执行器轨迹、手指关节角度和接触状态。等变性确保了对新物体放置位置的鲁棒空间泛化，而无需大规模数据增强。
视觉运动策略（接触密集型）： 对于复杂的接触密集型技能（如擦拭、交接），系统学习闭环视觉运动策略（例如，使用 Diffusion Policy）。至关重要的是，训练了一个关键位姿预测器 (KeyPose Predictor)（一种基于扩散的 MLP），用于预测启动和终止这些策略所需的初始和终止本体感受状态（关键位姿）。这确保了策略在分布内状态下启动。
规划轨迹： 不涉及接触的技能（如移动/过渡）由经典的运动规划器处理。

C. 与 TAMP 的集成（流函数）

学习到的技能被编码为与 PDDLStream 框架兼容的流函数 (Stream Functions)：

流函数： 它们作为条件生成器，将符号前置条件映射到连续变量（位姿、轨迹）或二进制安全检查。
自动模式构建： 一种算法自动将接触图 ( $G_{pre}, G_{eff}$ ) 和边缘操作转换为 PDDL 谓词，并将其与相应的流函数（如 LearnedAttach, LearnedUniKeyPose）相关联。
约束强制执行： 框架实现了针对物理约束的具体测试流：
- 可达性： 一个预计算图检查物体是否可以通过特定的手臂配置被触及。
- 策略安全性： 从演示轨迹中构建最小距离场 (MDF)，以定义“安全区域”。规划器在执行策略之前，会验证意外障碍物是否违反了这些安全约束。

D. 在线执行与自适应

在线阶段采用感知-规划-执行-验证循环：

全局骨架： 一个粗略的 TAMP 求解器根据当前状态和目标生成高层技能序列（骨架）。
局部重规划： 对于骨架中的每个技能，系统通过感知刷新状态，求解局部 TAMP 问题以生成详细动作（或策略的关键位姿），然后执行命令。
验证： 接触检测器监控执行过程。如果技能失败（例如，抓取失败）或状态发生漂移，系统会触发针对同一子目标的局部重规划，而不是导致整个任务失败。

3. 核心贡献

TAMP 门控分解： 一种新颖的系统，它从演示中抽象出原子技能，并通过 TAMP 进行重组以实现组合目标，将数据负担从指数级的序列长度转移到了不同技能类型的数量上。
等变原语： 使用等变扩散模型来学习以物体为中心的原语，从而实现从极少量数据（例如每种技能 20 次演示）中进行鲁棒的空间泛化。
兼容 TAMP 的策略建模： 一种系统化的方法，通过关键位姿预测器和 MDF 安全检查，将学习到的视觉运动策略的启动、终止及约束建模为与基于采样的 TAMP 兼容的形式。
全面的验证： 证明了该框架在模拟环境和真实世界双臂（ALOHA）硬件中，处理具有未见设置和物理约束的长程多步任务的能力。

4. 实验结果

作者在模拟和真实世界基准测试中评估了 DR-LfD，并将其与最先进的模仿学习 (IL) 方法（ACT, DP, $\pi_{0.5}$ ）以及 TAMP 基准进行了比较。

空间泛化 (OOD)： 在“孔中插杆 (Peg-in-Hole)”任务中，DR-LfD 在分布内 (ID) 达到了 100% 成功率，在高度分布外 (XYH-OOD) 设置下达到了 88%，显著优于基准方法（例如，DP 在 XYH-OOD 中仅为 12%）。
真实世界双臂任务： 在物体交接、螺丝刀包装和杯套插入等任务中，DR-LfD 一致优于 DP，并达到或超过了预训练的 $\pi_{0.5}$ 模型，特别是在 OOD 和“泄漏”（复杂位移）场景下。
约束处理： 在“不可达”和“不安全”场景中，DR-LfD 成功通过重规划来移动障碍物或重新定位物体以满足可达性和碰撞约束，分别实现了 55% 和 70% 的成功率，而基准方法则完全失败。
长程组合： 系统利用少量学习到的技能，成功组合成了包含 19-21 个步骤的计划（如“三胶带”和“杯子-海绵-螺丝刀”任务）。
数据效率： 在 DexMimicGen 数据集上，使用 100 次演示训练的 DR-LfD 优于使用 1,000 次演示训练的 Diffusion Policy，突显了这种分解方法的效率。

5. 意义与主张

论文声称 DR-LfD 通过将技能执行与技能序列化解耦，解决了端到端学习的根本局限。通过将学习到的技能视为模块化、兼容 TAMP 的组件，该框架：

降低了数据需求： 它通过隔离学习技能并进行重组，避免了对指数级数据集的需求。
增强了可靠性： 它将物理约束（可达性、碰撞）直接纳入规划循环，使系统能够从失败中恢复并处理未见的物体放置。
弥合差距： 它有效地将视觉运动策略的灵活性与符号规划的推理能力相结合，使其适用于真实世界环境下的复杂、接触密集型、长程操控任务。

作者承认 TAMP（随物体增加而产生的指数级复杂度）和等变学习（对深度感知的依赖）固有的局限性，并提出了未来在自动化目标规范和无深度依赖的等变学习方面的研究方向。然而，他们断言当前的框架为在非结构化环境中部署灵巧机器人提供了一条鲁棒且数据高效的路径。