💻 computer science

A Single Diffusion-Policy Controller for Multi-Task Block Pushing with Zero-Shot Sim-to-Real Transfer

本文提出了一种通过强化学习从头开始训练单一扩散策略的框架，该框架通过逆向课程生成和以目标为中心的表示进行增强，从而成功解决了稀疏奖励模拟中的多任务方块推移问题，并实现了向具有不同条件的真实世界环境的零样本迁移。

原作者： Haitong Ma, Haldun Balim, Yang Hu, Bo Dai, Na Li

发布于 2026-07-14

📖 1 分钟阅读☕ 轻松阅读

原作者： Haitong Ma, Haldun Balim, Yang Hu, Bo Dai, Na Li

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一个机械臂将一个方块推过桌面到一个特定的位置。现在，想象一下这个方块并不只是一个正方形；有时它是一个“T”形、“C”形、“L”形，甚至是某种你从未见过的奇怪的“I”形。桌面也可能是粘性的、滑溜的，或者介于两者之间。目标点也可能在一个全新的地方。

这篇论文是关于如何教机器人掌握这些混乱且多变的情景，而不需要人类每次都手把手地指导它具体该怎么做。

核心理念：一个大脑，多种形状

通常，当机器人学习执行任务时，它们使用一种叫做“行为克隆”（Behavior Cloning）的方法。这就像是一个学生在抄袭老师的作业。机器人观看成千上索专家推方块的视频，并试图模仿他们。但问题在于，如果你想让机器人处理每一种可能的形状和目标，你就需要为每一种组合都准备一个视频库。这显然是不可能的。

作者认为，这种“模仿”方法过于脆弱。如果你稍后想教机器人一个新任务，它往往会忘记如何做旧任务（这被称为“灾难性遗忘”问题）。

相反，这篇论文建议采用一种不同的方法：强化学习（RL）。想象一下机器人就像一个学走路的幼儿。它不看视频；它只是尝试、摔倒，当它接近目标时得到一点点“做得好”的奖励，然后再次尝试。论文表明，通过使用一种被称为**扩散策略（Diffusion Policy）**的特殊“大脑”，机器人可以仅通过试错法，从零开始解决许多不同的方块推送谜题。

秘诀：“重加权”的大脑

他们发现的核心在于一种训练这种扩散策略的新方法。在人工智能领域，一个“扩散策略”就像一位大师级的艺术家，他从满是静态噪声的画布开始，慢慢将其清理，直到出现一幅完美的画作。通常，这些艺术家是通过观察画廊里的完美画作（专家数据）来进行训练的。

作者发现了一种无需画廊即可训练这位艺术家的方法。他们创建了一个简单的规则：“如果一个动作看起来能让你获得高分，就让它更有可能发生。”他们通过根据动作表现出的优劣添加一个特殊的“权重”来实现这一点。这就像是给了机器人一个神奇的指南针，即使在黑暗中徘徊，它也能指向成功。

他们将其与传统的“高斯”（Gaussian）策略（类似于那些只猜测平均、稳妥动作的机器人）进行了对比。结果如何？

旧方法（高斯）： 在模拟中，标准算法（如 SAC、PPO 和 TD3）大多失败了。它们要么卡住了，要么放弃了。其中一种算法 SAC 设法完成了任务约 66.3% 的次数，但它耗时较长且表现不稳定。
新方法（ESM）： 作者提出的新方法 ESM 在模拟中 100% 地完成了任务。更棒的是，它平均仅用了 21.1 步 就完成了工作，而次优的方法则需要近 119 步。

“零样本”魔力

这是最令人兴奋的部分。机器人的整个训练过程都在计算机模拟器内完成。它从未见过真实的方块、真实的桌面或真实的机械臂。然后，作者将这个数字大脑直接接入实验室中的真实机器人。

他们没有重新训练它，没有进行微调，只是直接开启了它。这被称为 零样本模拟到现实迁移（Zero-Shot Sim-to-Real Transfer）。

他们测试了机器人应对以下情况的能力：

不同的摩擦力： 他们将方块放在粘性的地垫和光滑的羊皮纸上。
不同的重量： 他们使用了一个只有 1 厘米 厚的方块（原有的 4 厘米 厚度的四分之一）。
不同的形状： 他们在模拟器中学到的形状以及一个从未见过的全新“I 形”方块上测试了机器人。

结果如下：

在真实世界的桌面上，新方法（ESM）在 T 形、C 形和 L 形方块的 3 次测试中全部成功（3 出 3）。
旧方法（SAC）在 T 形方块上完全失败（0 出 3），并在其他形状上也表现挣扎。
甚至对于那个机器人从未见过的全新“I 形”方块，新方法在模拟中仍有 61% 的成功率，展示了其泛化能力。

什么行不通（以及他们排除了什么）

论文非常明确地指出了哪些方法对于这项特定工作效果不佳。

仅仅复制专家（行为克隆）： 作者认为，依赖大规模专家演示数据集是一个瓶颈。很难为每种可能的形状和目标收集到足够的数据。
使用简单猜测的标准强化学习： 他们展示了使用“高斯”策略（假设答案通常只是一个简单的平均值）的标准算法无法处理具有不同形状方块的复杂推送任务。它们甚至无法在模拟中学会这项任务，更不用说迁移到现实世界了。
缺乏计划的学习： 当他们移除特殊的“课程”（一种从简单目标开始并逐渐变难的训练进度）或特殊的方块位置描述方式时，机器人的表现显著下降。这证明了机器人确实需要这些特定的训练技巧才能成功。

他们有多确定？

作者对他们在模拟中的结果非常有信心，他们在模拟中运行了 400 万次 交互来训练机器人。他们以极高的精度测量了成功率和步数。

在现实世界中，他们在不同条件下测试了机器人的 36 个特定任务。他们不仅说“它成功了”，还测量了方块移动的距离和所用的步数。他们发现虽然现实世界很混乱，但机器人的表现依然保持稳健。然而，他们也承认，这种“零样本”魔力可能并不适用于每种类型的机器人任务，尤其是比“在平坦桌面上推方块”要复杂得多的任务。对于这些更难的任务，他们建议可能需要更多的工作来弥合计算机与现实之间的差距。

总结

这篇论文表明，你不需要一个专家视频库来教机器人复杂的、多任务的技能。通过使用一种通过新的、简单的奖励系统训练的智能且灵活的“扩散策略”，机器人可以学会推送各种形状和大小的方块，无论是在光滑还是粘稠的表面上，甚至可以处理它从未见过的目标——而这一切在准备好进入现实世界之前，都无需离开计算机模拟环境。这是迈向能够真正适应我们混乱多变的现实世界的机器人的重要一步。

技术摘要：用于多任务方块推行任务的单一扩散策略控制器：实现零样本从仿真到现实的迁移

问题陈述

本文研究了为复杂的、接触丰富的机器人操控任务（特别是具有不同形状和目标的多种任务方块推行）训练单一通用策略所面临的挑战。虽然去噪扩散概率模型（DDPMs）在表示复杂数据分布方面表现出卓越的表达能力，并已成功应用于通过行为克隆（BC）进行的机器人轨迹生成，但当前的方法面临着显著的局限性：

数据稀缺性： 基于 BC 的方法需要大量涵盖多样化任务的专家演示，这在多任务设置中往往是不切实际的。
微调的脆弱性： 使用强化学习（RL）对预训练的 BC 策略进行微调往往会导致灾难性遗忘。
稀疏奖励下的探索： 在没有演示的情况下，将在线 RL 应用于从零开始的扩散策略在处理稀疏奖励环境时具有挑战性，因为探索非常困难。
仿真到现实（Sim-to-Real）的差距： 目前缺乏关于通过在线 RL 训练的扩散策略在接触丰富场景（其中摩擦力和物理动力学各异）中实现零样本从仿真到现实迁移能力的研究。

作者旨在确定是否可以利用在线 RL 从零开始训练单个扩散策略，以解决多任务方块推行问题，并成功迁移到现实世界而无需额外的微调。

方法论

所提出的框架通过三个核心组件将在线 RL 与扩散策略集成在一起：

1. 简化的扩散策略优化 (ESM)

作者提出了一种基于策略镜像下降（Policy Mirror Descent）的简化策略优化方法。他们没有使用行为克隆（BC）中标准的证据下界（ELBO），而是提出了**能量引导评分匹配（ESM）**损失。

机制： 该损失函数通过指数化的动作价值函数（ $Q^{\pi_{old}}(s, a)$ ）对标准的评分匹配目标进行重加权。
公式： 该目标函数最小化 $\mathbb{E}[\exp(Q^{\pi_{old}}(s, a)/\lambda) \|\epsilon_\theta(a_t; s, t) - \epsilon\|^2]$ 。
优势： 这种公式避免了学习单独的基准函数进行加权的需要（不同于 IDQL 或 QIPO），并且比截断 Q 函数方法（如 QVPO）能更好地处理负 Q 值。它允许扩散模型直接逼近由 KL 正则化 RL 目标导出的最优策略。

2. 以目标为中心的观测与动作表示

为了使单个策略能够处理多种任务（不同的方块形状和目标位置），作者设计了一个任务无关的观测空间：

局部坐标系： 状态不再基于绝对目标位置进行调节，而是转换到方块的局部坐标系（“方块坐标系”）中。状态向量包括相对于方块的智能体位置，以及相对于方块的目标位置和朝向。
形状编码： 一个专门的向量对方块的形状（如 T、C、L、I 型）进行编码，使策略能够根据物体几何形状来调节其行为。
动作空间： 动作被定义为目标坐标系中的速度指令，随后将其转换到世界坐标系中。

3. 逆向课程生成

为了解决稀疏奖励 RL 中固有的探索挑战（即智能体仅在成功完成任务时才会获得奖励），作者采用了课程学习策略：

进阶方式： 训练从方块距离目标非常近的状态开始。随着智能体成功完成特定次数的任务，方块与目标之间的初始距离会逐渐增加。
目标： 这逐步增加了任务难度，引导智能体学习必要的接触丰富操作（建立和打破接触），而不至于陷入局部最优。

4. 现实世界实现

对于仿真到现实的迁移，该系统依赖于基于状态的输入而非原始图像。

感知： 方块位姿通过 ArUco 标记或自定义的点云配准算法进行估计（利用方块的平面和锐利边缘）。
鲁棒性： 卡尔曼滤波器被应用于位姿估计，并且一个并行的模拟器在发生遮挡时充当备份。

关键结果

仿真性能

成功率： 所提出的 ESM 算法在仿真中的多形状方块推行任务上实现了 100% 的成功率，显著优于标准 RL 基准（SAC、PPO、TD3）和其他基于扩散的 RL 方法（QVPO、DACER、QSM），后者大多失败（成功率为 0%）。
效率： 与 SAC（平均回合长度约为 119）相比，ESM 需要的步骤显著减少（平均回合长度约为 21）。
泛化能力： 在未经额外训练的情况下，测试未见过的“I 型”方块时，ESM 实现了 61% 的成功率，而 SAC 完全失败（0%）。
消融实验： 移除课程学习或以目标为中心的观测表示会降低性能，但不会导致完全失败，而 SAC 在这些消融条件下会失败。这突显了扩散策略结合所提设计方案的鲁棒性。

现实世界零样本迁移

训练好的策略被部署在 UR5e 机械臂上，无需任何现实世界的微调。

测试变体： 策略在涉及以下因素的 36 个任务中进行了评估：
- 不同的表面摩擦力（高摩擦垫 vs 低摩擦羊皮纸）。
- 不同的方块重量（标准重量 vs 1/4 厚度）。
- 不同的目标位姿（随机化）。
性能： ESM 策略成功解决了这些变体下的所有任务。
对比： 相比之下，SAC 基准在现实世界的 T 型方块任务中失败了，并且在其他成功完成的形状任务中，需要更多的步数和距离才能成功。

意义与主张

本文声称，这项工作证明了使用在线 RL 训练单一扩散策略，从而在不依赖专家演示的情况下，解决复杂的接触丰富操控任务的可行性。

可扩展性： 通过摆脱行为克隆，该方法克服了需要多样化专家数据来进行多任务学习的瓶颈。
表达能力： 结果表明，扩散策略的多模态特性使其能够比单模态高斯策略（如 SAC）更好地捕捉接触丰富任务所需的复杂、多模态解决方案（例如，推行与旋转策略）。
仿真到现实的鲁棒性： 该框架实现了跨越显著环境变化（摩擦力、重量、几何形状）的零样本仿真到现实迁移。作者认为，只要保持系统稳定性，通过具备足够表达能力的策略和精心的状态表示，可以有效地忽略 2D 方块推行中的仿真到现实差距。
方法论贡献： 引入能量引导评分匹配损失提供了一种实用且简化的方法，将扩散模型集成到标准的 RL 流水线中，避免了以往加权评分匹配技术相关的计算和偏差问题。

作者总结道，虽然零样本迁移对仿真到现实的差距幅度较为敏感（并且对于更复杂的 3D 任务可能需要领域随机化或残差学习），但该流水线为使用通过在线 RL 训练的扩散策略进行通用机器人操控建立了一个强大的基准。