🤖 AI

From Noise to Control: Parameterized Diffusion Policies

本文介绍了参数化扩散策略（Parameterized Diffusion Policy, PDP），该框架将低维连续参数嵌入到学习到的行为流形中，从而将扩散模型从随机生成器转变为精确且可优化的工具，用于引导机器人行为并适应新的约束，而无需重新训练。

原作者： Renhao Zhang, Haotian Fu, Mingxi Jia, George Konidaris, Yilun Du, Bruno Castro da Silva

发布于 2026-06-02

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Renhao Zhang, Haotian Fu, Mingxi Jia, George Konidaris, Yilun Du, Bruno Castro da Silva

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是对论文《从噪声到控制：参数化扩散策略》（From Noise to Control: Parameterized Diffusion Policies）的通俗易懂的解释。

核心问题：多种方式应对同一件事

想象一下，你正在教一个机器人如何关上抽屉。在现实世界中，完成这个动作并不只有一种“完美”的方法。机器人可以从左侧接近把手，可以从右侧，可以从上方，甚至可以从下方。这些都是有效的完成任务的方式。

在过去，机器人学习方法试图将所有这些不同的方式进行“平均”。结果呢？机器人会尝试做出一种“折中”的动作，而这种动作往往行不通——它可能会撞到障碍物，或者完全错过把手。

最近，科学家们开始使用扩散策略（Diffusion Policies）。你可以把它们想象成一个“创意艺术家”机器人。它不再进行简单的平均，而是可以生成许多种独特且不同的方式来关闭抽屉。然而，这位艺术家有点混乱。如果你对它说“关上抽屉”，它可能会随机挑选一种风格。如果你突然放了一本书挡住去路（一个新的约束条件），这位艺术家就不知道该如何调整了。它只会不断地随机挑选风格，希望能碰巧撞上一个奏效的方法。这就像是通过随机摇晃方向盘来试图驾驶汽车，并寄希望于能保持在车道内一样。

解决方案：PDP（参数化扩散策略）

作者提出了一个名为 PDP 的新框架。他们的目标是将那位混乱的艺术家变成一名精准、可控的驾驶员。

以下是他们实现这一目标的原理，我们使用一个简单的类比：

1. “行为地图”（流形）

想象机器人拥有一张记录它所有运动方式的地图。在标准的扩散模型中，这张地图就像一个乱作一团、纠缠在一起的线团，在上面移动一点点，就可能让你跳到一个完全无关的运动轨迹上。

PDP 创建了一张整洁、有序的地图。在这张地图上，距离较近的点代表物理特征相似的动作（比如从左侧接近把手与从更左侧接近）；距离较远的点则代表截然不同的策略（比如从左侧接近与从右侧接近）。这被称为“几何对齐的行为流形”。

2. “旋钮”（参数）

PDP 不再让机器人随机选择动作，而是给了机器人一个低维度的旋钮（一个称为 $z$ 的参数）。

稍微转动旋钮，机器人就会在相似的策略之间平滑切换。
转动到底，它就会切换到一种完全不同的策略。

这个旋钮就像是机器人的行为遥控器。你不需要为了改变机器人的想法而重新训练整个机器人，你只需要转动旋钮即可。

3. “GPS”（潜空间拟合）

当环境发生变化时会发生什么？假设出现了一个新的障碍物，挡住了“左侧”接近的路径。

旧方法： 机器人会不断尝试随机策略，希望能碰巧成功。
PDP 方法： 机器人观察到新障碍物后，会自问：“我的旋钮设置到哪一个位置能绕过这个障碍物？”它能迅速计算出最适合当前情况的旋钮设置（ $z$ ）。这就像是 GPS 在无需重建整条路线的情况下，瞬间重新计算出导航路径。

为什么这很重要（实验结果）

论文在模拟机器人和真实机械臂（Franka Panda）上进行了测试。他们设计了一些棘手的场景，要求机器人避开障碍物或从不同角度拿起杯子。

测试内容： 他们改变了规则（增加了障碍物），并且只给机器人提供了一个关于如何解决新情况的新示例。
结果：
- 标准机器人（以及标准扩散策略）表现糟糕，它们无法适应新的障碍物。
- PDP 成功了。 它利用其“旋钮”立即找到了新的策略。它甚至能通过在两个已知策略之间的位置滑动旋钮，从而“发明”出一种它从未见过的全新运动方式。

“秘密武器”

论文强调了让这项技术奏效的两个主要技巧：

地图是有序的： 他们使用了一种特殊的数学工具（Soft-DTW），以确保机器人“地图”上两点之间的距离能真正反映出物理运动上的差异。这使得地图变得平滑且易于导航。
深度连接： 他们并没有简单地将旋钮设置作为一个数字输入到机器人的大脑中，而是将其深度织入机器人的决策层中。这确保了机器人能够真正“听从”旋钮的指令并改变行为，而不是忽略它。

总结

你可以把 PDP 理解为赋予了机器人一个控制其“个性”的遥控器。与其在世界发生变化时，寄希望于机器人随机撞大运找到正确的动作，你只需将旋钮转到应对新障碍物所需的精确位置即可。它将“随机猜测”转化为了“精准转向”。

技术摘要：参数化扩散策略 (Parameterized Diffusion Policies, PDP)

问题陈述

现实世界的机器人任务通常是欠指定的，即一个目标可以通过多种不同的动作序列来实现（多模态行为）。虽然标准的扩散策略 (Diffusion Policies, DP) 已成为建模此类多模态分布的强大范式，但它们缺乏可控性。具体而言，标准评估通常关注观测侧的分布偏移（例如，摄像机外观的变化），但部署失败往往源于约束诱导的行为偏移 (constraint-induced behavior shifts)。在这些场景中，环境的变化（例如，新的障碍物或接触约束）使得先前的策略失效，迫使机器人必须选择另一个现有的模式或发现一种新的行为。

目前的扩散策略依赖于随机噪声来产生多样性。在测试时通过优化高维噪声空间来引导这些策略通常是病态的：对噪声的微小扰动可能会导致大幅度、不可预测或不可行的轨迹变化。此外，现有的行为引导方法要么需要重新训练策略权重（速度慢、数据量大），要么依赖于离散的技能标记 (skill tokens)，这限制了控制范围仅限于有限的几种行为，无法实现平滑插值。

方法论：参数化扩散策略 (PDP)

作者提出了参数化扩散策略 (PDP)，该框架将扩散从一种用于随机多样性的机制转变为一种精确、可优化的行为引导工具。PDP 将扩散去噪器以从演示中学习到的低维连续行为潜变量 $z$ 为条件进行建模。

1. 几何对齐的行为流形

其核心创新在于构建了一个行为流形，其中潜码之间的欧几里得距离反映了物理轨迹的语义相似性。

轨迹编码器： 轨迹编码器 $E_\phi$ 将演示轨迹 $\tau$ 映射到潜码 $z$ 。
几何对齐： 与标准的变分自编码器 (VAE) 不同，PDP 通过使用 Soft-DTW (Soft Dynamic Time Warping) 显式地将潜空间几何与物理轨迹相似性对齐。训练目标包含一个几何损失 $L_{geo}$ ，该损失强制要求潜距离 $\|z_i - z_j\|$ 与通过 Soft-DTW 计算的物理轨迹距离之间存在线性对应关系。这确保了 $z$ 的微小变化会引起执行轨迹平滑且可预测的变化。
联合目标： 编码器-解码器通过最小化重构损失、KL 散度（用于正则化）以及几何对齐损失来进行训练。

2. 参数化扩散去噪器

扩散策略 $\pi_\theta$ 在环境上下文 $c_t$ 和行为潜变量 $z$ 的共同调节下生成动作块 (action chunks)。

全局调制： 与简单的拼接不同，潜变量 $z$ 通过全局调制机制（受 FiLM 启发）集成到去噪器中。潜变量被转化为层特定的仿射参数 ( $\gamma, \beta$ )，用于缩放和偏移中间特征图。这种深度集成使得低维潜变量能够有效地引导高维动作生成过程。
解耦训练： 在去噪器优化阶段，编码器使用停止梯度算子进行训练，以防止扩散损失破坏精心构建的潜流形几何结构。

3. 测试时控制与适应

PDP 实现了快速、轻量的数据适应，而无需更新策略权重。

潜变量拟合： 当面临新的约束或目标行为 $\tilde{\tau}$ 时，系统通过优化潜码 $z$ 来最小化一个扩散一致的拟合损失。这可以识别出最符合新约束的具体行为模式。
语义热启动： 优化过程使用编码器对新演示的预测进行初始化 ( $z_0 = E_\phi(\tilde{\tau})$ )，从而将搜索置于流形中一个良置的区域。
长时程适应： 对于复杂任务，PDP 支持分段常数潜变量序列，允许独立地对任务的不同阶段进行适应。

核心贡献

参数化扩散框架： 引入了 PDP，它用连续的、几何对齐的潜参数 $z$ 取代了随机噪声引导，实现了显式的行为控制。
几何对齐流形： 证明了通过将潜距离与物理轨迹相似性（通过 Soft-DTW）对齐，可以实现平滑插值和可预测的引导，解决了噪声空间优化中的病态问题。
深度潜变量集成： 提出了一种全局调制架构，成功地将低维行为信号集成到高维扩散去噪器中，其表现优于朴素的拼接方法。
高效的测试时适应： 表明仅通过优化潜变量 $z$ （通过梯度下降）即可实现对新约束的快速适应，仅需单个演示，而无需重新训练策略。

实验结果

作者在模拟环境（RLBench, Robomimic, Franka Kitchen, D3IL）和真实的 Franka Emika Panda 机器人上，针对九个多模态操控领域对 PDP 进行了评估。

原始多模态性能： PDP 在所有任务中均取得了持续的高成功率，达到或超过了最先进的基准模型（包括标准 DP、BC-GMM 和 VQ-BeT）。与标准 DP 相比，它在重建多模态分布方面表现出更优的稳定性，因为标准 DP 由于模式歧义经常产生带有噪声且不一致的展开。
约束诱导的偏移： 在环境约束导致原有训练模式失效的场景中：
- 现有模式拟合： PDP 实现了近乎完美的成功率（例如，在 CloseDrawer 任务上为 100%），显著优于无法收敛到单一可行模式的基准模型。
- 新行为发现： 在“零模式可行”（即没有任何训练模式有效，且必须合成新行为）的设置下，PDP 是唯一能持续取得成功的模型。包括进行权重微调的基准模型 (BC) 和使用进化搜索的模型 (Diff-ES) 在面对缺失于训练数据中的可行策略时均告失败。
真实机器人鲁棒性： 在真实机器人的 OpenDrawer 任务中，PDP 在约束偏移下保持了 100% 的成功率，而标准 DP 的成功率降至 20%。这突显了 PDP 对现实世界噪声的鲁棒性以及提供稳定控制手段的能力。
消融实验：
- 去除几何对齐或使用离散潜变量会导致性能严重下降，证实了连续且具有度量对齐的流形的必要性。
- 全局调制显著优于拼接，降低了训练损失并提高了适应成功率。
- 语义热启动至关重要；随机初始化即使经过大量的优化步骤也无法找到可行的策略。

意义与主张

本文声称，PDP 从根本上改变了基于扩散的控制范式，即从“噪声驱动的多样性”转向“参数化行为引导”。通过将潜空间构建为反映物理轨迹相似性的结构，PDP 将扩散转变为一个不仅具有表达力而且可控且可优化的工具。

作者强调，这种方法解决了机器人学习中的一个关键差距：即在不重新训练的情况下，快速可靠地适应不断变化的约束。他们认为，虽然扩散模型在表示多模态数据方面非常出色，但如果没有一个结构化的行为选择接口，其在现实世界部署中的效用是有限的。PDP 提供了这一接口，使机器人能够：

在已知策略之间进行平滑插值，以合成新的、可行的行为。
通过优化紧凑的参数集（潜变量 $z$ ）而非数百万个网络权重，快速适应新的约束。
在执行噪声和约束偏移常见的现实世界设置中稳健运行。

这项工作表明，显式的、几何对齐的行为流形对于下一代可适应的机器人策略至关重要，特别是在需要合成并非直接存在于训练数据集中的行为的场景中。