🤖 machine learning

Contractive Diffusion Policies: Robust Action Diffusion via Contractive Score-Based Sampling with Differential Equations

本文提出了“收缩扩散策略”（CDPs），通过在扩散采样动力学中引入收缩机制来增强对求解器和得分匹配误差的鲁棒性并减少动作方差，从而在离线强化学习（尤其是数据稀缺场景）中显著提升了连续控制任务的性能。

原作者： Amin Abyaneh, Charlotte Morissette, Mohamad H. Danesh, Anas El Houssaini, David Meger, Gregory Dudek, Hsiu-Chin Lin

发布于 2026-03-24

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Amin Abyaneh, Charlotte Morissette, Mohamad H. Danesh, Anas El Houssaini, David Meger, Gregory Dudek, Hsiu-Chin Lin

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一种名为**“收缩扩散策略”（Contractive Diffusion Policies, CDP）**的新方法，旨在让机器人在学习新技能时变得更聪明、更稳健，尤其是在数据很少的情况下。

为了让你轻松理解，我们可以把这篇论文的核心思想想象成**“教一个有点迷糊的学徒学画画”**。

1. 背景：现在的“扩散策略”像什么？

想象一下，现在的机器人学习（扩散策略）就像让一个学徒在一张满是杂音的画布上，一步步把噪点擦掉，最终还原出一幅完美的画（也就是正确的动作）。

优点：这种方法很灵活，能学会很多种不同的画法（比如画猫，既可以画成卡通猫，也可以画成写实猫）。
缺点：这个“擦除噪点”的过程（采样过程）很容易出错。
- 算数错误：就像学徒每一步擦除时，手稍微抖了一下，或者算错了距离。
- 累积误差：如果第一步擦歪了，第二步基于歪的结果再擦，误差就会像滚雪球一样越来越大。
- 后果：在画风景画（生成图片）时，稍微歪一点可能看不出来；但在控制机器人时，哪怕动作稍微歪一点点，机器人可能就会把杯子打翻，或者从桌子上掉下来。

2. 核心创新：什么是“收缩”？

论文提出的 CDP 方法，核心就是给这个学习过程加了一个**“橡皮筋”或者“引力场”**。

比喻：想象你在教学徒画画。
- 普通方法：学徒每画一笔，如果手抖了，他就顺着那个抖动的方向继续画，结果画得越来越偏。
- CDP 方法（收缩）：你在学徒的手腕上系了一根有弹性的橡皮筋，这根橡皮筋的另一端系在“正确动作”的中心点上。
- 效果：如果学徒的手因为手抖（误差）偏离了正确路线，这根橡皮筋就会把他拉回来。无论他怎么乱晃，橡皮筋都会强迫他的笔触向中心靠拢。

在数学上，这叫**“收缩理论”（Contraction Theory）**。简单来说，就是让所有可能的动作轨迹，随着时间的推移，互相靠近，而不是互相发散。

3. 这个方法解决了什么问题？

论文通过实验发现，加上这根“橡皮筋”后，机器人有了三个巨大的提升：

更抗干扰（鲁棒性）：
即使机器人的“大脑”（算法）在计算时犯了一点小错，或者数据不够完美，橡皮筋也能把它拉回正轨。就像在走钢丝时，多了一根安全绳，不容易掉下去。
动作更稳定（减少方差）：
以前，同样的指令，机器人今天可能往左偏一点，明天往右偏一点。用了 CDP 后，无论怎么试，它都会稳定地做出那个最正确的动作，减少了“乱动”的情况。
少数据也能学（数据稀缺时的表现）：
这是最厉害的一点。通常机器人需要看成千上万次人类演示才能学会。但如果数据很少（比如只有 10% 的数据），普通方法就学傻了，动作全是乱的。而 CDP 因为有“橡皮筋”拉着，即使只看了很少的演示，也能学会非常靠谱的动作。

4. 实际效果如何？

作者在两个地方做了测试：

电脑模拟（D4RL 和 Robomimic 数据集）：在虚拟的跑步、跳跃、搬运任务中，CDP 的表现通常比现有的最好方法都要好，特别是在数据很少的时候，优势巨大。
真实机器人（Franka 机械臂）：在实验室里，他们让真实的机械臂去学“把东西插进孔里”、“堆叠积木”等精细动作。结果发现，CDP 控制的机械臂成功率更高，动作更稳，特别是在那些很难的任务（比如插销）上表现突出。

5. 总结

一句话概括：
这篇论文给机器人学习动作的算法加了一个**“智能纠偏器”**。它不阻止机器人探索不同的动作，但在机器人因为计算误差或数据不足而“跑偏”时，能温柔而坚定地把它们拉回正确的轨道。

这对我们意味着什么？
这意味着未来的机器人可能不需要看几百万次人类演示就能学会干活，而且它们在工作中会更安全、更稳定，不会因为一点点小错误就搞砸任务。这对于让机器人真正走进家庭或工厂，是一个非常重要的进步。

1. 研究背景与问题 (Problem)

背景：
扩散策略（Diffusion Policies）已成为离线策略学习（Offline Policy Learning）中的强大生成模型，特别是在机器人控制和强化学习（RL）领域。它们通过去噪过程学习状态条件下的动作分布，能够很好地捕捉长视野和多模态行为。

核心问题：
尽管扩散模型在图像生成中表现优异，但在连续控制（如机器人）任务中存在显著缺陷：

误差累积： 扩散采样过程依赖于随机微分方程（SDE）或常微分方程（ODE）的数值求解器。由于步长限制，存在求解器误差（solver errors）和离散化误差。
分数匹配误差： 在数据稀缺或分布复杂时，学习到的分数函数（score function）不够准确。
动作不一致性： 相同的输入状态可能因数值积分误差导致生成不同的动作，这种微小的偏差在物理系统中会累积，导致策略偏离数据集支持范围，甚至引发任务失败。
数据需求高： 现有的扩散策略通常需要大量数据来学习准确的分数函数，难以应对数据稀缺场景。

核心痛点： 现有的扩散采样过程缺乏对误差的鲁棒性，导致在离线学习和物理部署中表现不稳定。

2. 方法论 (Methodology)

作者提出了收缩扩散策略（Contractive Diffusion Policies, CDPs），旨在通过引入**收缩理论（Contraction Theory）**来增强扩散采样的鲁棒性。

2.1 核心思想

利用收缩理论，使扩散采样过程中的流（flows）具有收缩性。即：如果两条轨迹初始状态相近，随着时间推移，它们之间的距离会指数级缩小。

作用： 收缩性可以将附近的采样流拉向主导模式（dominant modes），从而抑制求解器误差和分数匹配误差的累积，减少不必要的动作方差，提高生成动作的一致性。

2.2 理论分析

反向扩散 ODE： 将扩散采样过程建模为常微分方程 $da_t = F_\theta(a_t, t)dt$ 。
雅可比矩阵分析： 根据收缩理论，若 ODE 的对称雅可比矩阵 $J_{sym} = \frac{1}{2}(J + J^T)$ 的最大特征值 $\lambda_{max} < 0$ ，则系统是收缩的。
定理 3.1： 证明了反向扩散 ODE 的收缩性与**分数函数的雅可比矩阵（Score Jacobian, $J_{\epsilon_\theta}$ $J_{ϵ_{θ}}$ ）**直接相关。具体而言，只要分数雅可比的最大特征值满足特定上界（由漂移项 $f(t)$ $f (t)$ 和扩散项 $h(t)$ $h (t)$ 决定），整个采样过程就是收缩的。
- 公式核心： $\lambda_{max}(J_{sym}^{\epsilon_\theta}) < -f(t)h(t)^{-1}$ 。

2.3 训练配方 (Learning Recipe)

为了在实际训练中实现收缩，作者设计了一个高效且易于集成的损失函数：

高效特征值计算： 直接计算最大特征值计算量过大。作者使用幂迭代法（Power Iteration）（仅需 3-4 次迭代）来近似估计对称雅可比矩阵的最大特征值 $\hat{\lambda}_{max}$ 。
收缩损失函数 ( $L_c$ )：
- 目标：惩罚 $\hat{\lambda}_{max}$ ，使其小于某个负阈值。
- 实现：使用 Frobenius 范数作为代理损失，或者直接使用 $\max(-\beta, \hat{\lambda}_{max} + f(t)h(t)^{-1})$ 。
- 其中 $\beta$ 是收缩裕度参数。
总损失函数：
$L(\theta) = L_{diffusion} + \gamma L_c(\theta)$
- $L_{diffusion}$ 是标准的分数匹配损失（Score-matching loss）。
- $\gamma$ 是收缩强度的超参数。
- 这种设计平衡了去噪准确性和收缩性，避免了模式坍塌（Mode Collapse）。

2.4 集成方式

CDP 可以无缝集成到现有的离线 RL（如 EDP）和模仿学习（如 DBC）架构中，只需添加一个超参数 $\gamma$ 和收缩损失项，计算成本增加极小。

3. 主要贡献 (Key Contributions)

理论创新： 首次将收缩理论系统性地应用于扩散策略的采样动力学分析，证明了收缩性可以缓解求解器和分数匹配误差，并给出了基于分数雅可比矩阵的收缩条件。
算法提出： 提出了 CDP 算法，通过添加一个计算高效的收缩损失项，在不改变网络架构的前提下，显著提升了扩散策略的鲁棒性。
广泛验证： 在 D4RL（离线 RL）和 Robomimic（模仿学习）基准测试中进行了广泛实验，并在真实的 Franka 机械臂上进行了物理部署验证。
数据稀缺下的优势： 证明了在数据量极少（如仅 10% 数据）的情况下，CDP 的性能提升尤为明显，因为它能有效抑制误差累积。

4. 实验结果 (Results)

4.1 离线强化学习 (D4RL 基准)

整体表现： CDP 在大多数 D4RL 环境（HalfCheetah, Hopper, Walker2D, Franka Kitchen, Antmaze）中优于基线方法（如 EDP, DQL, IDQL）。
数据稀缺场景： 在数据量减少至 10% 的实验中，CDP 显著优于非收缩基线。例如在 Kitchen 和 MuJoCo Medium-Replay 数据集上，CDP 展现了更强的稳定性。
效率： 训练时间增加可控，推理阶段无额外开销。

4.2 模仿学习 (Robomimic 基准)

在低维状态（Lowdim）和图像输入（Image）任务中，CDP 均优于 DBC 基线。
特别是在复杂的搬运（Transport）和堆叠（Stack）任务中，CDP 的成功率更高。

4.3 真实世界部署 (Franka 机械臂)

任务： 在真实的 Franka Panda 机器人上测试了 Lift（抓取）、Stack（堆叠）、Slide（滑动）和 Peg（插销）四个任务。
结果： CDP 成功完成了 3/4 的任务，且在最具挑战性的 Peg 和 Slide 任务上，成功率显著高于标准 DBC 策略。
意义： 证明了 CDP 能有效处理物理世界中的噪声和误差，提高了策略的可靠性。

4.4 消融实验

收缩步数： 仅在去噪后期应用收缩也能获得大部分收益。
求解器步数： 即使减少求解器步数（增加离散化误差），CDP 生成的动作仍比标准扩散策略更接近真实值，验证了其抗误差能力。

5. 意义与影响 (Significance)

解决物理部署痛点： 针对机器人控制中“小误差导致大失败”的问题，CDP 提供了一种理论保证的机制来抑制误差传播，使得基于扩散的离线策略更适用于真实的物理系统。
提升数据效率： 在数据收集成本高昂的机器人领域，CDP 在少样本场景下的优异表现意味着可以用更少的数据训练出更鲁棒的策略。
通用性与低开销： 该方法不需要复杂的架构修改，计算开销低，易于集成到现有的扩散策略框架中，具有极高的实用价值。
理论指导实践： 将控制理论中的收缩概念引入生成模型，为理解扩散模型的采样动力学提供了新的视角，即通过正则化雅可比矩阵来增强系统的稳定性。

总结： 这篇论文通过引入收缩理论，成功解决了扩散策略在离线学习和物理控制中因数值误差导致的不稳定性问题，提出了一种简单、高效且理论完备的改进方案（CDP），显著提升了策略在数据稀缺和复杂环境下的性能。