🤖 machine learning

MODIP: Efficient Model-Based Optimization for Diffusion Policies

MODIP 是一个通过利用世界模型和模型预测控制来生成高质量监督目标的框架，从而实现扩散策略高效的从离线到在线的微调，进而克服直接强化学习带来的挑战，同时保持行为克隆的稳定性。

原作者： Zakariae El Asri, Philippe Gratias-Quiquandon, Nicolas Thome, Olivier Sigaud

发布于 2026-06-10

📖 1 分钟阅读☕ 轻松阅读

原作者： Zakariae El Asri, Philippe Gratias-Quiquandon, Nicolas Thome, Olivier Sigaud

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图教一个机械臂完成一项复杂的任务，比如做三明治或堆叠积木。你拥有一个巨大的视频库，里面展示了人类如何完美地完成这些任务。

问题所在：“完美模仿者” vs. “挣扎的学生”

旧方法（行为克隆/Behavioral Cloning）：
把标准的机器人策略想象成一个只会死记硬背视频的学生。如果视频显示人类以某种特定方式堆叠积木，机器人就会学会完全照搬。如果任务很简单，这效果很好。但如果完成堆叠任务有很多种不同的有效方式呢？机器人会感到困惑，因为它只学会了一种“平均”的方法，或者它会卡在试图完美复制一段并不完全符合当前情况的视频中。

新方法（扩散策略/Diffusion Policies）：
扩散策略（DP）登场了。想象一下，这个机器人不仅仅是在死记硬背，它更像是一位艺术家。它从一个模糊、随机的想法乱团开始，然后通过一步步“去噪”（清除杂质），直到找到一个完美的、富有创造力的解决方案。它在处理有多种有效解的问题时表现得异常出色。

难点：
这位“艺术家机器人”非常擅长模仿视频中所见。但如果你想让它做得比视频里更好（比如动作更快或更省能耗），你通常需要使用强化学习（RL）。RL 就像一位教练，根据得分大喊“做得好！”或“再试一次！”。

问题在于，由于扩散策略非常复杂（它需要许多步骤来完成“去噪”以产生一个动作），直接用教练进行训练既慢、又不稳定，且计算成本极高。这就像是在画家进行复杂的多步笔触过程中，试图通过大喊指令来教他画画一样。

解决方案：MODIP（“聪明规划师”助手）

作者提出了 MODIP，这是一个连接机器人的艺术能力与教练反馈的桥梁。MODIP 并没有尝试直接用强化学习来训练扩散策略，而是使用了一个**世界模型（World Model，即模拟器）和一个规划器（Planner）**来完成这项重活。

以下是它的工作原理，使用一个简单的类比：

1. 世界模型（飞行模拟器）

MODIP 构建了一个机器人世界的“飞行模拟器”。它学习机器人的运动方式以及针对不同动作会获得什么样的奖励。这使得系统可以在不移动真实机器人的情况下，想象出成千上 de 种未来的场景。

2. 混合规划器（飞行员与副驾驶）

这是核心创新点。

副驾驶（扩散策略）： 机器人的现有“艺术家”会建议几个不错的、富有创造性的起始动作。它了解任务的大致意境。
飞行员（MPC 规划器）： 规划器接收这些建议，并将其带入“飞行模拟器”。它尝试数百种变化，进行微调，并选出通往目标的绝对最佳路径。

神奇的技巧：
通常，当规划器查看一条路径的终点以判断其优劣时，它必须询问“副驾驶”（扩散策略）来做出决定。由于“副驾驶”反应很慢（需要许多步骤来思考），这使得整个过程变得非常缓慢。

MODIP 的捷径：
MOD 并不在路径的终点询问“副驾驶”做决定，而是使用了一个终端价值函数（Terminal Value Function）。你可以把它想象成一个“水晶球”，它能瞬间告诉规划器：“如果你最终处于这个状态，这就是你的最终得分。”这跳过了缓慢的思考过程，使规划速度提升了 3 倍。

3. 蒸馏（老师的笔记）

一旦规划器在模拟器中找到了一个超优化的路径，MODIP 不仅仅是使用这条路径一次。它会将路径记录下来并展示给扩散策略（艺术家）看。它会对艺术家说：“嘿，看，这是一种更好的做法。向它学习。”

随后，扩散策略会使用标准的、稳定的学习方法进行自我更新（即模仿这些更好的例子）。它不需要被教练大声训斥；它只需从规划器提供的更优例子中学习。

为什么这很重要（实验结果）

论文在各种机器人任务（如行走、烹饪和堆叠积木）上测试了该方法。

性能更好： MODIP 让机器人的表现优于单纯的视频模仿，也往往优于其他试图直接用强化学习训练扩散策略的方法。
速度更快： 由于使用了“水晶球”捷径（利用状态值而非询问策略），系统的决策速度提高了近 3 倍。
效率更高： 它还通过避免在学习阶段进行昂贵的计算，使训练过程快了 1.6 倍。

总结

MODIP 就像是给了一位才华横溢但动作缓慢的艺术家（扩散策略）一位快速且聪明的助手（规划器）。助手利用模拟器快速找出最佳动作，然后教会艺术家如何去做。通过这种方式，机器人既拥有了扩散策略的创造力，又具备了智能规划器的效率，同时避免了在训练如此复杂的系统时通常遇到的缓慢且不稳定的问题。

技术摘要：MODIP —— 用于扩散策略的高效基于模型的优化

1. 问题陈述

扩散策略（Diffusion Policies, DPs）已成为机器人控制领域的一种强大的表示形式，特别是在模仿学习（行为克隆，BC）中，因为它们能够建模复杂的、多峰值的动作分布。然而，存在一个根本性的局限：仅在离线演示数据上训练的扩散策略倾向于复制数据集中的行为，而缺乏超越这些行为进行改进的能力。

虽然强化学习（RL）为预训练策略提供了提升路径，但直接对扩散策略进行 RL 微调具有挑战性。与标准的高斯策略不同，扩散策略通过一个多步迭代去噪过程生成动作。这使得策略优化变得复杂，通常会导致训练和推理过程中的不稳定以及高昂的计算成本。现有的尝试直接进行 RL 微调的方法（如 Diffusion-QL, DPPO）在效率方面表现不佳。本文认为，一种更有效的方法是避免直接对扩散目标进行 RL 优化，而是使用基于模型的规划来生成改进的轨迹，进而进行监督式蒸馏。

2. 方法论：MODIP

MODIP（用于扩散策略的基于模型的优化）是一个旨在实现扩散策略从离线到在线微调的框架。它通过使用潜空间世界模型来引导模型预测控制（MPC）规划器，从而生成高质量的轨迹。这些轨迹随后被用作监督目标，通过标准行为克隆（BC）来微调扩散策略，从而创建一个迭代改进的闭环，且无需改变扩散策略核心的去噪目标。

该框架由五个学习组件组成：

编码器 ( $h_\eta$ )： 将观测值映射到潜状态。
潜动力学模型 ( $f_\theta$ )： 在给定当前状态和动作的情况下预测未来的潜状态。
奖励模型 ( $\hat{R}_\xi$ )： 为短时界想象出的展开过程评分。
终端价值函数 ( $V_\psi$ )： 估计超出 MPC 规划时界的长时界回报。
扩散策略 ( $\pi_\phi$ )： 作为规划器的具有表现力的动作序列先验。

关键技术机制：

MPC-to-Policy 蒸馏： MODIP 不直接使用 RL 损失来优化扩散策略，而是使用由扩散策略引导的 MPC 规划器在在线交互期间选择动作。规划器在潜空间内细化候选动作序列。生成的改进轨迹被存储在在线缓冲区中，并与离线数据混合，用于通过标准的监督去噪损失来更新扩散策略。这使得策略能够通过更好的数据分布进行改进，同时保留了监督学习的稳定性。
结合终端状态价值的混合规划： 规划器使用模型预测路径积分（MPPI）控制。一个关键的效率创新是使用终端状态价值 $V(s)$ ，而不是依赖于策略的状态-动作价值 $Q(s, \pi(s))$ $Q (s, π (s))$ 。
- 标准方法： 使用 $Q(s, \pi(s))$ 需要在每个候选轨迹的终端状态下运行完整的扩散策略多步去噪过程，这在计算上非常昂贵。
- MODIP 方法： 使用 $V(s)$ 允许通过单次前向传播来估计长时界回报，显著降低了推理时间。
策略无关的评论家（Critic）学习： 为了进一步降低训练成本，MODIP 将评论家学习与当前策略解耦。标准的 Actor-Critic 方法通常需要查询当前策略来计算时序差分（TD）目标（例如 $Q(s', \pi(s'))$ ）。对于扩散策略，这非常耗时。MODIP 通过使用来自目标网络的态价值估计（ $V(s')$ ）来构建 TD 目标，从而避免了在评论家更新过程中重复进行扩散策略的去噪迭代。

训练流程：

离线预训练： 在离线数据集上训练扩散策略及所有 MPC 组件（动力学、奖励、价值）。
在线微调： 智能体使用由扩散策略引导的 MPC 规划器与环境进行交互。轨迹被存储在在线缓冲区中。更新过程在混合了离线和在线数据的微批次（minibatches）上进行，其权重比例随时间变化，逐渐转向侧重于在线的、经规划器改进的数据。

3. 主要贡献

本文概述了四个主要贡献：

混合 DP 引导的 MPC 规划： 引入了一种使用扩散策略作为多模态动作序列先验的规划器，并通过潜空间 MPC 对提议进行细化。
MPC-to-Policy 蒸馏： 一种利用由 MPC 规划器改进的轨迹进行监督学习来微调扩散策略的方法，避免了直接对扩散目标进行 RL 优化。
高效的基于价值的轨迹评分： 使用终端状态价值 $V(s)$ 取代标准的终端估计 $Q(s, \pi(s))$ ，消除了在终端状态下昂贵的扩散策略查询，并降低了规划时的推理成本。
策略无关的评论家目标： 一种通过使用态价值估计进行 TD 目标的机制，实现了评论家学习与当前扩散策略的解耦，降低了评论家更新和训练的时间成本。

4. 实验结果

实验在三个基准系列上进行：D4RL MuJoCo（运动控制）、D4RL Kitchen（长时界操纵）和 RoboMimic（基于状态的操纵）。

性能对比直接 RL 微调： 在大多数任务中，MODIP 的表现持续优于或匹配直接 RL 微调方法（Diffusion-QL, DPPO, DSRL, PA-RL）。值得注意的是，在 HalfCheetah 任务中，MODIP 和 PA-RL 显著优于其他扩散策略基准，这归功于 MPC 能够在每一步进行重新规划，并比执行长动作块的方法更有效地从错误中恢复。
性能对比基于模型的基准： 在所有 MuJoCo 任务中，MODIP 均优于 TD-MPC2（一个使用高斯策略先验的强力混合基准），这表明与标准 MLP 策略相比，扩散策略先验为混合规划提供了一个更优的起点。
消融研究：
- MPC-to-Policy 蒸馏： 去除 MPC 细化过程（仅使用策略）会显著降低在 HalfCheetah 和 Kitchen 任务上的性能，证实了基于模型细化的价值。
- 终端价值（ $V$ vs. $Q$ ）： 使用 $V(s)$ 代替 $Q(s, \pi(s))$ 在所有任务中都提高了性能，并将推理时间降低了 2.90 倍（从约 85 秒降至约 29 秒/1000 步）。
- 评论家学习： 使用策略无关的目标使总训练时间减少了 1.6 倍（从约 40 小时降至约 25 小时），因为它避免了在评论家更新期间进行昂贵的扩散策略查询。
- 先验参数化： 使用扩散策略先验的表现显著优于高斯 MLP 策略先验，尤其是在 Hopper 和 Kitchen 任务上。

5. 意义与主张

本文声称 MODIP 成功弥合了扩散策略的表达能力与基于模型的强化学习的样本效率之间的鸿沟。通过将 MPC 规划器视为一种间接的策略改进算子，MODIP 在保留监督学习的稳定性和简单性的同时，实现了策略超越初始离线数据集限制的能力。

作者强调，特定的设计选择——使用终端状态价值 $V(s)$ 和策略无关的评论家目标——不仅是优化手段，更是使基于扩散策略的规划在计算上变得可行的关键。这项工作证明，将多模态先验与基于模型的规划相结合，比直接对扩散策略进行 RL 微调以及使用高斯策略的传统基于模型方法都能获得更优的结果。

局限性： 作者指出，虽然扩散策略在学习像素级信息方面具有多样性，但本研究中的所有基准测试均使用了实值向量状态信息。评估 MODIP 直接从图像中学习的潜力被确定为未来工作中的必要步骤。