🤖 machine learning

FlowMPC: Improving Flow Matching policies with World Models

本文介绍了 FlowMPC，这是一个通过集成学习到的世界模型来执行测试时 MPPI 规划，从而在不改变原始训练目标的情况下提高任务成功率，进而增强流匹配（Flow Matching）策略在机器人操控任务中表现的框架。

原作者： Chandon Hamel

发布于 2026-06-16

📖 1 分钟阅读☕ 轻松阅读

原作者： Chandon Hamel

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一个机械臂去抓取一个特定的物体，比如一个立方体或一个 YCB 工具，并将其精准地放置在你想要的位置。这篇论文介绍了一种让机器人变得更聪明的新方法，叫做 FlowMPC。

以下是它的工作原理，使用简单的类比进行说明：

1. 问题所在：“有天赋但天真”的学徒

首先，研究人员使用一种叫做**流匹配（Flow Matching, FM）**的方法训练了一个机器人。把这个 FM 策略想象成一个非常出色的学徒，他观察了成千上千段大师完成这项工作的视频。

擅长之处： 因为它从这么多例子中学习，它非常擅长生成多样化且具有创造性的动作路径。它知道，拿起一个立方体并不只有一种方法，而是有很多成功的路径。
弱点： 这个学徒本质上是一个“模仿者”。它只知道根据它在视频中看到的内容来行动。如果机器人犯了一个微小的错误（比如轻微的晃动），而这个错误在训练视频中从未出现过，学徒可能会惊慌失措或导致误差累积，从而在任务即将完成的最后关头失败。它不知道如何通过“预判未来”来修正自己的错误。

2. 解决方案：添加一个“水晶球”（世界模型）

为了解决这个问题，研究人员并没有重新训练这个学徒，而是给了这个学徒一个水晶球（学习到的世界模型）和一个规划器。

水晶球（世界模型）： 这是一个能够预测未来的模拟器。如果机器人这样移动手臂，水晶球会说：“好的，一秒钟后，物体会在这里，你很可能会成功。”如果它那样移动，水晶球会说：“不，你会掉落物体的。”
规划器（MPPI）： 这是决策者。它询问学徒：“嘿，给我 500 个关于如何完成这项任务的不同想法。”
- 学徒（FM 策略）根据它从视频中学到的知识，快速生成 24 个它认为最好的、最具创造性的想法。
- 规划器用随机猜测来填补剩下的 500 个想法。
- 规划器随后使用水晶球将所有 500 个想法向未来进行模拟。它会检查：“哪些路径能导致成功的终点，且不会掉落物体？”
- 最后，它选择最佳路径并执行第一步动作。

3. 结果：从“优秀”到“卓越”

研究人员在两个任务上测试了该方法：拿起立方体和拿起特定工具（PickSingleYCB）。

结果： 拥有水晶球的机器人不仅达到了目标，而且能稳稳地停留在那里。
- 拿起立方体（PickCube）： 成功率从 93% 提升到了 97%。
- 拿起特定工具（PickSingleYCB）： 成功率从 57% 提升到了 66%。
核心洞察： 最显著的改进发生在任务的最后阶段。仅靠 FM 学徒往往能让物体接近目标，但在最后的关键时刻会手忙脚乱。世界模型起到了安全网的作用，让机器人能够修正微小的误差，并在最后一刻稳稳地握住物体。

4. 为什么这很特别

通常，要让机器人变得更好，你需要用一套新的、复杂的规则来重新训练它（强化学习）。但这篇论文采取了不同的做法：

它保持了学徒的训练方式完全不变。
它只是在机器人实际执行任务的那一刻，增加了一个“思考步骤”。

比喻：
想象一位完美背诵了乐曲的音乐家（FM 策略）。他们演奏得很好，但如果漏掉了一个音符，可能会迷失节奏。
Flow-MPC 就像是给这位音乐家配备了一位指挥家，这位指挥家能在脑海中聆听接下来的几秒钟音乐。如果音乐家即将错过节拍，指挥家会低声耳语：“其实，你可以尝试这种轻微的变化”，从而确保乐曲完美收尾。

总结

这篇论文表明，通过将一个学习型模仿者（知道完成任务的多种方法）与一个预测型模拟器（知道哪些方法真正有效）相结合，可以显著提高机器人的可靠性。这使得机器人能够在实时过程中修正自身的微小错误，从而在任务的关键时刻实现更高的成功率。

技术摘要：FlowMPC

问题陈述

流匹配（Flow Matching, FM）已成为处理多模态动作空间中行为克隆（Behavior Cloning）的一种强大方法，特别是在机器人操控领域，其中多个不同的动作轨迹可以完成同一任务。然而，FM 本质上是一种旨在匹配专家行为的模仿学习方法，而非直接最大化预期回报。因此，FM 策略受限于演示数据的质量和覆盖范围。它们往往难以从微小的误差中恢复，也难以应对复合误差或专家数据中未充分表示的状态。

虽然最近的研究尝试通过使用强化学习（RL）来精炼 FM 策略来解决这一问题，但这类方法需要修改 FM 本身的训练目标。本文研究了一个不同的问题：学习到的世界模型能否在不改变 FM 训练目标的情况下改进 FM 策略？ 其目标是确定基于模型的规划（Model-based Planning）是否可以在测试时对基于流的模仿策略进行补充。

方法论：FlowMPC 框架

所提出的框架 FlowMPC 将模仿学习得到的 FM 策略与学习到的世界模型集成到了模型预测路径积分（MPPI）规划循环中。其核心思想是将 FM 策略作为生成候选动作序列的结构化提议机制，随后由世界模型对这些序列进行评估和精炼。

1. 训练范式

训练流程包含五个阶段：

专家数据采集： 一个具有特权状态信息的 SAC 智能体生成专家演示。
轨迹采集： 采集完整的轨迹（包括 RGB、本体感受、动作、奖励）。
FM 策略训练： 在这些专家轨迹上训练 FM 策略，以学习一个多模态动作先验。
视觉预处理： 使用 FM 策略的视觉编码器对专家轨迹进行重新采集，并对 RGB 观测进行预处理，以生成紧凑的视觉潜变量（ $z_{viz,t}$ ）。
世界模型训练： 利用预载了专家数据的经验回放池，在线训练世界模型，将预处理后的视觉潜变量与本体感受状态相结合（ $x_t = [s_t, z_{viz,t}]$ ）。

2. 对 TD-MPC2 的架构适配

该框架构建于 TD-MPC2 之上，但将其学习到的 Actor 替换为了模仿学习得到的 FM 策略。为了适应这种混合结构，进行了几项关键修改：

行为克隆动作预测器 ( $\pi_{BC}$ )： 一个专门的网络，将当前模型状态映射到动作。它用于在规划展开（rollouts）期间进行终端价值引导（bootstrapping），以确保价值函数评估的是分布内的动作，从而稳定规划过程。
统一表示接口： 世界模型直接消耗 FM 视觉潜变量与本体感受状态拼接后的结果，而不是学习独立的编码器。这使得世界模型能够利用 FM 策略冻结的视觉特征。
简化目标函数： 鉴于任务的二元奖励结构，标准 TD-MPC2 中复杂的离散化 symlog 转换奖励被替换为二元交叉熵奖励以及标准的均方误差 Q 值回归。
双重世界模型变体：
- 状态空间变体（State-Space Variant）： 直接在拼接后的状态与视觉潜变量空间内进行预测。用于 PickCube 任务（ $H=1$ ）。
- 潜空间变体（Latent-Space Variant）： 遵循标准的 TD-MPC2，具有学习到的潜表示和多步展开。用于更复杂的 PickSingleYCB 任务（ $H=3$ ）。

3. 推理与规划

在测试时，规划器按如下方式运行：

提议（Proposal）： 给定当前观测，规划器采样 $K$ 个候选动作轨迹。其中一部分（ $K_\pi$ ）由 FM 策略提议，其余部分则随机采样。
展开与评分（Rollout & Scoring）： 每个轨迹都在学习到的世界模型中进行展开。轨迹通过累加预测奖励和来自行为克隆预测器的终端价值估计（ $\hat{Q}$ ）来进行评分。
精炼（Refinement）： MPPI 根据这些评分对轨迹进行重新加权和精炼。执行优化序列中的第一个动作。
效率： FM 视觉编码针对每个观测仅计算一次，并在所有样本和集成步骤中重复使用。

关键结果

该方法在两个 ManiSkill 操控任务上进行了评估：PickCube-v1 和 PickSingleYCB-v1。

回合结束成功率（End-of-Episode Success）： 最显著的提升出现在维持任务完成阶段的稳定性方面。
- PickCube： 从 93.14%（仅使用 FM）提高到 97.44%（使用 FlowMPC）。
- PickSingleYCB： 从 56.81%（仅使用 FM）提高到 66.41%（使用 FlowMPC）。
随时成功率（Anytime Success）： 在达到成功状态的瞬时表现上也看到了提升，尽管增幅较小。
- PickCube： 95.78% $\to$ 98.68%。
- PickSingleYCB： 68.77% $\to$ 69.78%。

结果表明，世界模型在纠正微小动作误差以及在任务接近完成时保持稳定控制方面特别有效，而不仅仅是帮助智能体达到瞬时成功状态。

重要性与主张

本文认为，基于世界模型的规划可以有效地补充基于流的模仿策略，而无需改变 FM 的训练目标。

混合方法： 该工作展示了一种模仿学习与基于模型的强化学习之间的可行混合方案。它利用模仿学习来学习强大的多模态动作先验，并利用规划在推理时进行决策精炼。
无需重训： 性能的提升来自于在测试时更好地利用策略，而不是通过新的 RL 目标对策略进行重训。
研究范围有限： 作者明确指出，其结果仅限于两个任务，且最优的世界模型设计（状态空间 vs 潜空间、规划时界）随任务而异。他们并未声称拥有一种通用的最优配置，而是提出，将具有表达能力的生成式策略与前瞻规划（lookahead planning）相结合是一个极具前景的鲁棒策略改进方向。
性能基准： 该方法提升了一个强大的 FM 基准（该基准在其中一个任务上已经接近 TD-MPC2 的性能），这表明规划器是在“锐化”一个强大的策略，而不仅仅是在挽救一个弱势的策略。