🤖 AI

Coupled Local and Global World Models for Efficient First Order RL

本文提出了一种新颖的解耦一阶梯度方法，该方法将高保真全局扩散世界模型与轻量级局部代理模型相结合，以实现在图像空间内直接针对复杂操纵任务进行高效的无模拟器强化学习。

原作者： Joseph Amigo, Rooholla Khorrambakht, Nicolas Mansard, Ludovic Righetti

发布于 2026-06-03

📖 1 分钟阅读☕ 轻松阅读

原作者： Joseph Amigo, Rooholla Khorrambakht, Nicolas Mansard, Ludovic Righetti

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你想要教一个机器人如何推一个 T 形积木、拿起一个盒子或在房间里穿行。传统上，你有两个糟糕的选择：

“试错法” (Trial and Error)： 你让机器人在现实世界中不断尝试。如果它掉落了盒子，它就会从中学习。但机器人动作缓慢，而且弄坏东西的代价很高。它需要数百万次的尝试才能学到任何有用的东西。
“电子游戏法” (Video Game)： 你构建一个完美的物理模拟器（就像电子游戏一样）并在其中训练机器人。然后你希望它能在现实生活中奏效。但现实生活是混乱的——想想一个被压扁的可乐罐或一袋碎石子。模拟器很难复制这种混沌状态，因此机器人在走出游戏进入现实时会失败。

这篇论文介绍了一种第三种方法：让机器人在一个通过观察现实生活而学到的“梦境”中学习，但其背后的数学逻辑是一个巧妙的双部分系统。

核心思想：“大游客”与“当地向导”

作者构建了一个由两个截然不同的脑部协作组成的系统，他们称之为耦合局部与全局世界模型 (Coupled Local and Global World Model)。你可以把它想象成规划一次复杂的公路旅行：

全局模型 (Global Model - “大游客”)： 这是一个庞大、重型的 AI，它观看过数千小时的真实机器人视频。它极其擅长想象未来。如果你问它：“如果我推这个积木会发生什么？”它能生成一段关于接下来几秒钟的高清、逼真的视频。它看到的正是真实世界的样子，包含了所有混乱的细节。
- 问题在于： 这个“大游客”如此复杂，以至于要求它进行计算来弄清楚如何改进驾驶（计算梯度）就像是在跑马拉松的同时还要解一道微积分题。它太慢了，计算成本也太高。
局部模型 (Local Model - “当地向导”)： 这是一个微小、轻量级的 AI。它看不见完整的高清视频；它看到的是一个简化的、抽象的地图（一个“潜空间”）。它不像“大游客”那样华丽，但它做数学运算的速度非常快。
- 诀窍在于： “当地向导”被训练去模仿“大游客”在局部范围内的行为。它足以搞清楚转向盘应该往哪个方向转，而不需要模拟整个世界。

它们如何协同工作：“解耦”之舞

这篇论文的秘诀在于解耦 (Decoupling)。通常在 AI 领域，负责想象未来的大脑和负责计算学习过程的大脑是同一个。但这篇论文将它们分开了：

前向传递 (Forward Pass - 想象)： **“大游客”**生成未来。它创造了一段关于机器人“将会如何行动”的高质量、高清视频。这确保了机器人是从一个真实的模拟环境中学习，而不是从一个虚假的电子游戏中学习。
反向传递 (Backward Pass - 学习)： **“当地向导”**观察这段视频并进行数学计算，以找出如何获得更高的分数。因为“当地向导”规模小且简单，它可以瞬间计算出“梯度”（即告诉机器人如何改进的数学指令）。

类比： 想象一个正在学习绘画的学生（机器人）。

**“大游客”**是一位大师级的画家，他创作了一幅极其精美、细节丰富的风景杰作。
**“当地向导”**是一位快速素描师，他看着这幅杰作并说：“为了让画作更好，你需要把画笔这样移动。”
学生听从素描师快速给出的建议，但利用大师画家的愿景来了解最终的目标应该是怎样的。

实际成果 (The Results)

团队在真实的机器人和现实环境中测试了这些方法，且在特定任务上零先验训练 (Zero-Shot)。他们没有使用手工编写的物理规则；机器人完全是通过数据进行学习的。

他们测试了三个任务：

Push-T： 一个机器人手臂将 T 形物体推向目标点。
Ego-Centric Push Cube： 一个四足机器人（类似机器狗）在行走时将方块推入足球门内。
Humanoid Grasp： 一个拥有灵巧手的类人机器人抓取盒子并将其举起。

结果如下：

速度： 他们的这种方法比标准方法（如 PPO）学得更快。它需要的“尝试”（样本）更少，耗费的实时时间也更短。
成功率： 在 Push-T 任务中，他们的机器人成功率达到了 9/10，而标准方法仅为 1/10。
鲁棒性： 当他们尝试只使用微小的“当地向导”（而不使用“大游客”）时，机器人完全失败了。这证明了你需要“大游客”来观察真实世界，但你需要“当地向导”来进行高效的学习。

为什么这很重要

这篇论文表明，你并不需要一个完美的物理模拟器来训练机器人。相反，你可以在一个基于现实世界数据构建的“梦境”中训练它们。通过将“观察世界的大脑”与“进行数学计算的小脑”分工协作，他们使得直接从视频数据中教授机器人完成复杂、混乱的任务成为可能，而无需损坏硬件或等待数年进行训练。

简而言之： 他们教会了机器人通过“做梦”来学习——利用一个快速、简单的脑部来理清教训，并利用一个强大、真实的脑部来确保梦境符合现实。

技术摘要：用于高效一阶强化学习的耦合局部与全局世界模型

问题陈述

强化学习（RL）通过并行化 GPU 模拟器在运动控制任务中取得了显著成功，但在感知控制和操控方面仍面临重大障碍。两个主要问题阻碍了进展：

样本效率： 直接从真实机器人交互中进行实际在线学习通常是不可行的，因为数据收集的成本极高。
仿真保真度： 模拟操控任务本质上比运动控制更复杂。环境状态随智能体动作动态变化（例如，可变形物体、颗粒动力学），这种动态性引入了无限的变化，当前的物理模拟器难以建模出足以实现从仿真到现实（sim-to-real）迁移的高保真度。

虽然在可微世界模型中使用一阶梯度（FoG）方法学习智能体是解决样本效率问题的途径，但现有方法面临扩展性瓶颈。用于高保真现实世界动力学的大规模世界模型（如扩散模型）在进行微分时计算成本极高，使得标准反向传播在训练 FoG 策略时变得难以处理。相反，适用于微分的轻量级模型往往缺乏捕捉复杂现实世界动力学的表达能力。

方法论

本文提出了一种创新的框架，通过将前向模拟与后向微分解耦，从而实现使用大规模世界模型的有效一阶模型强化学习（FoG-MBRL）。其核心架构由两个耦合组件组成：

全局世界模型（前向传递）：
- 一个大规模、离线训练的模型（可以是基于扩散的模型如 DIAMOND，或基于 Transformer 的潜在扩散模型如 DreamerV4）充当“全局”模拟器。
- 该模型在像素空间（或高维潜在空间）中运行，以生成高保真的前向轨迹（ $s^{\rightarrow}_{t+1}$ ），从而准确捕捉复杂的视觉和接触动力学。
- 它是在从真实机器人收集的非结构化、高熵探索数据（play data）上训练的，消除了对手工构建物理模拟器的需求。
局部世界模型（后向传递）：
- 一个轻量级的循环状态空间模型（RSSM）在低维潜在空间中充当“局部”代理。
- 该模型近似局部动力学并提供用于策略优化的梯度。
- 至关重要的是，梯度是通过在全局模型生成的状态点（ $s^{\rightarrow}_{t+1}$ ）处评估局部模型的雅可比矩阵（Jacobians）来计算的，而不是通过评估局部模型自身的预测。这种解耦使得系统既能利用全局模型的准确性来生成轨迹，又能利用局部模型进行计算可行的梯度估计。
训练协议：
- 数据收集： 在真实机器人上收集非结构化的探索数据，无需严格的任务分割。
- 奖励建模： 根据任务的不同，奖励信号可以源自对比能量函数（在探索/演示数据上训练）或识别任务相关行为的轻量级分类头。
- 优化： 策略完全在世界模型内通过解耦前向-后向模型策略优化（DMO）算法进行优化。局部模型在强化学习过程中不断进行微调，以保持相对于当前策略动作分布的准确性。

核心贡献

解耦的 FoG-MBRL 框架： 作者引入了一种将高保真前向模拟（通过大型扩散/流模型）与高效后向微分（通过轻量级 RSSM）分离的方法。这解决了建模复杂度与梯度计算成本之间的权衡问题。
基于真实数据的无模拟器学习： 该方法完全从真实机器人数据中训练智能体，绕过了物理模拟器，并直接解决了 sim-to-real 的差距问题。
零样本部署： 该框架展示了在世界模型中训练策略并在真实机器人上部署的能力，且无需进一步的微调或行为克隆引导。
对复杂动力学的鲁棒性： 该方法成功处理了涉及部分可观测性、复杂接触动力学和高自由度（例如，类人机器人操控）的任务。

实验结果

作者在三个复杂程度递增的真实机器人任务上评估了其方法：

Push-T： 一个推 T 形物体的桌面操控任务。
自我中心推方块（Ego-Centric Push Cube）： 四足机器人将方块推入目标的任务，涉及行走动力学和部分遮挡。
类人机器人抓取与举起（Humanoid Grasp and Lift）： 高自由度类人机器人使用灵巧手抓取并举起一个箱子。

主要发现：

样本与时间效率： 在所有任务中，所提出的 DMO 方法在样本效率和墙钟时间（wall-clock time）方面均显著优于 PPO（近端策略优化）。PPO 在收敛方面表现挣扎，或者需要过多的样本，且经常陷入次优局部解。
全局模型的必要性： 消融实验（“无扩散”）显示，若使用标准的 RSSM 替换全局扩散模型进行前向传递，会导致任务完全失败（成功率为 0%），证实了高保真前向模型对于复杂操控任务至关重要。
优于行为克隆： 学习到的策略优于行为克隆基准（Action Chunking Transformer），展示了其发现长期策略以及处理演示数据未充分覆盖的状态空间区域的能力。
零样本成功率： 完全在世界模型中训练的策略在部署到真实机器人时实现了很高的成功率（例如，Push-T 为 9/10，Humanoid Grasp 为 8/10），且无需额外的现实世界训练。

意义与主张

本文声称，学习完全处于数据驱动的世界模型中的智能体，是解决图像空间中难以建模的复杂任务的一条可行且充满前景的路径。通过将前向准确性与后向可微性解耦，作者证明了大规模、高计算成本的世界模型可以有效地用于高效的策略优化。

这项工作旨在解决对手工构建物理模拟器的依赖，通过获取真实世界数据，提供了一种可扩展到复杂、非结构化环境的方法。作者指出，尽管目前的实现需要从头开始训练全局模型，并依赖于某些任务的手工标注奖励，但该框架为真实机器人训练提供了一个安全的代理，能够在不造成硬件损坏风险的情况下实现可扩展的策略优化。未来的工作方向被确定为利用互联网规模的预训练视频模型，以进一步降低数据需求并实现奖励自动标注。