⚡ electrical engineering

From World Models to World Action Models: A Concise Tutorial for Robotics

本教程通过将世界模型定义为动作条件化预测模型，将现有方法分类为观测空间和状态空间，并引入通过四种关键范式将预测未来与可执行机器人动作相连接的“世界动作模型”，从而阐明了机器人领域中世界模型的概念范围。

原作者： Xiaoxiong Zhang, Xiong Zeng, Wei Zhang

发布于 2026-07-02

📖 1 分钟阅读☕ 轻松阅读

原作者： Xiaoxiong Zhang, Xiong Zeng, Wei Zhang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一个机器人清理晚餐后凌乱的桌面。你不仅仅是想让机器人的手臂随机移动；你希望它能理解拿起一个盘子会发生什么，然后决定如何移动才能实现那个结果。

这篇论文是一本为构建“大脑”以实现这一目标的研究人员编写的指南。它澄清了围绕**世界模型（World Models）**那些令人困惑的术语，并引入了一个更具实际意义的新概念——世界动作模型（World Action Models）。

以下是使用简单类比进行的拆解：

1. 什么是“世界”？

请不要将“世界”理解为整个地球，而是指机器人所在的特定游乐场。

机器人： 玩家。
环境： 桌子、餐具、地板以及周围的空气。
目标： 将游乐场从“凌乱”状态转变为“整洁”状态。

2. “世界模型”：机器人的水晶球

世界模型就像是存在于机器人脑海中的水晶球或飞行模拟器。它的唯一任务就是回答一个问题：“如果我现在做动作 X，一秒钟后世界会变成什么样？”

该论文根据它们如何观察未来，将这些水晶球分为两大主要类型：

类型 A：“电影”模型（观测空间）

这种模型像电影摄像机一样预测未来。

工作原理： 它获取过去的视频，并预测下一帧画面。
权衡：
- 优点： 它擅长视觉细节。它知道盘子的样子、光影和阴影。
- 缺点： 它沉重且缓慢。它试图预测每一个像素（每一粒尘埃），这需要大量的工作。它可能会被墙上变化的影子所分心，而不是专注于移动的盘子。
输入： 你可以告诉这个模型去移动摄像机、发出指令（“移动盘子”）或给它一个特定的机器人手臂动作。

类型 B：“蓝图”模型（状态空间）

这种模型像棋手或工程师一样预测未来。它忽略了漂亮的图像，专注于事实。

工作原理： 它不是预测一段视频，而是预测一组事实清单：“盘子现在位于坐标 (X, Y)”，“机器人手正握着盘子”或“盘子正接触水槽”。
权衡：
- 优点： 它高效且符合逻辑。它剥离了噪音（如背景音乐或光影变化），只关注对任务至关重要的信息。
- 缺点： 它需要大量的设置。你必须先教会机器人如何将混乱的视频转化为这些清晰的事实。

3. 缺失的环节：“世界动作模型”

这是本论文的核心观点：仅仅预测未来是不够的。

如果机器人拥有一个显示出整洁桌面的水晶球，但它不知道如何移动手臂才能达到那个状态，那它也是没用的。这就像拥有一个显示目的地，却不告诉你该如何转动方向盘的 GPS。

论文引入了世界动作模型。这些系统不仅会说，“这就是未来，” 还会说，“这就是未来，并且这是你需要按下的确切按钮。”

论文将这些“动作模型”组织成四种不同的策略（范式），用于将对未来的视觉与当下的动作连接起来：

想象，然后执行（两步舞步）：
- 第一步： 机器人使用其“电影模型”来想象桌面变整洁的过程。
- 第二步： 一个单独的“逆向模型”观察这段想象出的视频，并说：“好吧，为了实现这个目标，我需要这样移动我的手臂。”
- 优点： 你可以用 YouTube 视频（大量数据）来训练“想象”部分，用真实的机器人数据来训练“动作”部分。
- 缺点： 如果想象稍有偏差，动作也会出错。
视频特征调节（捷径）：
- 机器人并不生成完整的视频（这很慢），而是直接观察视频模型内部的“骨架”或隐藏特征。
- 它利用这些隐藏的线索立即决定动作。
- 优点： 速度更快。
- 缺点： 这是一个“黑盒”。你看不到计划，只能看到机器人在对不可见的信号做出反应。
联合建模（全能一体）：
- 机器人学习一个巨大的大脑，同时完成这两件事。它同时预测视频和机器人的动作。
- 优点： 视频和动作是完美匹配的，因为它们是共同学习的。
- 缺点： 训练非常困难，因为你需要大量既包含视频又包含精确机器人动作的数据。
辅助预测（隐形老师）：
- 机器人在训练期间被要求仅预测未来的视频，但在实际执行任务时，它会丢弃视频部分，只使用动作部分。
- 优点： 它迫使机器人学习更好的世界理解能力，而不会在实际工作中拖慢速度。
- 缺点： 机器人从未显式地利用视频进行“规划”；它只是依赖于练习过程中形成的习惯。

总结

论文认为，我们不应该再将“预测未来”和“执行动作”视为两个独立且令人困惑的概念。通过将这些工具组织成一个清晰的地图（分类法），作者希望帮助工程师构建出不仅能看见接下来会发生什么，而且能采取行动使之发生的机器人。

旧方式： “我可以预测未来。”（但我不知道如何移动。）
新方式（世界动作模型）： “我可以预测未来，并且我知道按下哪些确切的按钮能让那个未来成为现实。”

技术摘要：从世界模型到世界动作模型

1. 问题陈述

具身智能（Embodied AI）和生成式模拟领域日益依赖于“世界模型”来预测在特定动作下的未来演化。然而，“世界模型”这一术语在不同研究社区中存在概念上的歧义，涵盖了从潜空间动力学模型、视频预测模型、物理信息驱动的模拟器到动作条件生成模型等一系列迥异的方法。这些方法在建模对象、预测内容以及如何利用预测结果进行控制方面有着本质的区别。

本教程旨在解决的核心挑战是缺乏统一的定义和结构化的分类法。具体而言，需要澄清“预测未来状态/观测”与“生成可执行机器人动作”之间的关系。本文认为，仅靠预测不足以实现具身决策；关键的差距在于如何将预测的未来与能够推断出可执行动作以实现这些未来的“世界动作模型”（World Action Models, WMs）联系起来。

2. 方法论与框架

本文提出了一个基于设计空间的视角来审视世界模型，根据其预测空间及其与动作生成的耦合程度对其进行分类。

2.1. 定义与范围

世界（World）： 定义为与任务相关的实体集合，包括机器人及其环境（物体和环境上下文）。
世界模型（World Model）： 一种动作条件的预测模型，在给定历史观测序列和动作（ $o_{0:t}, a_t$ ）的情况下，估计未来任务相关观测（ $o_{t+1}$ ）或状态（ $x_{t+1}$ ）的演化。
世界动作模型（World Action Model, WAM）： 一种通过将预测的未来观测或状态与可执行动作显式关联，从而扩展世界模型的策略。

2.2. 世界模型的分类法

作者将现有方法分为两个主要的维度进行分类：

A. 观测空间世界模型（Observation-Space World Models）
这些模型直接预测未来的观测结果（ $o_{t+1} \sim p_\theta(\cdot | o_{0:t}, a_t)$ ）。其设计空间由两个轴构成：

观测的空间显式性（Spatial Explicitness）： 从标准 RGB 图像（数据丰富但空间结构较低）到 RGB-D、点云和多视图 RGB（几何保真度更高但数据较稀缺）。
动作抽象程度（Action Abstraction）： 从适用于控制和模拟的低级机器人指令（关节/末端执行器），到接口动作（相机/视角控制）、潜空间动作（通过重构从无标签视频中学习）以及语言指令（高层规划）。

B. 状态空间世界模型（State-Space World Models）
这些模型首先将观测抽象为紧凑的状态表示（ $x_t$ ），然后再预测演化过程（ $x_{t+1} \sim p_\theta(\cdot | o_{0:t}, a_t)$ ）。这解决了在高维原始观测空间中学习动力学的困难。本文识别了四种状态表示类型：

潜状态（Latent State）： 通过神经网络编码（通过目标领域学习或在大规模数据上预训练），用作强化学习（RL）或模型预测控制（MPC）的紧凑模拟器。
点轨迹（Point Track）： 将状态表示为 2D 或 3D 点轨迹，在去除背景噪声的同时保留显式的运动信息。
神经符号（Neural-Symbolic）： 使用落地的布尔谓词将视觉观测映射为逻辑事实，支持组合推理和长程规划。
物理状态（Physical State）： 利用经典力学显式建模物理变量（位姿、速度、接触状态、摩擦力），通常需要 3D 重建和模拟器对齐。

2.3. 世界动作模型的分类法

本文介绍了四种将视觉预测与动作生成耦合的代表性范式：

先想象后执行（Imagine-then-execute）： 这是一种两阶段方法，首先由视频模型生成视觉子目标，随后由独立的逆动力学模型或目标条件策略将当前观测与子目标映射为动作。这种方法具有模块化优势，但存在视觉规划器产生误差并传播的风险。
视频特征条件动作预测（Video-feature-conditioned action prediction）： 这是一种避免生成完整视频的两阶段方法。它从视频预测骨干网络中提取中间时空特征，以此来调节动作模块。这降低了计算成本，但牺牲了显式视觉计划的可解释性。
联合视频-动作建模（Joint video-action modeling）： 一种统一的生成模型，同时学习未来观测与动作序列的联合分布。这提高了动作与诱导未来之间的一致性，但需要稀缺的带有动作标签的机器人数据，且面临复杂的多目标优化问题。
用于策略学习的辅助视频预测（Auxiliary video prediction for policy learning）： 将视频预测作为辅助训练目标，用以塑造策略的内部表示，但在推理阶段不使用视频分支。这提高了推理效率，但依赖于训练目标来隐式传递预测信息。

3. 核心贡献

统一定义： 本文为世界模型确立了清晰的概念范围，将其定义为动作条件的预测模型，并将其与世界动作模型区分开来。
结构化分类法： 提供了一个基于预测空间（观测空间 vs. 状态空间）和动作抽象层级的全面分类。
范式分析： 总结并比较了四种不同的世界动作模型范式，分析了它们在模块化、计算成本、数据需求和可解释性方面的权衡。
设计空间可视化： 本文将现有方法（如 Dreamer, Genie3, V-JEPA, PIN-WM）映射到这些设计空间中，以展示空间理解、数据可用性与下游可用性之间的权衡。

4. 结果与主张

作为一篇综述性教程论文，本文并未呈现新的实验结果或基准性能指标。相反，其“结果”是对当前格局的综合与整理：

权衡识别： 本文明确指出，观测空间模型往往难以处理空间结构和任务无关的变化，而状态空间模型提供了更好的物理可解释性和控制可用性，但需要特定的状态表示。
范式局限性： 文中强调没有单一范式是完美的；例如，“先想象后执行”存在视觉-动作接地（grounding）差距，而“联合视频-动作建模”则受限于动作标注数据的匮乏。
数据可用性： 文中指出丰富的 RGB 视频数据与稀缺的空间显式数据（RGB-D、点云）或动作标注数据之间存在显著差异。

5. 意义

本文声称其主要意义在于澄清了世界（动作）模型的概念范围，并为具身预测与控制提供了一个结构化的分类法。通过区分仅仅预测未来与将预测与可执行动作相结合的模型，作者旨在引导研究人员根据特定的任务需求（如控制 vs. 规划）和数据约束来选择合适的架构。本教程作为一个基础参考，旨在帮助研究者在具身 AI 的设计空间中进行导航，使不同研究社区的术语和预期趋于一致。