🤖 AI

A Tutorial on World Models and Physical AI

本教程提出了一个用于物理人工智能（physical AI）的统一框架，该框架区分了显式世界模型与隐式世界模型，强调了它们在实现预测、推理和决策方面的互补作用，同时应对了当前在层级推理和长程规划方面面临的挑战。

原作者： Il-Seok Oh

发布于 2026-06-12

📖 1 分钟阅读☕ 轻松阅读

原作者： Il-Seok Oh

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

核心理念：大脑的“飞行模拟器”

想象一下，你是一个正在学习开车的人。你有两种学习方式：

“撞车与毁灭”法： 你坐进一辆真实的汽车，开车、撞车、修车、再开车、再撞车。你学得很慢，而且既危险又昂贵。
“飞行模拟器”法： 你在脑海中建立一个关于汽车如何运作的模型。你坐在客厅里，闭上眼睛，在脑海中“想象”驾驶。你想象转动方向盘向左转，想象撞到一个颠簸，以及想象如果刹车过猛会发生什么。你在真正触碰方向盘之前，就在脑海中学会了交通规则。

这篇论文讨论的是如何教计算机建立第二种“心理飞行模拟器”。作者称之为世界模型（World Model）。

论文指出，为了让机器人和自动驾驶汽车变得真正聪明（像人类一样），它们不能仅仅是对“当下”所见之物做出反应。它们需要根据对世界运作方式的内在理解，来预测“接下来”会发生什么。

构建心理模拟器的两种方式

论文解释了构建这种“飞行模拟器”的两种主要方式。你可以把它们想象成**“蓝图”与“直觉”**。

1. 显式世界模型（蓝图）

运作方式： 这就像建筑师绘制一份详细的建筑蓝图。计算机学习特定的规则：“如果我推这个方块，它会掉落。”“如果我把轮子向左转，车就会向左行驶。”它创造了一个清晰的、关于因果关系的逐步映射。
超能力： 因为它拥有一份清晰的地图，所以它可以进行“假设（what-if）”场景演练。它可以说：“如果我执行动作 A，我会得到结果 X。如果我执行动作 B，我会得到结果 Y。”它可以通过在脑海中模拟这些步骤来进行预判。
缺陷： 建立蓝图非常困难。如果现实世界很混乱，或者计算机在规则上出了一个小错，整个模拟过程可能会彻底出错。
文中提到的现实案例：
- Dreamer/DayDreamer： 一个通过在“潜空间”（一种压缩后的现实心理版本）中想象步骤，从而学习走路或移动物体的机器人。
- MuZero： 一个通过发明自己的规则并模拟动作以寻找最佳策略，从而学会玩游戏（如雅达利游戏）的系统。
- GAIA： 一个用于自动驾驶汽车的系统，它能在脑海中生成未来的视频帧，以观察加速或减速会发生什么。

2. 隐式世界模型（直觉）

运作方式： 这更像是一位经验丰富的厨师，不需要食谱。他们品尝过成千上上的道菜肴，对食材之间的相互作用有一种“直觉”。他们不会写下规则；他们只是“知道”如果在水中加盐，水会沸腾得更快。
超能力： 这些模型通过观察海量数据（如数百万个视频或文本）进行学习。它们吸收了世界的“氛围（vibe）”。它们擅长识别模式并理解上下文，而不需要模拟每一个具体的步骤。
缺陷： 很难知道它们为什么做出某个决定。你无法要求它们“展示蓝图”，因为它们没有蓝图。它们只是基于其内在的“感觉”给出一个答案。
文中提到的现实案例：
- Genie： 一个通过观看视频并学习生成新的、真实的视频片段的模型，展示接下来可能发生的情况，而无需被告知物理规则。
- V-JEPA / AD-L-JEPA： 这些系统观察一个场景（如机器人手臂或道路），并预测未来的“结构”会是什么样子，而不需要实际画出未来的图像。它们根据周围部分的形状来填补缺失的拼图碎片。

为什么这对“物理 AI”至关重要

论文重点讨论了物理 AI（Physical AI）——即存在于现实世界而非仅仅存在于视频游戏中的机器人和汽车。

问题所在： 现实生活是混乱的。机器人会损坏，路面会湿滑，风会吹过。如果一个机器人仅仅是对它“现在”看到的东西做出反应（就像反射动作一样），它可能会直到为时已晚才发现危险。
解决方案： 通过使用世界模型，机器人可以在行动之前进行“思考”。
- 类比： 想象一位走钢丝的人。一个仅靠反应的走钢丝者只是盯着脚下并试图保持平衡。而一个拥有世界模型的走丝者会看向前方，想象风在吹，并在感觉到风之前就调整重心。
目标： 论文建议，将这两类模型（详细的“蓝图”和直觉式的“直觉”）结合起来，是让机器人能够安全、高效地处理复杂、长期任务的关键。

通往“超智能（AGI）”的障碍

作者坦诚地说明了我们目前的处境。我们正在构建聪明的模拟器，但尚未达到目标。他们指出了三个巨大的障碍：

长线规划： 现有的模型擅长预测未来几秒钟。但它们在规划数小时或数天方面表现挣扎。这就像是擅长国际象棋的下一步，却无法规划整局棋。
“为什么”的问题： 机器人可以遵循指令（“拿起杯子”），但它们并没有真正的“目标”。它们不会醒来后决定“我好无聊，我想去探索厨房”。它们需要人类告诉它们想要什么。
混合与匹配： 我们需要弄清楚如何将“蓝图”（显式）和“直觉”（隐式）结合成一个既聪明又安全的单一系统。

总结

这篇论文是一本指南。它告诉我们，要构建真正的智能机器，我们不能仅仅教它们如何反应，而要教它们如何想象。

显式模型就像是详细的地图，让我们可以模拟未来。
隐式模型则是通过观察世界而获得的深刻直觉。
物理 AI是测试这些想法在真实机器人和汽车上表现的领域。

最终的目标是创建一个能够从经验中学习、想象行为后果，并在混乱且不可预测的现实世界中做出明智决策的系统。

技术摘要：世界模型与物理 AI 教程

问题陈述

本文旨在解决人工智能领域中“世界模型”定义与应用碎片化的问题。虽然该术语对于构建具备预测、推理和决策能力的智能系统正变得日益重要，但在文献中的使用却并不一致。传统上，它指的是用于展开（rollout）和规划的环境动力学显式模型。而近期，它则涵盖了捕捉预测规律性但不暴露独立动力学函数的隐式内部表示。这种概念上的模糊性阻碍了不同方法之间的比较以及新进研究者对该领域的探索。此外，尽管模型化强化学习（Model-based RL）和基础模型（Foundation Models）已取得了显著进展，但仍缺乏能够将这些方法统一在单一概念框架下的系统性教程，特别是在涉及物理 AI（如机器人和自动驾驶等具身系统）的应用方面，因为这些智能体必须在现实世界的约束、安全风险和“从模拟到现实”（sim-to-real）的差距下运行。

方法论与框架

本文并非提出一种新算法，而是建立了一个连贯的概念框架，以统一多样化的世界建模方法。其方法论包括：

概念区分： 教程将现有方法分为两个主要范式：
- 显式世界模型（Explicit World Models）： 学习结构化的动力学（转移模型），以支持基于展开的推理、规划和反事实推理。它们充当内部模拟器。
- 隐式世界模型（Implicit World Models）： 在可扩展的学习表示（如大型基础模型）中编码预测结构，而不存在独立的动力学函数。推理通过在结构化表示上的推断（inference）产生，而非通过显式模拟。
操作原理： 本文使用一个包含四个组件的通用模板来定义世界模型的操作机制：
- 编码器 ( $E$ )： 将高维观测映射到紧凑的潜空间。
- 循环状态更新 ( $H$ )： 维护一个依赖历史的状态，以处理部分可观测性问题。
- 潜动力学 ( $F$ )： 模拟以动作（actions）为条件的潜状态演化。
- 解码器 ( $D$ )： 从潜状态重建观测（在某些隐式模型中是可选的）。
物理 AI 分析： 该框架被扩展到物理 AI，并区分了：
- 模式-1（反应式）： 直接的感知到动作映射，没有内部模拟。
- 模式-2（基于世界模型）： 系统维护一个内部潜状态，并利用世界模型来预判未来结果，从而实现长程规划和反事实推理。
案例研究： 教程回顾了具有代表性的架构以阐释这些范式：
- 显式模型： Ha–Schmidhuber（无记忆潜模型）、Dreamer（带有 RSSM 的上下文潜模型）、MuZero（面向规划且结合 MCTS 的模型）、DayDreamer（Dreamer 的机器人扩展）以及 GAIA（生成式驾驶模型）。
- 隐式模型： 大型语言/视觉语言模型（LLMs/VLMs）、Genie（生成式视频模型）以及 JEPA 变体（I-JEPA、V-JEPA、V-JEPA 2、AD-L-JEPA），后者在表示空间中学习兼容性而非重建。

主要贡献

本文的主要贡献在于分类学和教育意义，旨在澄清世界模型的图景：

统一分类法： 它提供了显式与隐式世界模型的系统性区分，明确了两者的区别在于环境动力学是如何表示的（作为可模拟的转移函数 vs. 嵌入在表示几何中）以及如何利用的（通过展开 vs. 通过推断）。
桥接理论与应用： 它明确地将抽象的世界建模原理与机器人和自动驾驶中的物理 AI 应用联系起来。它分析了这些模型如何解决具身系统中的“从模拟到现实”差距、数据效率和安全约束问题。
设计空间分析： 本文详细介绍了世界建模涉及的设计选择，包括状态表示（潜空间 vs. 显式）、动力学建模（随机 vs. 确定性）以及训练目标（重建 vs. 预测一致性）。
识别差距： 它强调了阻碍当前系统达到通用人工智能（AGI）的关键挑战，特别是在层次化推理、长程规划和自主目标形成方面。

结果与发现

作为一篇教程，本文通过综合现有文献而非呈现新的实验结果。其“结果”是关于当前方法能力与局限性的综合见解：

显式模型： 通过潜空间想象（如 Dreamer, MuZero）展示了在数据高效学习和长程规划方面的强大能力。然而，它们往往受到模型偏差（在展开过程中累积误差）的影响，并且在决策时规划（如 MCTS）方面计算成本较高。
隐式模型： 利用大规模自监督学习（如 Transformers, JEPA）来捕捉广泛的世界知识和结构规律。它们提供了卓越的可扩展性和数据效率，但在不进行额外集成的情况下，缺乏多步规划和以动作为条件的反事实推理机制。
物理 AI 应用：
- 在机器人领域，显式模型（DayDreamer）通过共享的潜动力学实现任务泛化，而隐式模型（V-JEPA 2）通过在互联网视频上的预训练展现了高效的数据适应潜力。
- 在自动驾驶领域，生成式模型（GAIA）支持用于安全性评估的反事实推理，而隐式模型（AD-L-JEPA）为感知和空间理解提供了可扩展的表示。
基础模型： 最新的基础模型（如 Cosmos, Gemini Robotics）表明，存在一条通往统一系统的路径，即整合感知、预测和动作，超越特定任务的世界模型。

意义与主张

本文声称其作为一项基础性资源的意义，因为它填补了文献中的空白，提供了一个用于世界模型及其在物理 AI 中作用的统一概念框架。

澄清术语： 本文认为，“世界模型”这一术语目前的歧义掩盖了不同方法之间的权衡。通过区分显式和隐式范式，它使从业者能够更好地比较方法并理解设计选择。
通往 AGI 之路： 本文指出，世界模型是推动迈向 AGI 的核心原则。它声称，虽然目前的系统已取得进展，但要实现人类水平的智能，需要克服特定的障碍：
1. 统一建模： 将显式模型的结构化推理能力与隐式表示的可扩展性相结合。
2. 层次化推理： 开发能够在多个时间尺度和抽象层级上进行推理的模型。
3. 自主目标形成： 从受外部引导的目标转向能够内部生成并调整目标的系统。
物理 AI 相关性： 本文强调，对于具身智能体而言，世界模型不仅是抽象的预测器，更是用于落地感知、理解动力学以及在物理约束下协调行为的实用工具。

本文总结道，虽然目前的系统距离 AGI 还很遥远，但世界建模、基础模型与具身学习的融合，代表了一条通往更通用、更具扩展性和更自主智能的可能且必要的路径。