🤖 AI

Physically Native World Models: A Hamiltonian Perspective on Generative World Modeling

本文提出了哈密顿世界模型，这是一种新颖的框架，它将观测编码为结构化的潜在相空间，并利用受哈密顿力学启发的动力学对其进行演化，从而为具身决策生成具有物理意义、可受动作控制且长时程稳定的预测。

原作者： Sen Cui, Jingheng Ma

发布于 2026-05-04

📖 1 分钟阅读☕ 轻松阅读

原作者： Sen Cui, Jingheng Ma

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是论文《物理原生世界模型：生成式世界建模的哈密顿视角》的通俗解释，辅以日常类比。

核心难题：“好看”与“真实”

想象你在教机器人玩接球游戏。目前，许多人工智能系统表现得像一位奇幻电影导演。它们非常擅长预测视频下一帧会看起来是什么样子。如果你扔出一个球，AI 可以生成一段视频，其中球在空中划出优美的弧线。

但问题在于：AI 实际上并不理解物理规律。它只知道“红色的模糊影像通常跟随在手的后面”。

缺陷所在：如果你让 AI 预测机器人推一个重箱子会发生什么，AI 可能会生成一段箱子永远平滑滑动的视频（因为这在电影里看起来很酷）。而在现实中，摩擦力会让箱子停下来。如果机器人试图依据这个“电影”采取行动，它就会撞车或失败，因为预测虽然在视觉上逼真，但在物理上却不真实。

作者认为，对于机器人和自动驾驶汽车而言，我们需要的不仅仅是一个能制作漂亮视频的模型，更需要一个能理解世界实际如何运作的模型。

当前的方法（三条错误的道路）

论文指出，当前的研究被困在三个独立的轨道中，没有一个能完全解决问题：

视频制作者：他们专注于让未来看起来像电影一样真实。问题：物理规律可能是错误的。
3D 构建者：他们专注于构建房间的完美 3D 地图。问题：他们擅长静态画面，但不擅长预测物体如何移动或碰撞。
抽象思考者：他们试图将世界压缩成一个简单的“概念”或摘要。问题：这些摘要往往丢失了移动物体所需的具体细节（例如需要多大的力）。

解决方案：“哈密顿”引擎

作者提出了一种利用物理学中哈密顿力学概念来构建这些世界模型的新方法。

类比：过山车 vs. 魔法棒

旧方法（魔法棒）：AI 通过观察模式来猜测未来。这就像魔术师猜测牌堆中的下一张牌。它能管用一阵子，但最终会耗尽把戏并犯错。
新方法（过山车）：作者希望 AI 表现得像一条过山车轨道。
- 在物理学中，过山车并不只是“猜测”它接下来要去哪里。它遵循基于能量的严格规则。它具有势能（高度）和动能（速度）。轨道（即数学公式）迫使车厢以守恒能量的方式移动。
- 作者希望为机器人构建一个“潜在相空间”（一个隐藏的心理地图）。在这个地图中，机器人不仅仅存储“图像看起来像什么”。它存储位置（物体在哪里）和动量（物体移动得有多快）。

工作原理（食谱）

论文概述了这种新型“哈密顿世界模型”的四步流程：

翻译器（编码）：机器人通过摄像头观察真实世界，将杂乱的视频转化为清晰、结构化的“能量图”。它计算出：“那个物体位于位置 X，并以动量 Y 移动。”
物理引擎（哈密顿动力学）：模型不再猜测下一步，而是使用一个数学“能量函数”。它会问：“如果我推这个物体，总能量会如何变化？”然后，模型根据这些能量规则计算未来的路径。
- 关键细节：作者承认现实世界并不完美。物体存在摩擦和制动。因此，他们在数学中加入了“耗散”（摩擦）和“控制”（机器人的推力），这样模型就不会像在真空中那样假设能量是完美守恒的。
投影器（解码）：一旦模型利用物理学计算出了未来路径，它就将该“能量图”转换回视频，以便机器人能看到它看起来是什么样子。
规划器（决策制定）：机器人利用这个物理引擎模拟不同的动作（“如果我向左推 vs. 向右推”）。它选择能带来最佳结果的动作，因为它知道该模拟在物理上是可靠的。

为什么这更好

稳定性：由于模型遵循能量规则，它不会在几秒后偏离到荒谬的境地。过山车除非轨道断裂，否则不会突然飞离轨道；同样，这个模型也不容易预测出违反物理规律的情况。
数据效率：机器人不需要观看一百万个视频来学习“重物会下落”。物理规则是内置的（就像预装的操作系统），因此它学得更快。
可解释性：如果机器人犯错，我们可以查看“能量图”，确切地看到物理计算在哪里出了错。我们处理的不是一个只会猜测的“黑盒”。

挑战（论文承认的局限）

作者诚实地表示，这还不是灵丹妙药：

现实生活很混乱：真正的机器人要处理粘性胶带、软绵绵的枕头和突然的碰撞。纯粹的物理数学很难应用于这些“混乱”的事物。
难以学习：教 AI 仅通过观察像素，就能从视频中正确猜出隐藏的“动量”和“位置”数值，是非常困难的。
并不完美：该模型将世界视为一个“结构骨架”（骨架），而不是完美的模拟。它是一个指南，而非铁律。

总结

论文认为，为了让机器人真正变得聪明，我们需要停止仅仅教它们预测视频，转而开始教它们模拟物理。通过采用“哈密顿”方法（专注于能量、位置和动量），我们可以构建出更稳定、学习所需数据更少、且真正理解物理世界如何运动（而不仅仅是猜测下一帧看起来像什么）的世界模型。

基于论文《物理原生世界模型：生成式世界建模的哈密顿视角》，以下是涵盖问题、方法、关键贡献、结果及意义的详细技术总结。

1. 问题陈述

当前作为具身智能、机器人技术和自动驾驶核心的世界模型，面临一个关键瓶颈：视觉逼真度与物理有效性之间的差距。

现有路线的局限性： 现有方法通常分为三类：
1. 2D 视频生成模型： 专注于合成逼真的未来帧（例如 GAIA-1, Genie），但在长时程内往往违反物理定律（如动量守恒、接触一致性）。
2. 3D 场景中心模型： 专注于几何重建（例如 NeRF, 3D 高斯泼溅），但在动作条件的动态演化方面存在困难。
3. 类 JEPA 潜在模型： 专注于抽象预测表示，但缺乏与显式物理量（位置、速度、能量、动量）的对齐。
核心问题： 这些模型依赖于高表达力但约束微弱的神经序列模型（ $z_{t+1} = f_\theta(z_t, a_t)$ $z_{t + 1} = f_{θ} (z_{t}, a_{t})$ ）。虽然灵活，但它们学习的是短期统计相关性，而非稳定的物理动力学。这导致：
- 长时程漂移： 微小的预测误差迅速累积。
- 数据效率低下： 模型必须从头重新学习基本物理定律。
- 缺乏可解释性： 无法明确失败是源于感知还是动力学。
- 动作 - 效应不匹配： 生成的未来在视觉上可能很逼真，但在动态上对于规划而言是不可行的。

2. 方法论：哈密顿世界模型 (HWM)

作者提出了哈密顿世界模型，这是一个将世界建模视为物理基础生成动力学系统的框架。该模型不直接预测像素或抽象向量，而是演化结构化的潜在相空间。

A. 核心架构组件

HWM 架构将感知、动力学、生成和规划分离：

结构化潜在编码 ( $E_\theta$ )：
- 观测值 ( $o_{\le t}$ ) 被编码为结构化潜在相状态 $z_t$ 。
- 与扁平向量不同， $z_t$ 由实体级变量组成： $z_t = \{(q_t^i, p_t^i)\}_{i=1}^N$ ，其中 $q$ 代表广义坐标（位置）， $p$ 代表广义动量。
哈密顿动力学演化 ( $T_H$ )：
- 状态演化由学习到的哈密顿函数 $H_\phi(z)$ 控制，代表系统的能量景观。
- 动力学遵循哈密顿方程： $\dot{z} = J \nabla_z H_\phi(z)$ ，其中 $J$ 是辛矩阵。
- 分解： 哈密顿函数被参数化以分离动能 ( $K$ )、势能 ( $U$ ) 和相互作用项 ( $V$ )。
受控耗散扩展：
- 认识到现实世界的机器人涉及摩擦、阻尼和非保守力，纯哈密顿流被扩展为：
  $\dot{z}_t = (J - R_\psi(z_t)) \nabla_z H_\phi(z_t) + G_\psi(z_t)a_t + \epsilon_\psi(z_t, a_t)$
  - $R_\psi$ ：耗散矩阵（摩擦/阻尼）。
  - $G_\psi a_t$ ：动作条件的控制输入。
  - $\epsilon_\psi$ ：未建模现象（如接触不连续性）的残差项，受约束以防止模型退化为通用的黑盒网络。
生成解码 ( $D_\theta$ )：
- 预测的潜在轨迹 $\hat{z}_{t+1:t+H}$ 被解码为未来的视觉观测（视频帧）。
规划接口 ( $U$ )：
- 候选动作序列通过 HWM 进行展开。效用函数 $U$ 评估这些展开以选择最优动作 $a^*_t$ 。

3. 关键贡献

范式转变： 论文认为世界建模的下一阶段必须从“视觉生成”转向“物理结构建模”。它将世界模型重新定义为以受物理定律约束的潜在动力学为核心，而视频生成仅仅是该状态演化的渲染。
哈密顿归纳偏置： 通过将哈密顿力学嵌入潜在空间，模型将能量守恒（或受控耗散）作为结构先验强制执行。这用能量景观的学习取代了任意向量场学习。
结构化相空间表示： 提出将状态编码为 $(q, p)$ 对，提供了一个自然的、可解释的潜在空间，符合具身智能体的需求（推理位置和速度/动量）。
架构分离： 该框架明确解耦了物理演化引擎（哈密顿模块）与感知渲染引擎（视频生成器）。这确保规划依赖于物理一致的动力学，而不仅仅是视觉连贯性。

4. 结果与预期成果

注：由于这是一篇提出新框架的预印本，论文主要呈现理论论证和架构设计，而非针对最先进模型 (SOTA) 的大量实证基准测试。“结果”是展示的理论优势：

长时程稳定性： 通过使用辛积分和结构保持动力学，与标准的基于 RNN/Transformer 的潜在模型相比，HWM 在理论上预期受累积误差的影响较小。
数据效率： 物理先验（能量函数）的引入减少了假设空间，使模型能够比纯数据驱动的方法用更少的数据样本学习复杂的动力学。
可解释性： 潜在变量具有清晰的物理意义（坐标、动量、能量）。这允许更好地诊断模型失败（例如，区分感知错误和动力学违规）。
动作可控性： 显式包含控制项 ( $G_\psi a_t$ ) 确保生成的未来与智能体动作因果相关，使其适用于模型预测控制 (MPC)。

5. 意义与未来方向

弥合差距： HWM 提供了一条原则性路径，将视频生成的优势（感知丰富性）与基于物理仿真的可靠性统一起来。
具身 AI 的基础： 对于机器人和自动驾驶而言，安全性和物理可行性至关重要，保证动态可行性的模型优于仅看起来逼真的模型。
可扩展性： 该方法暗示了一条通往“物理世界基础模型”的路径，这些模型可以通过学习可重用的物理机制（能量景观）而非记忆特定的视觉序列，从而泛化到未见过的物体和任务。
挑战： 作者承认存在重大障碍，包括从高维像素中推断有意义的 $(q, p)$ 的难度、处理非刚性/可变形物体，以及建模违反平滑哈密顿流的复杂接触动力学。

总之，本文提出了一种对世界模型的根本性重新思考，通过利用哈密顿动力学作为具身智能体学习、规划和决策的核心归纳偏置，从“生成式视频”转向“物理原生仿真”。