🤖 AI

HaM-World: Soft-Hamiltonian World Models with Selective Memory for Planning

HaM-World 引入了一种结构化世界模型，该模型将基于 Mamba 的选择性记忆与解耦的软哈密顿潜在空间相结合，以稳定长视野规划并显著提升对分布外动态变化的鲁棒性。

原作者： Haoyun Tang, Haodong Cui, Keyao Xu, Kun Wang, Zhandong Mei

发布于 2026-05-08

📖 1 分钟阅读☕ 轻松阅读

原作者： Haoyun Tang, Haodong Cui, Keyao Xu, Kun Wang, Zhandong Mei

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一个机器人玩一个复杂的游戏，比如杂耍或平衡杆。要想做好这一点，机器人需要一个“世界模型”——一种内部模拟，让它能在实际执行之前，想象采取某个动作后会发生什么。

本文介绍了HaM-World，这是一种新型的世界模型，旨在使这些心理模拟更加稳定和准确，尤其是在长时间跨度或游戏规则发生轻微变化时。

以下是其工作原理，分解为简单的概念和类比：

1. 问题：“白日梦”变得模糊

当前的世界模型就像一个学生试图通过逐句阅读来记忆一个故事。如果故事很短，他们能完美地记住它。但如果他们试图想象故事 100 步之后的情节，细节就会变得模糊，故事也会支离破碎。

问题所在：随着机器人规划得更远，其预测变得不稳定。如果环境发生变化（例如地板变滑或机器人的手臂变重），它也会感到吃力。
原因：论文指出，现有模型在其“大脑”中混淆了太多内容。它们混淆了机器人的位置（它在哪里）、动量（它移动得多快）以及上下文（目标是什么或地板是否湿滑）。这种混淆导致错误迅速累积。

2. 解决方案：拥有三个房间的专用“大脑”

HaM-World 通过将机器人的内部状态组织成三个独立的“房间”或隔间，而不是一个大而杂乱的房间，来解决这个问题：

房间 A：物理引擎（q 和 p）
这个房间处理纯粹的物理：位置（ $q$ ）和动量（ $p$ ）。作者在这里使用了一个名为哈密顿动力学的数学概念。
- 类比：把这想象成一个台球桌。在台球桌上，能量是守恒的；球以可预测的方式相互弹开。HaM-World 试图让机器人的位置和动量表现得像台球一样。这为模拟创造了一个稳定的“骨架”，防止机器人想象出不可能的物理现象（例如球无缘无故突然加速）。
- “软”式转折：现实生活并非完美的台球桌；存在摩擦力，机器人也有电机。因此，HaM-World 采用了一种**“软哈密顿”**方法。它保持了稳定的台球桌结构，但允许一个“残差”层来学习摩擦和电机控制等混乱的现实世界内容。
房间 B：上下文房间（c）
这个房间存放那些不遵循台球桌规则的信息。
- 类比：这是机器人的笔记本。它记录下诸如“目标是旋转手指”、“地板很滑”或“我需要小心”之类的内容。这些是语义细节，不适合归入纯粹的位置和速度物理范畴，但对于知道做什么至关重要。
房间 C：记忆房间（Mamba）
这是机器人的短期记忆。
- 类比：有时机器人无法看到一切（部分可观测性），或者在它决定移动和实际移动之间存在延迟。标准模型可能会忘记 5 秒前发生的事情。HaM-World 使用一种称为Mamba的特殊记忆系统，它充当选择性过滤器。它记住过去对当下做出决策至关重要的部分，确保机器人不会在自己的“白日梦”中“迷路”。

3. 它们如何协同工作

当机器人计划一个动作时，它不仅仅是猜测。它会在头脑中运行一次模拟（称为“ rollout"）：

它查看当前状态。
它利用记忆房间填补过去缺失的细节。
它使用稳定的台球桌规则更新物理房间，并根据电机控制进行微调。
它用关于目标或环境的新信息更新上下文房间。
它重复此过程以展望未来的许多步骤，看看哪个动作能带来最佳结果。

由于物理部分非常稳定（就像台球桌一样），而记忆部分非常擅长填补空白，因此即使规划时间跨度很长，机器人的“白日梦”也能保持清晰和准确。

4. 结果：各方面都更出色

作者在四个标准机器人任务（如猎豹奔跑或手指旋转物体）上测试了 HaM-World。

准确性：与其他的顶级模型相比，它在想象未来时犯的错误要少得多。事实上，它的长期预测误差不到次佳模型的一半。
鲁棒性：当研究人员改变游戏规则（例如增加机器人重量、减慢其动作或隐藏其部分视野）时，HaM-World 依然表现良好。它是唯一在每一个困难测试条件下都保持最高分数的模型。
效率：与其他方法相比，它学习控制机器人的速度更快，所需的训练尝试次数更少。

总结

HaM-World就像是给机器人提供了一张更好的内部地图。它不是提供一张模糊、混乱的草图，而是给机器人一张结构化的地图，包含稳定的物理基础（台球桌）、存放重要笔记的地方（上下文）以及可靠的记忆（过滤器）。这使得机器人能够规划复杂、长期的动作，而不会感到困惑或迷失方向，即使周围的世界发生变化。

技术摘要：HaM-World

1. 问题陈述

世界模型通过学习潜在动力学来执行想象 rollout，从而实现基于模型的规划。然而，随着规划时域的延长或环境动力学的变化，这些想象 rollout 往往变得不稳定。作者认为，这种不稳定性源于规划器面向的潜在表示中缺失了两个结构性组件：

近似马尔可夫完备性：部分可观测性和动作延迟使得单帧潜在状态不足以作为马尔可夫状态，但现有模型往往缺乏用于解决此问题的历史条件记忆。
几何组织：单体潜在表示将构型、动量和任务语义纠缠在一起。这种纠缠导致多步预测误差在无结构约束的情况下增长，从而在受扰动的控制机制下导致物理结构外推能力差。

当前方法主要捕捉统计相关性，而非底层生成结构（例如不变性和守恒定律），导致规划器难以处理长时域一致性和分布外（OOD）泛化。

2. 方法论：HaM-World

作者提出了HaM-World (HMW)，这是一种结构化世界模型，它将潜在状态分解为跨动力学预测、奖励/价值估计、想象 rollout 和交叉熵方法（CEM）动作搜索的统一接口。该架构由三个核心组件构成：

A. 潜在因子分解 ( $q, p, c$ )

潜在状态 $z_t$ 被显式拆分为：

规范子空间 $(q, p)$ ：表示构型和动量。该子空间受**软哈密顿（Soft-Hamiltonian）**先验支配。
上下文子空间 $c$ ：捕捉语义、耗散和非保守因素（例如接触切换、摩擦、任务语义），这些因素不严格遵循能量守恒。

B. 软哈密顿动力学

HaM-World 不对 $(q, p)$ 对实施严格的能量守恒（这对于具有摩擦和接触的控制系统过于严格），而是采用“软哈密顿”更新：
$\Delta q_t = (1 - \alpha) \Delta q_{net} + \alpha \frac{\partial H}{\partial p}$
$\Delta p_t = (1 - \alpha) \Delta p_{net} - \alpha \frac{\partial H}{\partial q} + G_t a_t$

$H_\phi(q, p)$ ：一个可学习的能量场。
$\alpha$ ：一个混合系数，平衡数据驱动的网络更新与哈密顿向量场。
$G_t a_t$ ：添加到动量更新中的显式学习控制驱动。
机制：该设计使模型能够维持能量组织的几何骨架以保持稳定性，同时通过残差动力学和控制驱动保留拟合接触、摩擦和任务目标的灵活性。

C. 选择性记忆 (Mamba)

为了解决部分可观测性和动作延迟问题，HaM-World 将Mamba 选择性状态空间模型集成为潜在动力学的历史条件输入 ( $h_t$ )。

与并行循环 rollout 模型不同，Mamba 为规划器使用的同一潜在动力学提供单一的历史条件输入。
这确保了规划器接口在训练、想象 rollout 和 CEM 搜索期间保持统一，而无需为规划器设置单独的循环状态。

D. 训练目标

该模型使用包含以下内容的复合损失函数进行训练：

多步 rollout 一致性 ( $L_{roll}$ )：约束规划时域内的误差累积。
哈密顿对齐 ( $L_{ham}$ )：一种软方向偏差，使网络分支与哈密顿向量场对齐。
无动作能量正则化 ( $L_{energy}$ )：抑制在无动作情况下的能量漂移。
标准目标：JEPA 风格的表示对齐、单步动力学一致性以及奖励/价值回归（使用 symlog 双热目标）。

3. 主要贡献

结构化规划器面向动力学：引入了 $q/p/c$ 潜在因子分解，将 Mamba 选择性记忆与软哈密顿 $(q, p)$ 动力学耦合。这为 CEM 规划、奖励估计和动力学预测提供了单一潜在接口。
机制感知评估：全面的评估协议，包括标准控制性能、长时域 rollout 一致性（ $k \in \{3, 5, 7\}$ 处的 MSE）以及 12 种 OOD 扰动（动力学变化、延迟、掩码）。
实证收益：在多个指标上表现出优越性能，特别是在长时域稳定性和 OOD 鲁棒性方面，机制诊断显示能量漂移有界且控制引起的能量转移连贯。

4. 实验结果

在四个 DeepMind Control Suite (DMC) 任务（Reacher Easy, Finger Spin, Cheetah Run, Cartpole Swingup）上进行了评估，样本预算为 10 万步：

控制性能：HaM-World 实现了 117.9 的最高平均曲线下面积（Avg. AUC），优于 TD-MPC2 (+9.5%)、SAC (+66.3%) 和 DreamerV3 (+101.2%)。它在 Finger Spin 和 Reacher Easy 上实现了最高的最终回报。
长时域稳定性：HaM-World 将长时域 rollout 误差降低至强基线（TD-MPC2）的 45% 和 DreamerV3 的 14.3%。它在 $k \in \{3, 5, 7\}$ 的 MSE 单元格中赢得了 12 个中的 11 个。
OOD 泛化：在 12 种 OOD 扰动下（包括质量变化、阻尼、摩擦、动作延迟和观测掩码），HaM-World 在每种条件下均实现了最高回报。
- 在 Finger Spin 上，其平均 OOD 回报比 TD-MPC2 高出 10.2%。
- 在 Reacher Easy 上，其平均 OOD 回报比 TD-MPC2 高出 13.6%。
机制诊断：
- 能量漂移：在无动作 rollout 中，学习到的哈密顿能量保持几乎稳定（约 1% 漂移），证实了软哈密顿结构。
- 控制耦合：分析表明，动作“推力”（控制向 $\nabla_p H$ 的投影）与能量层穿越始终相关，验证了受控哈密顿设计。
- 消融实验：移除几何结构（A1）或记忆（A2）会显著降低性能。值得注意的是，记忆是部分可观测性下可用性的主要前提，而软哈密顿结构提升了 rollout 鲁棒性的上限。

5. 意义与主张

本文主张，HaM-World 证明了将马尔可夫完备性（通过选择性记忆）和几何一致性（通过软哈密顿结构）视为统一潜在动力学的耦合阶段，可显著提高规划器性能。

结构性与统计性：收益归因于模型整合物理规律（能量组织）的能力，而非仅依赖统计相关性拟合。
统一接口：该工作表明，如果尊重保守动力学 ( $q, p$ ) 与非保守上下文 ( $c$ ) 的分离，单一潜在状态（由预测、价值估计和规划共享）可以变得稳定且对长时域任务有效。
鲁棒性：该方法为想象 rollout 的不稳定性提供了结构性解决方案，无需单独的循环规划器状态即可在分布偏移和扰动下实现更好的外推。

局限性：作者指出，当前工作仅限于四个 DMC 任务上的基于状态的观测。扩展到像素输入、更广泛的形态和离散接触场景仍然是一个未解决的挑战。诊断结果支持了学习到的接口，但并未证明动力学是全局哈密顿的。