🤖 machine learning

Sensorimotor World Models: Perception for Action via Inverse Dynamics

本文介绍了感觉运动世界模型（Sensorimotor World Model, SMWM），这是一种通过逆动力学正则化进行端到端训练的潜在世界模型，旨在防止表示崩溃并诱导动作对齐的表示，从而在无需复杂架构约束的情况下，实现用于竞争性规划的紧凑潜在空间的稳定、无奖励学习。

原作者： Petr Ivashkov, Randall Balestriero, Bernhard Schölkopf

发布于 2026-06-19

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Petr Ivashkov, Randall Balestriero, Bernhard Schölkopf

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在尝试教一个机器人如何在一个房间里导航。你可以给它看数百万张房间的照片，并要求它记住每一个细节：地毯的颜色、架子上的灰尘、墙纸的图案。但问题在于：如果机器人把所有的脑力都花在记住灰尘上，它可能会忘记如何实际移动而不撞到东西。

这篇论文介绍了一种教机器人“观察”世界的新方法，称为感觉运动世界模型（Sensorimotor World Models, SMWM）。机器人不再试图成为一名完美的摄影师，而是学习成为一名完美的舞者。

以下是其工作原理的拆解，使用了简单的类比：

1. 问题所在：“完美摄影师”陷阱

在过去，AI 模型试图通过预测下一张图片的样子来学习。为了做好这件事，它们经常会变得偷懒。它们意识到：“嘿，如果我直接关掉大脑，每次都猜一张同样无聊的灰色图片，我就不会出错！”这就是所谓的表示崩溃（representation collapse）。模型停止学习关于世界的任何有用信息，因为它找到了获得高分的捷径。

其他方法试图通过冻结机器人的部分大脑或添加复杂的数学规则来强制其记忆来解决这个问题。这些方法虽然有效，但非常复杂，且需要额外的工具。

2. 解决方案：“行动侦探”

作者们想出了一个更简单的窍门。他们在预测未来的任务之外，为机器人增加了第二个学习任务。

任务 A（前向模型）： “如果我在这里并向左移动，下一步我会在哪里？”
任务 B（逆向模型）： “如果我刚才在这里，然后又到了那里，我刚才做了什么动作？”

把它想象成一个侦探。如果你看到一个人在厨房，然后突然出现在客厅，你可以推测他是走过了走廊。但如果你看到一个人在厨房，然后又突然出现在厨房，你就知道他并没有移动。

这篇论文的秘诀在于任务 B。通过迫使机器人观察它的“之前”和“之后”的照片，并弄清楚究竟是什么动作导致了这种变化，机器人就无法偷懒了。它必须去关注那些因为自身的移动而发生变化的图像部分。

3. 机器人学到了什么？

因为机器人不断被问到：“你做了什么才导致了这个变化？”，它学会了忽略那些它无法控制的事物。

“干扰项”类比： 想象机器人正在街上行走。一只鸟飞过，或者一朵云改变了形状。这些东西在移动，但机器人并没有让它们移动。
- 旧的模型可能会试图记住那只鸟和那朵云。
- SMWM 机器人会意识到：“我没移动那只鸟，所以我不需要为了规划下一步而精确记住那只鸟在哪里。”它过滤掉了鸟和云。
- 它确实会记住人行道和门，因为这些是它能够与之交互的事物。

结果是一个非常小、非常干净的“心理地图”，它只包含机器人可以控制的东西。它剥离了世界的“噪声”。

4. 结果：更好的导航者

研究人员在多个任务上测试了该方法，从简单的 2D 游戏到复杂的 3D 机器人手臂移动方块。

效率： 机器人学会了在不需要冻结大脑部分或使用复杂额外规则的情况下，创建这些干净的心理地图。
规划： 因为心理地图非常清晰（它确切知道自己可以向哪些方向移动），所以机器人能更好地规划路径以达到目标。在涉及机器人手臂移动方块的 3D 任务中，这种新方法明显优于之前的最佳方法。
理解： 机器人的内部“地图”看起来就像真实世界一样。如果机器人可以左右移动，地图就会有一个左右轴；如果它可以旋转，地图就会有一个旋转轴。它仅仅通过尝试弄清楚自己的动作，就学习到了世界的“形状”。

总结

简而言之，这篇论文告诉我们：不要教机器人去记住整个世界；要教它去记住它自己所做的动作。

通过在训练中加入一个简单的“猜动作”游戏，机器人自然而然地学会了忽略干扰，并只专注于它能控制的部分。这使得它变得更聪明、更快，并且在规划下一步行动时表现更好，而且无需复杂的额外工具。这是一个从“为了记忆而感知”到**“为了行动而感知”**的转变。

技术摘要：感觉运动世界模型 (Sensorimotor World Models, SMWM)

问题陈述

本文解决了从高维观测（如像素）中学习潜在世界模型 (latent world models) 的挑战，且无需奖励信号或任务标签。虽然联合嵌入预测架构 (Joint Embedding Predictive Architectures, JEPAs) 提供了一个极具前景的框架，通过在嵌入空间中直接预测未来状态（从而避免像素重建），但它们面临着表示崩溃 (representation collapse) 的问题。当编码器和前向动力学模型被共同训练以最小化预测误差时，编码器可能会学习将所有观测映射为一个常数嵌入。这种平凡解虽然最小化了前向损失，却使模型对于下游控制或规划变得毫无用处。

现有的防止崩溃的解决方案通常依赖于复杂的机制，例如：

冻结预训练的编码器（如 DINO-WM）。
添加分布正则项（例如，通过 SIGReg 使嵌入匹配各向同性高斯分布）。
使用带有梯度停止（stop-gradients）的指数移动平均 (EMA) 目标网络。
采用涉及方差-协方差约束的多项损失函数。

作者认为，这些方法可能并未完全解决关于“一个有用的世界模型表示应该保留什么”这一核心问题的疑问。借鉴**“为行动而感知” (perception for action)** 和生成式感知 (enactive perception) 的概念，本文指出，表示应当由其对行动的相关性来塑造，即保留对可控动力学至关重要的区别，同时丢弃不可控的干扰因素。

方法论：感觉运动世界模型 (SMWM)

作者提出了 SMWM，这是一个通过离线、无奖励轨迹 $(o_t, a_t, o_{t+1})$ 进行端到端训练的潜在世界模型。其核心创新在于使用逆动力学正则化 (inverse dynamics regularization) 作为防止表示崩溃的唯一机制。

架构

该模型由三个共同训练的组件组成：

编码器 ( $f_\theta$ )： 将观测 $o_t$ 映射为紧凑的潜在嵌入 $z_t$ 。
前向动力学模型 ( $g_\phi$ )： 在给定当前状态 $z_t$ 和动作 $a_t$ 的情况下，预测下一个潜在状态 $\hat{z}_{t+1}$ 。
逆动力学模型 ( $h_\psi$ )： 在两个连续的嵌入 $z_t$ 和 $z_{t+1}$ 之间预测所采取的动作 $\hat{a}_t$ 。

训练目标

模型通过最小化联合损失函数进行优化：
$\mathcal{L} = \mathcal{L}_{fwd} + \lambda \mathcal{L}_{inv}$

前向损失 ( $\mathcal{L}_{fwd}$ )： 预测的下一个嵌入 $\hat{z}_{t+1} = g_\phi(z_t, a_t)$ 与实际编码的下一个状态 $z_{t+1} = f_\theta(o_{t+1})$ 之间的均方误差 (MSE)。
逆损失 ( $\mathcal{L}_{inv}$ )： 预测的动作 $\hat{a}_t = h_\psi(z_t, z_{t+1})$ 与真实动作 $a_t$ 之间的均方误差 (MSE)。
正则化权重 ( $\lambda$ )： 一个控制逆动力学信号强度的单一超参数。

作用机制

逆损失充当了抗崩溃机制。如果编码器崩溃为一个常数嵌入，则逆模型对于所有转换接收到的输入都是相同的，因此只能预测一个常数动作（即动作分布的均值）。为了使逆损失低于这种常数预测器的风险，编码器必须保留包含在转换 $(o_t, o_{t+1})$ 中关于动作 $a_t$ 的信息。这迫使表示保留与行动相关的信息（可控自由度），同时自然地过滤掉不影响动作恢复的不可控干扰因素（外生噪声）。

不同于规定嵌入空间几何形状的分布正则项（例如，强制其为高斯分布），逆动力学将表示锚定在一个基于任务的量（动作）上，而不施加特定的几何先验。

核心贡献

SMWM 架构： 一种简单、可端到端训练的感觉运动世界模型，它仅使用逆动力学作为唯一的抗崩溃机制，仅需增加一个额外的超参数 ( $\lambda$ )。
表示特性： 通过实证证据表明，学习到的表示不仅没有崩溃，而且专门追踪可控自由度，保留了空间几何结构（包括笛卡尔坐标和周期性结构），并过滤掉了不可控的干扰因素。
下游性能： 在 2D 和 3D 控制任务中展示了具有竞争力的规划性能，表明表示的结构优势转化为了有效的目标条件规划。

实验结果

受控测试平台 (Dot World & Sprite World)

内在维度恢复： 在“点世界”环境中，即使嵌入在 64 维的潜在空间中，模型也能仅从像素中成功恢复出状态空间的真实 2D 内在维度。
干扰过滤： 当引入不可控的“干扰”物体（随机移动）时，编码器忽略了它们。有效潜在维度与可控自由度相匹配，而非总观测维度。
受控依赖感知： 在“精灵世界”实验中，模型仅在姿态变量（位置、朝向）是可控时才学习保留它们。当朝向不可控时，表示会将其平均化，导致朝向的重建呈现模糊状态。

规划基准测试

作者在四个离线控制任务上评估了 SMWM：TwoRoom（2D 导航）、Reacher（连续控制）、Push-T（2D 操作）和 OGBench-Cube（3D 操作）。

基准模型： 与 SIGReg（使用高斯正则项的强 JEPA 基准）、Forward-only（无逆损失）以及 Random 动作采样进行了对比。
性能表现：
- SMWM 在三个 2D 任务上达到了与 SIGReg 相当的性能。
- SM-WM 在 3D OGBench-Cube 任务上优于 SIGReg（84% 成功率 vs. 59%）。
- 两种正则化方法都显著优于 Forward-only 消融实验，证实了抗崩溃机制的必要性。
潜在几何结构： 探测实验显示，SM-WM 嵌入形成了镜像物理状态几何结构的低维子空间（例如，针对 Reacher 中周期性关节角的圆柱结构，以及针对导航的笛卡尔映射）。

意义与主张

本文声称 SM-WM 为潜在世界模型学习中的**“为行动而感知”提供了一个原则性且简单的实例化。通过强制潜在状态保留足以恢复智能体动作的信息，该模型自然地使表示向环境的可控自由度**倾斜。

核心要点包括：

简洁性： 单纯的逆动力学足以在无需重建、无需奖励信号、无需冻结编码器或复杂分布先验的情况下，稳定端到端的 JEPA 训练。
结构偏差： 该方法诱导出的表示是可解释的，并且与环境的因果结构（动作及其影响）相一致，而不仅仅是预测相关性。
实用价值： 学习到的表示支持有效的潜在规划，特别是在其他正则化基准难以处理的复杂 3D 环境中。

作者承认了局限性，例如假设动作可以从连续观测中恢复，以及目前无法在没有观测历史的情况下捕捉单帧无法识别的量（如速度）。然而，他们将 SMWM 定位为一种从离线数据中学习可操作世界模型的鲁棒且无奖励的方法。