🤖 AI

Flow Equivariant World Models: Memory for Partially Observed Dynamic Environments

本文介绍了流等变世界模型（Flow Equivariant World Models），这是一个利用潜在记忆中的时间参数化对称性，通过确保记忆随自身运动和外部物体动力学进行等变平移与变换，从而在部分观测的动态环境中实现稳定长程预测的框架。

原作者： Hansen Jin Lillemark, Benhao Huang, Fangneng Zhan, Yilun Du, Thomas Anderson Keller

发布于 2026-06-01

📖 1 分钟阅读☕ 轻松阅读

原作者： Hansen Jin Lillemark, Benhao Huang, Fangneng Zhan, Yilun Du, Thomas Anderson Keller

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正走在繁忙的城市广场上。你正看着一名街头艺人表演杂耍。突然，你转过头去看向刚到的朋友。当你注视着朋友时，街头艺人仍在继续表演，而一辆巴士从背景处驶过。当你转回身看向广场时，你预期艺人仍在表演，且巴士已经向远处驶离了。你并不认为艺人会凭空消失，也不认为巴士会突然瞬间移动回到原位。

这正是 流等变世界模型（Flow Equivariant World Models, FloWM） 试图为人工智能解决的问题。

问题所在：AI 的“失忆症”

目前的 AI 系统在尝试预测未来时（被称为“世界模型”），就像是注意力非常短暂的人。它们可以观察一段几秒钟的视频并猜测接下来的发展。但如果你问它们在“看向别处”之后（这发生在 AI 智能体移动其摄像头或转动身体时）会发生什么，它们就会感到困惑。

因为它们在任何时刻只能看到世界的一个小切片，所以它们会忘记视野之外正在发生的事情。当它们再次看向前方时，它们经常会产生“幻觉”（凭空捏造）。它们可能会认为街头艺人消失了，或者为了填补空白而凭空创造出一辆全新的巴士。它们失去了对时间与运动“流（flow）”的追踪。

解决方案：一张移动的地图

该论文的作者提出了一种让 AI 记忆世界的新方法。与其仅仅存储它上次看到的静态图像，FloWM 构建了一个结构化的、移动的记忆。

可以这样理解：

旧的 AI： 想象你在纸上画一幅城市图。每当你转头时，你都必须擦掉旧的画作，并在一张新的纸上重新开始。你会丢失身后环境的上下文信息。
FloWM： 想象你在一个巨大的、透明的玻璃板上绘图，而这张玻璃板漂浮在你面前。当你行走和转身时，玻璃板会随你一起移动。如果一辆巴士从左侧驶过，你就把它画在玻璃上。当你转头时，巴士依然留在玻璃上，随着世界的流动而移动。当你转回身时，巴士就在它物理位置应在的地方。

这个“玻璃板”就是流等变记忆（Flow Equivariant Memory）。它遵循运动的规则（对称性）。它理解如果你向左移动，相对于你而言，世界实际上是在向右移动，并且它会相应地更新其内部地图，而不会丢失数据。

它是如何工作的（“速度通道”）

论文引入了一个巧妙的技巧，称为**“速度通道（Velocity Channels）”**。

想象 AI 的记忆不仅仅是一张大图，而是一叠透明的叠加层。

一个叠加层追踪静止不动的物体。
另一个叠加层追踪向右缓慢移动的物体。
还有一个叠加层追踪向左快速移动的物体。

当 AI 看到某个物体在移动时，它准确地知道该更新哪一个“叠加层”。即使 AI 转动头部（自运动），系统也会整体平移这些叠加层，从而保持相对位置的正确。这使得 AI 能够高精度地预测它身后或视野之外正在发生的事情，因为其记忆在数学设计上是沿着时间与运动进行“流转”的。

实验测试

研究人员在两个主要场景中测试了这一想法：

二维数字（2D Digits）： 一个简单的世界，数字（如 1, 2, 3）在屏幕上漂浮。AI 需要预测在移动其“眼睛”观察周围后，这些数字会在哪里。
三维方块（3D Blocks）： 一个更复杂的 3D 房间，里面有彩色方块在墙壁间弹跳。即使方块移动到墙后或超出视野，AI 也必须预测它们的路径。

实验结果

结果非常明确：

旧的 AI 模型很快就会失去追踪能力。一段时间后，它们开始做出错误的猜测、凭空捏造物体或遗忘旧物体。它们的预测变得模糊且混乱。
FloWM 能长时间保持准确。即使仅在短序列上进行训练，它也能预测未来 150 到 200 步之后的物体运动。它不会产生幻觉；它让“流的交响乐”持续正确地演奏下去。

为什么这很重要

论文指出，如果 AI 要真正理解一个动态的世界（例如机器人穿行于房屋，或汽车行驶在街道上），它需要一个随世界一起移动的记忆，而不仅仅是一个存储静态快照的记忆。通过组织记忆使其尊重运动与时间的自然规律，AI 能够更好地预测未来、学习得更快，并犯更少的错误。

简而言之，FloWM 给了 AI 一张永远不会迷失方向的“移动地图”，让它即使只观察微小的局部，也能洞察全局。

技术摘要：流等变世界模型 (Flow Equivariant World Models)

1. 问题陈述

具身智能体在动态环境中运行，其仅拥有受限的第一视角视野。这种部分可观测性 (partial observability) 给现有的世界模型带来了重大挑战：尽管智能体观察到环境的一小部分，但未被观察到的区域仍在持续演化。目前的先进方法，包括大规模潜在扩散 Transformer 和循环模型，在这些设置下往往无法在长时程内保持一致性。

由于缺乏尊重世界底层对称性的记忆结构，这些模型会面临以下问题：

信息丢失： 随着智能体的移动，相关的过去信息会脱离上下文窗口（例如 Transformer 的滑动窗口）并被丢弃。
幻觉 (Hallucination)： 当智能体转回之前观察过的区域时，模型往往无法回忆起物体的状态，而是生成新的、幻觉出的物体或使现有物体消失。
缺乏结构先验： 现有模型将观测视为静态序列或依赖于视角的数据，忽略了自我运动和外部物体运动都遵循平滑的、由时间参数化的对称性（即“流”，flows）这一事实。

2. 方法论：流等变世界模型 (FloWM)

作者提出了 FloWM 框架，该框架将流等变性 (flow equivariance) 集成到世界模型的记忆核心中。其核心假设是：当预测表示能够与世界的时空和动力学结构对齐时，其效能会变得更加强大。

核心概念：流等变性

该框架将静态群等变性扩展到了由时间参数化的序列变换，即“流”。

定义： 如果输入序列经历了一个流（例如由于时间或运动导致的位移），而输出序列也根据相同的流进行变换，则称该模型是流等变的。
全局等变性： 在部分可观测设置中，模型必须维持对整个世界状态（已观察和未观察部分）的潜在记忆。潜在表示必须相对于全局世界状态进行等变变换，而非仅仅相对于当前的观测。
共动参考系 (Co-moving Reference Frame)： 为了实现这一点，循环记忆在整合新观测之前，会通过相同的流进行传输。这确保了特征能够与运动物体保持空间对齐，而不是留在固定的参考系中。

架构组件

该框架通过一个广义的流等变循环关系进行实例化：
$h_{t+1}(\nu) = \psi_1(\nu) \cdot U_\theta [h_t(\nu); E_\theta [f_t; h_t] (\nu)]$
其中：

$h_t(\nu)$ 表示组织成**“速度通道” (velocity channels)** ( $\nu$ ) 的隐藏状态，对应于不同的运动向量场。
$E_\theta$ 是将观测映射到潜在空间的编码器。
$U_\theta$ 是更新操作。
$\psi_1(\nu)$ 代表一个时间步长内的流动作。

自我运动等变性 (Self-Motion Equivariance)：
模型将智能体的自我运动视为一种相对流。通过根据智能体的动作 ( $T_{a_t}$ ) 对隐藏状态进行变换，记忆实际上在智能体的共动参考系中进行了偏移。这使得模型能够构建一个环境的结构化“地图”，并将新的观测基于智能体的动作整合到正确的相对位置中。

两种实例化形式

简单循环 FloWM (2D)： 专为 2D 环境（如 MNIST World）设计。它在隐藏状态和空间输入上使用卷积操作。它采用固定窗口向隐藏状态进行读写，而其余状态则在智能体的视野周围流动。
基于 Transformer 的 FloWM (3D)： 专为复杂的 3D 环境（如 Block World）设计。它利用视觉 Transformer (ViT) 编码器和解码器。潜在记忆是一组空间组织的 Token 嵌入，充当自上而下的抽象地图。
- 注关于等变性： 虽然对于 3D 到 2D 的投影，在没有高昂深度反投影成本的情况下实现精确的编码器等变性非常困难，但作者证明了循环流变换 ( $T^{-1}_{a_t} \psi_1(\nu)$ ) 能在训练过程中诱导编码器学习等变性，从而在没有显式几何约束的情况下实现高保真度。

3. 主要贡献

形式化流等变性： 本文形式化了如何利用时间参数化的对称性（流）来构建用于部分观测动态世界建模的结构化持久记忆。
结构化记忆架构： 引入了一种带有“速度通道”的循环记忆，该记忆随自我运动和外部物体运动进行平移和变换，从而使未观测区域的信息在时间上保持对齐。
新基准测试： 作者引入了用于部分观测世界建模的新基准：
- 2D MNIST World： 具有随机运动速度和部分观测的数字。
- 3D 动态方块世界 (3D Dynamic Block World)： 在 3D 房间内跳动的彩色方块，智能体通过离散动作进行导航。
实证验证： 证明了 FloWM 在长时程预测和长度泛化方面显著优于先进的扩散模型 (DFoT, DFoT-SSM) 和循环模型 (RSSM) 基准。

4. 实验结果

作者将 FloWM 与包括历史引导扩散强制执行 (DFoT)、DFoT-SSM 和 DreamerV3 的 RSSM 在内的基准模型进行了评估。

性能指标

长时程一致性： 在 2D MNIST World 上，FloWM 在训练时界（20 个时间步）之外保持了 150 个时间步 的一致预测，而基准模型则会出现发散或幻觉。在 3D Block World 上，FloWM 保持了 210 帧 的一致性，而基准模型则会丢失物体追踪或产生幻觉。
误差降低： FloWM 实现了显著更低的均方误差 (MSE) 和更高的 PSIM/SSIM 分数。例如，在 3D Block World 中，FloWM 的 MSE 约为 0.0006 (70 帧)，而 DFoT 为 0.0117。
学习效率： 结合了自我运动等变性 (SME) 和速度通道 (VC) 的模型比消融版本需要少几个数量级的训练步数才能收敛。
下游规划： 在“寻找红色方块”的规划任务中，FloWM 成功导航至目标。基准模型经常幻觉出目标的位置，导致规划性能低下。
探测分析 (Probe Analysis)： 一个旨在从潜在空间解码方块位置的探测网络显示，FloWM 的准确率达到 96%，而 DFoT 则 <1%，这证实了 FloWM 学习到了结构化的、等变的物体轨迹表示。

消融研究

移除速度通道 (VC) 或自我运动等变性 (SME) 会导致性能显著下降，甚至可能低于或匹配基准扩散模型，这突显了这两个组件对于处理部分可观测性和动力学特性的关键性。

5. 重要性与主张

本文主张，当预测表示能够与世界的时空和动力学结构对齐时，其本质上会变得更加强大。

理论基础： 这项工作提供了一个流等变性的理论框架，该框架规定了在动态、部分观测的环境中构建结构化记忆的必要性。
解决部分可观测性： 不同于以往依赖于扩展上下文窗口或静态记忆库的方法，FloWM 通过维护一个随世界状态移动的记忆，天生能够处理未观测区域的演化。
泛化能力： 该框架使模型能够泛化到比训练期间更长的序列，这是现实世界具身智能体的关键能力。
研究范围： 作者承认目前的评估是在受控设置及刚体几何动作下进行的。他们将这项工作定位为未来扩展到开放世界数据集、连续动作空间以及更复杂物理交互的基础。

总之，FloWM 证明了通过在记忆架构中显式编码运动的对称性，世界模型可以在部分观测的动态环境中实现稳定、准确且无幻觉的长时程预测。