💻 computer science

GLAM: Training a latent world model over global spatiotemporal memory for active exploration and navigation

本文提出了 GLAM，一种在全局时空记忆上训练的目标条件潜在世界模型，该模型通过预测未来的地图表示和导航路标点，以实现改进的主动探索和语义导航，并通过 GLAM NAV 系统在 HM3D-ObjectNav 任务上优于 BSC-Nav 基准线得到了验证。

原作者： I-Tak Ieong, Ruizhi Feng, Zhaoyang Lu, Yifei Cao, Jiayao Zhao, Leon Li, Senhua Zhu, Wenbo Ding

发布于 2026-09-16

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： I-Tak Ieong, Ruizhi Feng, Zhaoyang Lu, Yifei Cao, Jiayao Zhao, Leon Li, Senhua Zhu, Wenbo Ding

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，一个机器人进入了一个它从未见过的房间，任务是寻找一个特定的物体，比如一把红色的椅子，而它从当前站立的位置无法看到这个物体。为了成功，机器人不能仅仅对它相机前方的即时景象做出反应。它必须在移动过程中构建空间的心理图像，记住它去过的地方，并猜测下一个转角后会出现什么。这种在记忆中持有地图、预判随着机器人向前移动该地图会如何变化，并利用这种预判来规划下一步的能力，是主动探索的核心挑战。多年来，研究人员一直试图通过让机器重建高清晰度、像素级的世界细节，或依赖预制地图来教会机器这项技能。然而，一种新的方法表明，机器人并不需要看到每一块砖头和阴影才能导航；它只需要理解空间的结构以及通往目标的可能路径。

一个研究小组开发了一个名为 GLAM 的系统，全称为“基于全局时空记忆的目标导向潜在世界模型”（goal-conditioned latent world model trained over global spatiotemporal memory）。简单来说，这是一个导航系统，它学习预测房间的未来布局和前往目的地的最佳路径，而无需完美地重建视觉世界。该系统并不是尝试生成下一秒房间看起来像什么的新视频帧，而是预测一个压缩的、抽象的地图表示以及一个隐藏的下一步行动计划。这种方法受到了生物大脑（特别是海马体）组织空间记忆并利用其模拟未来场景方式的启发。研究人员围绕这个模型构建了一个完整的导航系统，命名为 GLAM NAV，它将在线建图、记忆检索和预测规划整合进一个单一的循环中。

该系统通过在机器人移动时不断更新环境的稀疏数字记忆来工作。这种记忆不是一张完整的 3D 照片，而是关键地标和空间关系的集合。当机器人需要寻找目标时，它会利用当前位置和已观察到的记忆来询问一个简单的问题：“如果我朝这个方向移动，地图会变成什么样，我会离我的目标更近吗？”GLAM 模型通过同时预测两件事来回答这个问题。首先，它预测地图标记（即其记忆中的抽象构建模块）随着机器人的探索将如何演变。其次，它预测一个潜在路标点（waypoint），即机器人下一步应该采取行动的隐藏表示。这些预测发生在同一个共享空间内，这意味着模型学会了将变化的地图直接与必要的移动联系起来，而从未尝试去重建未来的原始视觉图像。

为了训练这个系统，研究人员并没有让机器人在现实世界中出去犯错。相反，他们使用了一个名为 Habitat 的高保真模拟器，其中包含数百个来自真实室内环境（如公寓和办公室）的详细 3D 扫描。他们回放了专家轨迹——即由完全了解物体位置的计算机控制智能体所走的路径——并将这些路径切割成数千个训练样本。模型学习观察地图标记的历史和目标，然后预测未来的地图和下一个路标点。至关重要的是，系统被教导去忽略重建视觉世界的任务。它完全专注于预测空间的结构和导航计划。在训练主模型之前，研究人员还预训练了一个单独的组件，以理解如何将这些隐藏的路标点计划转化为实际的物理运动，从而确保预测可以转化为真实的指令。

在模拟器中测试时，结果显示这种预测性方法比以往依赖不同类型记忆结构的方案效果更好。在针对 50% 特定测试场景的一组测试中，新系统 GL am NAV 成功找到了目标物体，成功率达到了 86.89%，相比于它所对比的基准系统的 78.50% 成功率有了显著提升。它还实现了更高效的目标到达，其衡量指标“路径长度加权成功率”（Success weighted by Path Length）从 47.70% 上升到了 48.35%。这些数字表明，通过同时预测地图的未来结构和路径，机器人变得更加可靠地寻找路径，即使目标最初在视线之外。该系统不仅仅是记住了路线；它学会了预判环境的布局，并根据这种预判调整计划。

为了证明这不仅仅是模拟器的结果，研究人员将该系统部署在一个物理机器人上——一个带有双臂的轮式类人机器人，置于真实的办公环境中。在第一次实地测试中，机器人被要求在一个它从未见过的房间里寻找一盆植物，且没有提供预建地图。随着它的移动，它构建了自己的空间记忆，将新的视觉观察连接到不断增长的地图中。它成功地导航到了植物处，证明了该系统能够在真实的物理设置中从零开始构建有用的空间记忆。在第二次测试中，机器人被要求在植物移出视线后回忆它在哪里见过该植物。系统从记忆中检索了存储的位置，并成功导航回了那个点。这些演示证实了模型所做的抽象预测可以引导真实的机器人穿梭于真实的物理环境，利用记忆来弥补“所见”与“所需”之间的差距。

尽管取得了这些成功，研究人员仍谨慎地指出了这项工作的局限性。该系统通过学习专家智能体在模拟器中的路径进行学习，因此当机器人的行为保持在训练期间所见的模式范围内时，其效果最为理想。它不是一个可以预测任何随机动作结果的通用模拟器；相反，它是一个目标导向的工具，用于估计特定目标下最可能的地图和路径。该模型产生的是单一且确定的预测，而不是一个可能性的范围，这意味着它并没有显式地计算其猜测的不确定性。如果机器人遇到与其学习内容差异极大的布局，或者如果其传感器发生漂移导致丢失位置追踪，系统可能会遇到困难。研究人员强调，机器人仍然依赖实时观测来验证其位置并避免碰撞，仅将预测用于引导搜索。

这项工作代表了我们对机器人导航思维方式的一种转变。系统不再试图在计算机内部构建一个完美的、高分辨率的世界副本，而是学习使用一个功能性的、抽象的版本作为地图来进行规划。通过将预测未来地图和规划下一步移动视为一个单一的、连接的任务，研究人员创造了一个既能更可靠地寻找目标，又能具备在现实环境中运行能力的系统。研究结果表明，对于机器人而言，要进行有效的探索，它不需要看到一切；它只需要足够理解空间的结构，以便想象接下来会发生什么。

技术摘要：GLAM 与 GLAM NAV

问题陈述

主动探索与语义导航要求具身智能体能够从局部观测中构建记忆，预测空间记忆如何随时间演化以支持未来的运动，并将这些预测转化为可执行的计划。当前的方法通常依赖于显式地图和语义先验，但缺乏一个统一的框架来共同学习未来的地图表示与目标导向的路径点（waypoint）规划。核心挑战在于，如何超越对已观测历史的回溯，转而实现对与目标导向运动相关的空间记忆演化的预判，且不依赖于计算昂贵的像素级重建。

方法论

系统架构：GLAM NAV

作者提出了 GLAM NAV，这是一个围绕 GLAM（目标条件潜空间世界模型）构建的完整导航系统。该系统集成了四个相互作用的组件：

感知、检索与目标验证： 将 RGB-D 观测和机器人位姿编码为潜特征，将其投影到全局地图中，并验证目标当前是否被观测到或存储在记忆中。
时空记忆模块： 维护一个结合了地标记忆（landmark memory）与图体素记忆（graph-voxel memory）的稀疏空间记忆。该模块根据新观测进行更新（添加、融合或刷新单元），并检索与目标相关的上下文。
GLAM 预测模块： 核心的潜空间世界模型，其输入为历史地图 Token、导航目标以及当前机器人位姿。它预测两个耦合的输出：
- 未来地图表示（空间记忆特征）。
- 以机器人为中心的路径点潜变量（导航计划）。
规划与控制层： 将潜空间预测落地为可执行的运动，处理几何执行、可达性检查及碰撞规避。

GLAM 模型

GLAM 遵循 JEPA（联合嵌入预测架构） 范式。它并不重建未来的 RGB 帧，而是直接在地图级的潜 Token 上进行操作。

输入： 历史地图 Token ( $Z_{t-H+1:t}$ )、目标描述 ( $g$ ) 以及当前位姿 ( $p_t$ )。
输出： 预测的未来地图 Token ( $\hat{Z}_{t+1:t+F}$ ) 和路径点潜变量 ( $\hat{E}^w_{t+1:t+F}$ )。
机制： 一个共享的主干网络在单次前向传播中处理视觉和路径点查询。模型使用可学习的查询 ( $Q_v, Q_w$ )，从记忆、目标和位姿的共享上下文中预测未来状态。
路径点编码： 路径点表示为以机器人为中心的平面位姿增量 ( $\Delta x, \Delta y, \Delta \theta$ )。一个预训练的编码器-解码器对 ( $\phi, \rho$ ) 将其映射到及从 2560 维的潜空间中。该编码器-解码器在世界模型训练期间是冻结的，以提供一个受监督的潜空间。

训练范式

数据收集： 使用 Habitat 模拟器中基于 HM3D v0.2 场景资产的 ObjectNav 专家轨迹。轨迹被切分为包含历史地图 Token、未来地图目标和专家路径点的多时间尺度预测样本。
损失函数： 模型使用掩码回归目标（均方误差 MSE）对未来地图特征和路径点潜变量进行训练。
- $L = \lambda_v \text{MSE}_{m_v}(\hat{Z}, Z^*) + \lambda_w \text{MSE}_{m_w}(\hat{E}^w, \phi(U^*))$
- 训练不使用语言模型交叉熵项；它专注于连续表示的回归。
认知动机： 其设计在功能上受到认知地图理论（例如，用于空间表示的海马体-内嗅皮层，以及用于目标条件规划的前额叶皮层）的启发，尽管并未声称直接实现生物神经回路。

核心贡献

基于地图的潜空间模型： 一种新颖的模型，能在共享的表示空间内，共同预测未来的空间记忆特征和目标条件下的路径点潜变量。
训练公式化： 一种结合了多时间尺度轨迹监督与预训练路径点-潜空间接口的方法，避免了对未来 RGB 重建的需求。
集成导航系统： 一个完整的系统（GLAM NAV），通过匹配回合的模拟比较和定性的现实世界演示进行了评估，证明了利用真实感知和运动复用空间记忆的可行性。

实验结果

模拟实验 (HM3D-ObjectNav)

在 HM3D-ObjectNav 基准测试的 50% 子集上，针对复现的 BSC-Nav 基线进行了评估：

成功率 (SR)： 从 78.50% (BSC-Nav) 提升至 86.89% (GLAM NAV)，绝对增益为 +8.39 个百分点。
路径长度加权成功率 (SPL)： 从 47.70% 提升至 48.35%，增益为 +0.65 个百分点。
解读： 结果表明，任务完成的可靠性显著提高，同时在路径效率方面有小幅提升。

现实世界演示

该系统被部署在办公室环境中的 Astribot S1 轮式双臂类人机器人上：

主动探索： 机器人在未知环境中成功导航至一株植物，并在过程中增量式地构建了全局时空记忆。
记忆检索与问答： 系统成功检索了历史空间关系（例如，识别出垃圾桶位于植物旁边），并在目标离开视野后，成功导航回先前观测到的位置。

意义与主张

论文声称 GLAM NAV 展示了预测性空间表示对于导航的价值。通过将未来地图演化和路径点规划视为全局时空记忆上的联合潜空间预测问题，该系统在寻找目标方面的成功率高于具有强结构化记忆的基线模型。

作者强调，该系统通过以下方式运行：

将持久性空间表示和基于记忆的预测作为计算设计原则。
将潜空间预测（未来上下文与意图）与物理控制（几何执行）解耦，使系统能够基于预期的记忆状态进行规划，同时依靠真实观测进行验证和更新。

局限性

作者承认存在以下约束：

预测范围： 模型是在专家轨迹上训练的，并以记忆/目标/位姿为条件，而非任意动作序列。它并不模拟所有可能的反事实未来。
不确定性： 模型生成的是确定性预测，并未显式校准不确定性，也未在部分观测下表示多种可行的路径。
记忆保真度： 性能取决于视觉特征、深度投影和位姿对齐的准确性。Token 序列的截断可能会遗漏大规模环境中的空间细节。
鲁棒性： 目前的评估尚未建立对显著定位漂移、持续场景变化或超出测试子集的更大规模环境的鲁棒性。