💻 computer science

LASAR: Towards Spatio-temporal Reasoning with Latent Cognitive Map

本文提出了 LASAR，这是一种具身智能架构，其采用双记忆系统并通过时空情境表征学习（ST-CRL）进行训练以构建内部认知地图，从而在视觉语言导航（VLN）和具身问答（EQA）基准测试中实现了更优的零样本泛化能力和空间自一致性。

原作者： Jinzhou Tang, Sidi Liu, Waikit Xiu, Weixing Chen, Keze Wang

发布于 2026-05-19

📖 1 分钟阅读☕ 轻松阅读

原作者： Jinzhou Tang, Sidi Liu, Waikit Xiu, Weixing Chen, Keze Wang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是关于 LASAR 论文的通俗解释，使用了类比和日常语言。

核心难题：“机器人失忆症”

想象一下，你正在教一个机器人在房子里导航。

旧方法（模仿者）： 你给机器人看一段人类从厨房走到卧室的视频。机器人学会了完美地模仿这些步骤。但是，如果你移动了一把椅子，或者问：“灯相对于沙发在哪里？”机器人就会困惑。它记住了路径，却没学会地图。这就像一个死记硬背了考试答案却不懂学科知识的学生。
另一种旧方法（谈话者）： 你给机器人一个超级大脑（大型语言模型），让它进行推理。“如果我正对着沙发，灯是在我的左边吗？”机器人可能会根据书中词语的常见搭配来猜测，但它从未真正看见过这个房间。这就像一个读了上千本旅行指南却从未离开过家的人。

结果： 机器人要么擅长走路但不懂理解，要么擅长说话但不会走路。它们缺乏认知地图——即对世界如何构建的心理图景。

解决方案：LASAR（拥有“心理速写本”的机器人）

作者们创建了一个名为 LASAR 的新系统。把 LASAR 想象成一个装备了心理速写本（“潜在认知地图”）的机器人，它会在移动时实时更新这本速写本。

LASAR 不再仅仅死记硬背步骤，而是构建一个结构化的内部世界模型。它使用两个主要工具来实现这一点：

1. 双重记忆系统

想象 LASAR 有两本笔记本：

笔记本 A（情景记忆）： 这是一本高清视频日记。它按步骤记录机器人看到的和做的每一件事。这是原始素材：“我看到一个红色沙发，然后向左转，接着看到一盏灯。”
笔记本 B（认知地图）： 这是机器人的“心理速写”。它不存储每一个像素，而是将原始素材组织成一张结构化的地图。它学习诸如“灯总是在沙发附近”或“厨房在走廊后面”这样的关系。

它们如何协同工作： 当机器人需要回答问题时，它利用速写本快速找到大致区域（“哦，我们在有沙发的客厅”），然后利用视频日记检查具体细节（“是的，灯在那张沙发的右侧”）。

2. “心灵构建”（MindCraft）训练游戏

你如何教机器人绘制心理地图？你不能只是告诉它去“学习”。你必须在它行走时对它进行提问。

作者们发明了一种名为 MindCraft 的训练游戏。想象一位老师陪机器人在一个视频游戏房子里行走。当机器人行走时，老师会叫停它并提出三种类型的问题：

回顾性（向后看）： “你刚经过一个水槽。它是在你的左边还是右边？”（测试对过去的记忆）。
内省性（环顾四周）： “现在，灯是在沙发的左边还是右边？”（测试当前的理解）。
前瞻性（向前看）： “根据指令，我们需要穿过走廊才能到达卧室吗？”（测试规划能力）。

如果机器人答错了，它就知道自己的“心理速写本”很混乱，需要重新绘制。

秘密武器：ST-CRL（“地图抛光器”）

论文介绍了一种特殊的训练方法，称为 ST-CRL。

把机器人的内部地图想象成一座黏土雕塑。起初，它只是一个无定形的团块。

问题： 如果没有特殊训练，机器人可能会学会只要听到“灯”就说“左边”。这是在作弊。
解决方法（ST-CRL）： 训练系统迫使机器人证明它理解房间的结构。它制造“高难度测试”，要求机器人区分两个非常相似的房间或两个非常相似的问题。
- 类比： 这就像老师给学生两张几乎一样的地图，问：“哪一张的公园在左边？”如果学生只是猜，他们就失败了。如果他们真正理解了地图的布局，他们就能通过。

这个过程“雕刻”了机器人的内部大脑，使相似的房间在它的脑海中聚集在一起，而不同的房间则保持远离。这创造了一张结构化、逻辑化的地图，而不是一堆杂乱的记忆。

结果：为何这很重要

论文通过两种方式测试了 LASAR：

导航测试： 机器人必须遵循指令穿过房子。
推理测试： 机器人必须回答关于它刚刚走过的房子的棘手问题（甚至是训练期间从未被问过的问题）。

结果：

更好的行走： 因为机器人理解了布局，它不那么容易迷路。与之前的最佳机器人相比，其成功率提高了约 2% 到 5%。
更好的思考： 当被问及从未见过的问题（零样本）时，LASAR 要聪明得多。它不只是猜测；它是基于构建的地图进行推理。
一致性： 如果你用两种不同的方式问机器人同一个问题（“灯在沙发的左边吗？”vs“沙发在灯的右边吗？”），LASAR 会给出相同的答案。而旧机器人往往会给出相互矛盾的答案，因为它们没有一致的地图。

总结

LASAR 是一个不再仅仅死记硬背步骤，而是开始构建其世界心理地图的机器人。通过迫使机器人在行走时回答关于周围环境的问题，并利用一种特殊的训练方法将这些答案组织成逻辑结构，LASAR 学会了真正“看见”并“理解”其周围的三维空间，使其成为一个更聪明、更可靠的导航者。

技术摘要：LASAR：迈向基于潜在认知地图的时空推理

问题陈述

当前的具身智能研究面临一个根本性挑战：难以区分智能体是真正理解了空间结构，还是仅仅模仿了特定任务的专家轨迹。现有方法通常被二分化为以动作为中心的任务（例如视觉 - 语言导航，VLN），这类任务优先考虑决策，但可能过拟合专家路径中的表面统计偏差；以及以推理为中心的任务（例如具身问答，EQA），这类任务依赖大语言模型的语言先验，但由于缺乏 grounded 的世界模型，往往在复杂空间任务上失败。

识别出的核心局限性在于缺乏一种学习信号，迫使智能体在长程、碎片化的经验中编码细粒度的空间关系（拓扑、距离、关系）。因此，智能体难以构建时间上一致的高级空间表征，而这正是跨新环境和指令实现鲁棒泛化所必需的。

方法论

1. MindCraft 任务框架

为了弥合动作与推理之间的鸿沟，作者引入了MindCraft，这是一个统一的任务框架，在标准导航片段中注入并发的在线认知查询。与传统 VLN 不同，MindCraft 要求智能体同时执行导航动作并回答空间查询。这些查询被分为三级层次：

回溯性（Retrospective）： 探测对过去观察的记忆（例如，物体属性回忆）。
内省性（Introspective）： 探测对当前状态的理解（例如，自我定位、局部空间关系）。
前瞻性（Prospective）： 探测预测或规划能力（例如，拓扑邻接、未来地标）。

该数据集是在 Matterport3D 环境中从 VLN-CE 专家轨迹过程化生成的，确保查询基于智能体的实际感官历史。

2. LASAR 架构

LASAR（LAten SpAtial Reasoner，潜在空间推理器）是一个基于大语言模型（LLM）的智能体，旨在维护一个双重记忆系统：

情景记忆（Episodic Memory）： 一个高保真、时间有序的几何感知视觉表征序列（ $F'_{vis}$ ），源自过去的观察。这作为接地证据。
潜在认知地图（语义记忆）： 一个结构化的抽象表征（ $m_t$ ），通过查询可学习的空间语义图集（ $E_{world}$ ）生成。该图集充当世界原语（例如，“沙发旁的灯”）的代码本。该地图是通过使用来自情景记忆的注意力池化上下文向量，通过交叉注意力查询图集而形成的。

该架构通过以下方式处理输入：

输入编码器： 一个冻结的 Siglip 模型用于视觉语义，一个 VGGT 模型用于几何特征（从 2D 图像推断）。这些通过一个可学习的交叉注意力层融合，以创建几何感知的视觉特征。
统一决策头： 一个 LLM 骨干网络（Qwen2-7B），整合语言指令、情景记忆和潜在认知地图，以输出导航动作和查询答案。

3. 时空上下文表征学习（ST-CRL）

训练的核心创新是ST-CRL，这是一种旨在塑造潜在认知地图的对比目标。

机制： LLM 处理潜在地图 $m_t$ （作为特殊的 [MAP] 令牌注入），以生成激活的认知地图（ $m'_t$ ），该地图代表通过特定查询“透镜”看到的地图。
对比目标： ST-CRL 利用仅在训练期间可用的特权模拟器信息（区域 ID）构建样本对。它将语义等价查询的表征（正样本）拉近，并将以下情况推开：
- 空间硬负样本： 相同的查询语义但不同的空间上下文（不同的真实答案）。
- 语义硬负样本： 相同的空间区域但不同的查询语义。
- 无关干扰项： 不同的区域和查询。
辅助损失： 该框架还包括语义图集损失（使用向量量化以确保图集原语与视觉特征匹配）和情景可判别性损失（确保特定轨迹的特征是独特的）。

主要贡献

LASAR 框架： 一种新颖的基于 LLM 的智能体，通过潜在认知地图在空间中进行推理，统一了情景记忆和结构化语义记忆。
ST-CRL 目标： 一种对比学习方法，从碎片化的具身经验中提炼时空逻辑结构，迫使潜在地图编码鲁棒的空间逻辑，而不仅仅是共现统计。
MindCraft 任务与数据集： 一个统一的任务框架和数据集，在导航中注入并发认知查询，为训练智能体进行时空推理提供了必要的监督信号。

实验结果

作者在三个基准测试中评估了 LASAR：MindCraft-Test（域内推理）、VLN-CE/R2R/RxR（下游导航）以及 VSI-Bench（零样本推理泛化）。

MindCraft 性能： LASAR（本文方法）实现了65.3%的查询准确率（QA-Acc）和70.4%的目标条件准确率（GCA），分别比朴素多任务基线（LASAR IL+QA）高出4.7%和7.2%。它还展示了更高的认知地图一致性（CMC），达到75.8%。
下游导航： 在 VLN-CE val-unseen 划分上，与 NaVILA 等强基线相比，LASAR 在 R2R 上的成功率（SR）提高了2.2%，路径长度加权成功率（SPL）提高了4.9%。
零样本泛化： 在训练期间未见的 VSI-Bench 上，LASAR 的平均得分为48.9，显著优于基线 LASAR (IL+QA) 的44.8和仅导航模型的37.8。这表明 ST-CRL 促进了对空间拓扑的可迁移理解。
消融研究： 移除 ST-CRL 目标会导致性能显著下降，证实了它是性能提升的主要驱动力。移除几何编码器或双重记忆结构也会导致严重退化，特别是在一致性和目标条件准确率方面。
定性分析： t-SNE 可视化显示，虽然基线模型产生混乱的潜在空间，但 LASAR 形成了清晰的、按房间类型组织的语义有意义簇，验证了 ST-CRL 的结构影响。

意义与主张

该论文认为，以动作为中心任务和以推理为中心任务的分离是可泛化空间智能的关键障碍。作者主张，鲁棒的空间理解必须在动作与推理的闭环中学习。

通过引入 MindCraft 和 ST-CRL，这项工作证明了训练智能体构建空间结构的内部模型而非仅仅模仿轨迹是可能的。所提出的方法为构建具身智能体提供了一条具体途径，弥合了看、推理和行动之间的鸿沟，在导航和空间推理任务中均实现了卓越的泛化能力，且无需在下游基准上进行微调。作者承认了计算开销和静态环境假设方面的局限性，但将其工作定位为迈向真正自适应具身智能的基础性一步。