SuperMap: A Spatio-Temporal SLAM System for Visual-Language Navigation

在我们的家庭和办公室中移动的机器人面临着一个根本性的挑战：世界并非一个静态的博物馆展品。它是一个充满活力的空间，椅子会被拉开，垃圾桶会被清空，人也会走过门口。对于一台机器而言，要在这种环境中安全地导航并执行复杂的指令，例如“去刚才在植物旁边的那个椅子那里”，它需要的不仅仅是房间的一个快照。它需要一种能够理解不仅有哪些物体存在，而且这些物体如何随时间移动、消失或变化的记忆。这就是时空制图（spatio-temporal mapping）的领域，该领域致力于赋予机器人对周围环境持续且演进的理解。虽然现代人工智能在识别单张图像中的物体方面已经做得非常好，但将这些瞬间缝合在一起，构成一个连贯的长期故事，已被证明是一件难事。如果没有这种能力，机器人可能会忘记五分钟前看到的椅子，或者未能注意到推车已被移到了新位置，从而导致混乱和任务失败。

卡内基梅隆大学的研究人员开发了一个名为 SuperMap 的新系统来解决这个问题。该系统充当机器人的实时记忆，允许它们构建一个详细的四维房间地图，并随着机器人的移动和环境的变化而实时更新。与以往要么忽略随时间变化，要么需要数小时离线处理来创建地图的方法不同，Super型的 SuperMap 在机器人行驶时即可即时工作。它将距离和位置的精确测量与通过名称识别物体（即使机器人从未见过该特定物体）的能力结合在一起。其结果是一个了解不仅事物现在在哪里，而且曾经在哪里、正要去向何处以及哪些已经消失的数字世界表示。

这一成就的核心在于系统如何处理“转瞬即逝的瞥见”与“持久事实”之间的区别。当机器人观察一个房间时，它的摄像头看到的是一系列图像流。在过去，如果一个物体被短暂地遮挡在人或墙后，机器人的地图往往会失去对它的追踪，仿佛它已永久消失。SuperMap 通过使用一种一致性驱动的方法避免了这种情况。它不断将当前的视野与其记忆进行对比。如果一个垃圾桶今天可见，但昨天也曾出现在那里，系统就会将其保留在地图中。如果垃圾桶不见了，系统会记录其消失，而不是简单地将其遗忘。这使得机器人能够区分临时性的遮挡（如人走过物体前方）与永久性的变化（如一件家具被移到了另一个房间）。

为了构建这种记忆，该系统同时运行三个主要过程。首先，它利用传感器创建一个精确的三维房间模型，高精度地测量到墙壁和地板的距离。其次，它在空间内识别物体，并为它们分配唯一的身份和名称。如果机器人看到一个“红桶”，它记住的是那个特定的桶，而不仅仅是关于“桶”的一般概念。第三，它将这些物体链接到一个记录它们关系和历史的网络中。这个被称为“场景图”（scene graph）的网络允许机器人回答有关过去的问题。即使推车已经被移走，它也能回想起推车曾经在桌子旁边。这种能力对于执行依赖于房间历史的指令至关重要，例如“回到刚才在植物旁边的那个椅子那里”。

研究人员在现实世界的室内环境中测试了该系统，通过引入刻意的变化来观察机器人如何适应。他们添加了像水桶和安全标志这样的新物品，并移走了像植物和椅子这样的物品。在这些测试中，SuperMap 成功地追踪了新物体的出现和旧物体的消失，而没有丢失位置或混淆物体。它保持了椅子的身份，即使椅子在移出视线后又被带了回来，而许多之前的系统在这一点上都失败了。该系统还证明了能够处理长达十分钟时间跨度的长期变化，对于在动态空间中运行的机器人来说，这是一个显著的持续时间。

除了追踪物体外，该系统还能使机器人理解并根据语言指令采取行动。通过将复杂的 3D 地图转换为语言模型可以读取的结构化格式，机器人可以对房间进行推理。例如，如果被要求根据与其他物体的关系来寻找某个物体，机器人可以通过追踪其记忆中的连接来定位目标。在实验中，这种方法允许机器人通过理解它们的相对位置，在充满相同白板的房间里找到特定的白板，如果机器人仅依赖原始视频流，这项任务将无法完成。该系统无需处理海量的视频数据，而是利用紧凑、有序的地图快速做出决策。

SuperMap 的性能在速度和准确性方面都优于现有方法。虽然其他一些系统需要花费数分钟或数小时进行离线处理来构建地图，但 SuperMap 能够实时运行，并随着机器人的移动同步更新其理解。它还在追踪单个物体方面优于其他方法，即使在物体被部分遮挡或从困难角度观察时，也能正确识别并保持其身份。研究人员发现，将几何数据与视觉识别进行交叉检查是其成功的关键，这使得系统能够过滤错误并维持对世界的稳定观察。

这项工作代表了让机器人真正融入人类环境的一大步。通过赋予机器一种尊重时间流逝和空间流动性的记忆，SuperMap 让机器人能够以一种此前难以企及的觉察力进行导航。该系统旨在开源，这意味着其他研究人员可以基于此开发出更具适应性和可靠性的机器人。随着机器人继续进入我们的家庭和工作场所，记住过去并理解现在的能力对于它们与我们高效协作至关重要。SuperMap 为那个未来奠定了基础，将一个混乱、多变的世界转化为机器可以理解并信任的地图。