LifelongCrossNav: Persistent 3D Semantic Memory for Cross-Floor Multi-Object Navigation
LifelongCrossNav 是一个通过维护持久共享的稀疏 3D 语义体素记忆并集成专门的楼梯遍历能力，从而实现在未知室内环境中跨多个楼层进行连续多目标导航的框架，其在新增的 HM3D-MFMON 基准测试中表现优于现有的平面基准方法。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，有一个机器人可以走遍你的家，找到遥控器，接着找到猫，最后找到烤面包机，而且整个过程不会迷路也不会撞到墙。这就是“具身智能”（Embodied AI）的梦想——让计算机不仅仅是观察图片，而是能通过在现实世界中移动来完成任务。长期以来，这些机器人就像是记忆力极短且畏惧楼梯的人。它们可能能在单层楼里找到一件物体，但如果要求它们连续寻找三样东西，或者下一个物品在楼上，它们往往会变得困惑、忘记自己已经找过哪里，或者干脆拒绝爬楼梯。它们把世界看作一张平面的地图，将二楼压扁在地面上，这在电子游戏中没问题，但在有楼梯的真实房屋中却行不通。
科学家们一直在问一个核心问题：我们如何赋予机器人一种“终身”记忆，使其不仅理解物体的外观，还理解楼层之间是如何连接的？如果机器人在客厅发现了一把椅子，它在去厨房找勺子时应该依然记得那把椅子。如果勺子在楼上的卧室，机器人需要知道楼梯的存在以及如何使用它，而不是在底层楼层里原地打转。这不仅仅是为了让你的机器人更有礼貌，更是为了制造出能够处理复杂多层环境（如多层住宅、医院或办公室）中实际行动的机器。
于是，LifelongCrossNav 诞生了，这是一个旨在成为拥有超强记忆力的终极家务机器人的框架。你可以把它想象成赋予机器人一个完整的 3 维房屋心理模型，这个模型是由无数微小的、不可见的方块（体素/voxels）堆叠而成的，它们构成了墙壁、地板，甚至是复杂的楼梯几何结构。与以往试图将世界简化为 2D 平面图的机器人不同，LifelongCrossNav 构建了一个真正的 3D 结构。它不仅记得物体在什么位置，还记得它们是如何被支撑的。它知道地板之所以稳固是因为有地面支撑，而悬空的部分则是无法行走的。至关重要的是，它不把楼梯视为可怕的障碍物，而是将其视为连接不同楼层的特殊路径。
该系统运作起来就像一个带着笔记本的探险家。随着机器人的移动，它会不断更新其 3D 地图，添加关于房间形状和墙壁纹理的新细节。它使用一种特殊的“视觉-语言”记忆，这就像是一个高级的图书馆目录。当被告知“寻找电视”时，它不仅仅是在寻找一个盒子；它会在记忆中搜索之前可能见过的关于电视的视觉和文本线索。如果它在之前的任务中在客厅发现了一台电视，它会记住那个位置。如果下一个任务是找床，而床在楼上，机器人不会惊慌。它会检查自己的 3D 地图，看到楼梯，然后规划一条上楼的路线。
为了测试这是否奏效，研究人员创建了一个新的挑战赛，名为 HM3D-MFMON。想象一个包含 36 个不同多层房屋的视频游戏关卡。他们设置了 927 个场景，要求机器人按特定顺序寻找三种不同的物体。在 288 个场景中，机器人必须上楼或下楼才能完成任务；如果不跨越楼层，任务根本无法完成。这是对机器人处理垂直移动和长期记忆能力的终极压力测试。
结果非常明确。与使用平面 2D 地图的标准机器人（基准模型）相比，LifelongCrossNav 在完成完整任务序列方面表现得显著更好。由于无法在“压扁”的世界中“看到”楼梯，平面地图机器人经常陷入困境或彻底失败，本质上是因为无法处理楼层转换而放弃了任务。然而，LifelongCrossNav 成功完成了这些跨楼层的挑战。它不仅找到了物体，而且效率更高。通过记住自己已经看过的地点（使用“历史兴趣点”或 POI），它避免了重复行走相同的走廊，从而节省了时间和精力。
论文指出，这种方法是一个重大的进步。它证明了赋予机器人对环境持久的 3D 理解能力——即记住楼梯的几何结构以及不同楼层物体的分布——能使其更胜任处理现实世界的任务。虽然机器人目前仍会犯错（例如有时会将床误认为沙发），但能够导航多个楼层并在无需重新构建地图的情况下记住过去的发现，这比以往的方法有了切实且可衡量的提升。它还不是完美的机器人，但它是第一个真正理解如何在多层房屋中生活的机器人。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。