💻 computer science

LangMap: A Human-Verified Benchmark for Hierarchical Open-Vocabulary Goal Navigation

本文介绍了 LangMap，这是首个具有经过人工验证的四个目标层级层次化语义标注的真实世界 3D 室内导航基准测试集，并引入了 PlaNaVid 基准模型，旨在解决现有开放词汇语言条件目标导航评估中的局限性。

原作者： Bo Miao, Weijia Liu, Jun Luo, Lachlan Shinnick, Jian Liu, Thomas Hamilton-Smith, Yuhe Yang, Zijie Wu, Vanja Videnovic, Feras Dayoub, Anton van den Hengel

发布于 2026-06-01

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Bo Miao, Weijia Liu, Jun Luo, Lachlan Shinnick, Jian Liu, Thomas Hamilton-Smith, Yuhe Yang, Zijie Wu, Vanja Videnovic, Feras Dayoub, Anton van den Hengel

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在一个巨大且复杂的房子里玩一场高风险的“捉迷藏”游戏，你被蒙着眼睛，只能看到正前方的东西。你的朋友通过对讲机向你大声传达指令，告诉你该往哪里走。

这篇论文介绍了一个难度更高、也更公平的新版游戏，以及一种新的游戏策略。

问题所在：“坏地图”问题

过去，研究人员试图教机器人根据语言来寻找物体。但这些方法有一个重大缺陷：它们使用的“地图”（指令）通常是由人工智能（视觉语言模型）编写的，而这些 AI 并不真正理解这个房子。

可以这样想：如果你要求一个 AI 在一间摆满椅子的房间里找一把特定的红椅子，它可能会说：“找一把红椅子。”但如果房间里有三把红椅子，这条指令就毫无用处了。AI 还可能产生混淆，说：“找窗户附近的椅子”，而窗户实际上是在另一个房间。研究发现，这些 AI 生成的指令中，有近 40% 是错误或令人困惑的。这就像是试图用一张由从未离开过卧室的人所绘制的地图来导航城市。

解决方案：LangMap（人工验证的地图）

为了解决这个问题，作者创建了 LangMap。他们没有让 AI 去瞎猜指令，而是雇佣了人类观察真实的房屋 3-D 扫描图，并据此编写指令。

他们不仅仅停留在“找一把椅子”这种程度。他们创建了一个四级层级的难度体系，就像带有递增关卡的电子游戏一样：

场景级（简单模式）： “在整个房子里找任意一把椅子。”（就像在大海捞针，但你并不在意是哪根针）。
房间级（中等模式）： „在厨房里找一把椅子。”（现在你必须了解厨房长什么样）。
区域级（困难模式）： “在铺着蓝色地毯的卧室里找一把椅子。”（现在你需要区分两间不同的卧室）。
实例级（专家模式）： “找到那把左腿有划痕、且位于窗户旁的特定椅子。”（这需要识别微小的细节，并准确辨别出到底是哪一个物体）。

作者称之为 HieraNav（分层导航）。他们构建了一个庞大的数据集，包含超过 18,000 个任务，涵盖了 414 种不同类型的物体。每一条指令都经过了人工检查，以确保其唯一性和准确性。这就像是把模糊的地图复印件变成了高清晰度、手工绘制的藏宝图。

新玩家：PlaNaVid

论文还介绍了一个新的机器人玩家——PlaNaVid。

大多数试图解决这个问题的机器人依赖于昂贵的 3D 传感器（如 LiDAR）或深度相机来构建房间的 3D 模型。这就像机器人戴着一个高科技头盔，能看到房间的“骨架”。

PlaNaVid 则不同。 它只使用标准的摄像头（RGB），就像人类的眼睛一样。它不构建 3D 模型，也不知道物体的精确距离。那么，它是如何获胜的呢？

它使用了一种被称为**有界多样化记忆（Bounded Diverse Memory, BDM）**的巧妙技巧。

类比： 想象你在走迷宫。你不需要记住走的每一步（这对你的大脑来说负担太重），而是拍下旅途中一些最有趣或最具差异性的片段。
策略： 当机器人需要决定下一步去哪里时，它不仅仅是看正前方。它会“翻阅”它最近访问过的几个独特地点的“精神相册”。它使用一个智能规划器（一个 AI 大脑）来查看这些照片并说：“啊，我记得在这张照片里看到过一条通往厨房的走廊。让我们往那边走吧。”

这使得机器人能够进行前瞻性规划，并完成复杂的、多步骤的任务（例如“找一个杯子，然后去咖啡机旁，然后再找一本书”），而无需昂贵的 3D 硬件。

实验结果

当他们测试这个新设置时：

地图： 人类编写的指令远优于 AI 编写的指令。在一项测试计算机能否将描述与正确物体匹配的任务中，人类编写的指令正确率达到了 81%，而旧的 AI 指令仅为 58%。
机器人： 使用标准摄像头和“相册记忆”的 PlaNaVid 在复杂的多步骤任务中击败了几乎所有市面上的机器人。它在完成任务方面的成功率达到了 42.6%，超越了那些使用昂贵 3D 传感器的机器人。

还有哪些难点？

尽管有了这个新地图和新机器人，论文也承认仍存在艰巨的挑战：

“长尾”问题： 如果机器人被要求寻找非常罕见的物体（比如某种特定型号的复古烤面包机），它会表现挣扎，因为它见过的例子太少了。
微小且遥远的物体： 如果目标物体很小或者离得很远，很难被捕捉到。
连锁反应： 如果机器人在多步骤任务的第一步失败了（例如，它找不到杯子），那么整个任务都会失败。这仍然是一个极难解决的问题。

总结

简而言之，作者构建了一个更好的、经人工验证的地图，用于测试机器人在从“找一把椅子”到“在蓝色房间里找那把特定的带划痕的椅子”等各种复杂情况下的导航能力。他们还构建了一个聪明的机器人，它仅凭普通的摄像头和巧妙的记忆系统就能在复杂世界中穿行，证明了不需要昂贵的 3D 传感器也能成为优秀的导航者。

技术摘要：LangMap 与 HieraNav

问题定义

语言条件下的目标导航（LGN）要求具身智能体在没有逐步指导的情况下，在 3D 环境中定位用户指定的特定目标。虽然现有的基准测试主要关注类别级目标（例如“寻找一把椅子”）或依赖于视觉语言模型（VLM）生成的实例描述，但这些方法存在显著局限性：

语义歧义性： VLM 生成的描述往往缺乏唯一性，包含语义错误，或者无法区分同一场景内视觉相似的实例。
粒度有限： 当前的基准测试很少支持在更细粒度的语义层面（区域或实例）或混合层级的多目标回合中指定的任务。
评估可靠性： 自动化标注中的噪声阻碍了对智能体性能进行系统且可靠的评估，特别是对于需要精细空间和语义推理的任务。

方法论

1. LangMap 基准测试与 HieraNav 任务

作者引入了 LangMap，这是一个基于 HM3D 扫描构建的真实世界 3D 室内导航基准测试，以及 HieraNav，一个分层开放词汇目标导航任务。

四个语义层级： HieraNav 定义了四个不同粒度的目标层级：
- 场景级（Scene-level）： 场景中任何属于目标类别的物体。
- 房间级（Room-level）： 特定房间类型内的目标类别物体。
- 区域级（Region-level）： 特定房间实例中的物体，通过上下文线索进行区分（例如，“带有几何图案地毯的卧室”）。
- 实例级（Instance-level）： 通过判别性属性或关系识别的唯一物体实例（例如，“Bluey 床上的手机”）。
对比标注协议： 为了确保高质量、经人工验证的数据，作者采用了严格的对比标注流程：
- 标注员比较同一场景内的同类别区域和实例，以编写能够唯一识别目标的判别性描述。
- 描述被分为简洁型（强调显著线索）和详细型（提供更丰富的上下文）两种风格。
- 该数据集涵盖 414 个物体类别，其中 349 个类别用于构建超过 18,000 个导航任务。
统计数据： LangMap 包含 926 个判别性区域描述和 7,510 个实例描述。与之前的基准测试相比，它具有更高比例的小型物体（22.2% 的平均 IoU < 3.3%），为定位能力提供了更真实的评估。

2. PlaNaVid 基线

为了解决在没有深度传感器或 3D 场景表示的情况下缺乏强力多目标导航基线的现状，作者提出了 PlaNaVid，一个解耦的、仅基于 RGB 的框架。

架构： 系统由两个阶段组成：
1. 记忆引导规划（Memory-Guided Planning）： LLM 规划器（Qwen2.5-VL-7B）为当前目标选择初始路标点和朝向。它由**有界多样性记忆（Bounded Diverse Memory, BDM）**模块进行引导。
2. 反应式策略（Reactive Policy）： 反应式导航策略（Uni-NaVid）根据 RGB 观测执行底层动作。
有界多样性记忆（BDM）： 为了在有限的 LLM 上下文窗口内处理长程回合（长达 2,500 步），BDM 维护了一组受限的 RGB 快照（ $N_{max}=50$ $N_{ma x} = 50$ ）。
- 全局均匀更新（Global-Uniform Update, GUU）： 当缓冲区满时，通过剔除局部时间间隔最小的条目，确保近乎均匀的时间覆盖。
- 语义多样性检索（Semantic-Diverse Retrieval, SDR）： 使用贪婪的最大最小策略来选择一组能使语义多样性最大化的记忆状态子集，从而为规划器提供具有信息量且无冗余的上下文。
约束条件： PlaNaVd 在运行时不使用深度输入、3D 场景表示（如占据网格图）或物体掩码。

关键结果

基准测试评估

标注质量： 在文本-视图匹配任务中，LangMap 经人工验证的实例描述实现了 81.3% 的准确率（使用约 5 个单词），而 GOAT-Bench 使用 VLM 生成的描述准确率为 58.4%（使用约 21 个单词）。在 94% 的案例中，LangMap 的描述表现不逊于前者，且明显更加简洁。
导航性能：
- PlaNaVid 在评估的方法中取得了最高的成功率（SR）：多目标导航为 42.6%，单目标导航为 31.4%。
- 它在多目标 SR 上比之前的最佳 RGB-only 方法（Uni-NaVid）高出 8.5%，在序列成功率 2（SeqSR@2）上高出 4.0%。
- 尽管缺乏深度输入，它在多目标 SR 上超越了基于 3D 的方法（如 MTU3D），验证了记忆引导规划方法的有效性。

消融实验

记忆组件： 移除 BDM 使多目标 SR 从 42.6% 下降到 34.1%。GUU 和 SDR 的结合至关重要，它们在不损失性能的前提下将记忆压缩了 13 倍（从约 656 帧压缩至 50 帧）。
描述风格： 详细描述提高了区域级和实例级的性能，尽管简洁描述依然有效。
挑战： 性能在长尾类别、小型物体（低可见度）、远距离目标以及多目标完成序列中持续下降，凸显了这些领域是开放性的挑战。

重要性与主张

论文声称，LangMap 和 HieraNav 为语言驱动的具身导航建立了一个严谨的、经人工验证的测试平台，解决了先前工作中自动化标注噪声大和语义粒度有限的关键问题。通过提供跨四个层级的判别性描述，该基准测试使得评估智能体执行时空推理和消歧的能力成为可能。

此外，PlaNaVid 证明了仅使用 RGB 输入和记忆引导规划即可实现高性能的多目标导航，挑战了复杂导航任务中必须使用深度传感器和显式 3D 场景重建的必要性。作者将他们的工作定位为未来研究长程推理、处理长尾类别以及在真实环境中实现鲁棒多目标完成的基础。