💻 computer science

PSG-Nav: Probabilistic Scene Graph Navigation via Multiverse Decision Making

本文介绍了 PSG-Nav，一种通过构建 3D 概率场景图来解决感知不确定性、采用多元宇宙决策（Multiverse Decision making）在多种世界设置下评估导航地标点、并利用证据经验校准器（Evidential Experience Calibrator）进行在线自适应的新型开放词汇导航框架，从而在 MP3D、HM3D 和 HSSD 基准测试上实现了最先进的性能。

原作者： Rufeng Chen, Yue Chang, Xiaqiang Tang, Hechang Chen, Sihong Xie

发布于 2026-06-02

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Rufeng Chen, Yue Chang, Xiaqiang Tang, Hechang Chen, Sihong Xie

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是对论文 "PSG-Nav: Probabilistic Scene Graph Navigation via Multiverse Decision Making" 的解释，使用了通俗易懂的语言和富有创意的类比。

核心问题：机器人的“自信错误”

想象你是一个被派往一个陌生、黑暗的房子里寻找特定物体（比如“蓝色沙发”）的机器人。你有一个摄像头和一个大脑（AI），但你的视觉并不完美。有时，一张大型扶手椅看起来非常像沙发。

旧有的机器人导航方式：
大多数机器人的行为就像是过度自信的侦探。如果它们的摄像头看到某个东西有 60% 像沙发，30% 像椅子，它们会立即决定：“这就是沙发！”然后停止行动。它们丢弃了所有的怀疑。

结果： 它们会在错误的物体（扶手椅）面前停下，认为自己已经完成了任务。这被称为假阳性（False Positive）。因为它们如此确定，所以不会继续寻找，从而导致任务失败。

新的方式 (PSG-Nav)：
这篇论文介绍了一种能够“拥抱不确定性”的机器人。它不会立即选择一个答案，而是在脑海中保留一份“可能性的菜单”。它会说：“好吧，这个看起来像沙发，但也可能是椅子或床。让我们先保留所有这些选项。”

PSG-Nav 的三大超能力

作者构建了一个包含三个主要技巧的系统，以帮助机器人更好地导航。

1. “概率地图”（3D-PSG）

机器人不再绘制带有固定标签（如“这是厨房”）的地图，而是构建一个 3D 概率场景图（3D Probabilistic Scene Graph）。

类比： 想象一张地图上的每个物体都有一个“置信度计”而不是名字标签。
- 旧地图： “这是一张床。”（句号，结束）。
- PSG-Nav 地图： “这个物体有 60% 的概率是床，30% 是沙发，10% 是蹦床。”
为什么有效： 机器人不会过早做出决定。它会记住，由于光线不好，这个“床”实际上可能是一个“沙发”。这防止了机器人仅仅因为光线问题就陷入错误的判断。

2. “多元宇宙决策”（平行宇宙模拟器）

这是最酷的部分。为了决定下一步去哪里，机器人不仅仅观察一个版本的世界，它还在脑海中创建了多个可能的平行世界（多元宇宙）。

类比： 把机器人想象成一位正在拍摄场景的电影导演。
- 宇宙 A： 这个物体是一张床。在这个世界里，机器人想：“床通常在卧室里，而不是客厅。这很奇怪。我应该去检查一下卧室。”
- 宇宙 B： 这个物体是一个沙发。在这个世界里，机器人想：“沙发属于客厅。这完全符合逻辑。我会留在这里。”
过程： 机器人模拟这些不同的世界。它请求一个“聪明的大脑”（大语言模型）来对比它们：“在宇宙 A 中，去卧室是个好主意吗？在宇宙 B 中，留在原地是个好主意吗？”
结果： 通过综合所有这些“如果……会怎样”场景的结果，机器人找到了一个无论物体实际是什么都能奏效的路径。它不再盲目猜测，而是开始为所有可能性进行规划。

3. “经验校准器”（记忆检查）

即使有了出色的地图和多元宇宙，机器人仍可能被棘手的物体所迷惑。这就是**证据经验校准器（Evidential Experience Calibrator, EEC）**发挥作用的地方。

类比： 想象机器人有一个“名人堂”和一个“耻辱柱”。
- 名人堂： 记录了它成功找到沙发的时刻。
- 耻辱柱： 记录了它以为找到了沙发，但实际上是椅子的时刻（错误案例）。
运作方式： 当机器人认为“我找到目标了！”时，它并不会直接停止。它会迅速检查自己的记忆。
- “这看起来像我在‘名人堂’里发现的东西吗？”
- “这看起来像我在‘耻辱柱’里的错误吗？”
结果： 如果当前的物体看起来太像过去的错误，机器人会说：“不对，这是个假警报，”然后继续探索。如果它与成功案例相符，它才会停下来并庆祝。

表现如何（计分板）

作者在三个不同的虚拟“房子”（数据集称为 MP3D、HM3D 和 HSSD）中测试了这个机器人。

结果： 使用 PSG-Nav 的机器人比之前的机器人能更好地找到正确的物体。
- 在一项测试中，它的成功率达到了 66.1%，在另一项中为 44.8%，在第三项中为 67.9%。
- 它以显著的优势击败了之前的最优方法。
现实世界测试： 他们还将该系统应用在真实房间里的实体机器人上。即使机器人看到一个看起来像椅子的沙发，其“经验校准器”也捕捉到了这个错误，机器人继续寻找，直到找到了真正的椅子。

总结

PSG-Nav 就像是一个拒绝过度自信的机器人。

它保持选项开放（概率地图），而不是立即猜测。
它模拟不同的现实（多元宇宙）来规划最佳路径。
它从过去的错误中学习（经验校准器），以避免在错误的地方停下。

通过这样做，它比那些只会“选一个标签并祈祷最好”的机器人，在复杂的、令人困惑的环境中导航得更加可靠。

技术摘要：PSG-Nav：基于多重宇宙决策的概率场景图导航

问题定义

在复杂且未知的环境中进行开放词汇导航，要求具身智能体能够根据自由文本目标（例如“寻找一个蓝色沙发”）进行导航。该领域的一个关键挑战是感知不确定性，这源于物理对象的语义歧义以及感知模型的误差。现有方法通常依赖于确定性表示，即将带有噪声的感知输出视为绝对事实，并将其映射到单一固定的标签上（例如，将一个物体严格标记为“床”或“沙发”）。这种方法丢弃了完整的语义分布，导致：

逻辑布局不合理： 错误的地图中，物体被放置在语义不一致的上下文中（例如，客厅里出现了一张床）。
过度自信的决策： 智能体基于噪声数据做出不可逆转的决策，导致产生假阳性，使智能体在错误的靠近目标处过早终止任务。
领域偏移失败： 由于现实世界预训练与模拟环境之间的差距，频繁发生误识别。

论文指出，管理这种不确定性对于任务成功至关重要，因为将噪声输出视为事实会导致信息丢失和不可靠的路径。

方法论

作者提出了 PSG-Nav，这是一个旨在实现鲁棒处理语义歧义的统一框架。该系统由三个核心组件组成：

1. 3D 概率场景图 (3D-PSG)

与分配硬标签的传统场景图不同，3D-PSG 为每个物体节点维护一个完整的类别分布。

层次化结构： 图表分为三个层级：物体节点、组节点（空间邻近物体的集群）和房间节点。
概率表示： 每个物体节点 $o_i$ 维护一个信念分布 $P(o_i = c_k)$ ，该分布通过“投票”累积策略（统计随时间变化的检测票数）进行更新，而非使用基于 Dirichlet 先验的不稳定贝叶斯更新。
层次化分解： 为了避免全局联合分布的组合爆炸，不确定性在层次结构中进行分解。组节点计算其组成物体的联合概率，房间节点聚合组分布。
逻辑剪枝： 在构建过程中，系统枚举潜在的语义组合，并使用大语言模型 (LLM) 作为逻辑过滤器来剪掉具有语义冲突的配置（例如，客厅里出现马桶），从而确保全局语义的一致性。

2. 多重宇宙决策框架

为了在规划中应用概率图，该框架从 3D-PSG 的联合分布中采样出一组离散的、确定性的“世界”。

世界采样： 系统生成 $K$ 个不同的世界实例化版本 ( $G^{(1)} \dots G^{(K)}$ )，每个版本代表对环境的一种逻辑一致的解释。
内在不确定性感知探索： 智能体根据两个指标评估候选地标（源自广义沃罗诺伊图和前沿）：
- 空间信息增益 ( $I_{spa}$ )： 对未知空间的预期覆盖范围。
- 语义消歧潜力 ( $I_{sem}$ )： 周围物体语义熵（香农熵）的预期减少量。
随机成对比较： 智能体不是在单一噪声地图上对地标进行排序，而是在 $M$ 轮评估中执行操作。在每一轮中，采样一个世界，并由 LLM 作为偏好判别器，根据在该特定世界中引导至目标的可能性来比较成对的地标。
决策聚合： 最终的偏好得分通过在整个多重宇宙中对成对胜出情况进行边缘化得出，从而确保所选路径对感知噪声具有鲁棒性。

3. 证据经验校准器 (EEC)

为了减轻由认知不确定性引起的假阳性问题，EEC 作为一种基于检索增强生成 (RAG) 的验证模块。

概率上下文记忆： 系统维护两个记忆库：包含成功目标检测的正向库 ( $B^+$ ) 和包含历史假阳性的负向库 ( $B^-$ )。条目包括视觉嵌入和结构上下文（房间和组的语义分布）。
置信度校准： 当检测到候选物体时，EEC 从这两个库中检索相似的上下文。它根据与成功案例及失败案例的相似度计算校准裕度。
动态调整： 原始检测得分通过该裕度进行调整。只有当校准后的得分超过验证阈值时，智能体才会终止任务，从而有效地抑制了类似于已知错误模式的检测。

核心贡献

3D 概率场景图： 一种层次化表示，可在物体、组和房间层面保留完整的语义分布，防止了与确定性标签相关的不可逆信息丢失。
多重宇宙决策制定： 一种新型规划策略，通过采样多个可能的场景设置来评估导航地标，从而允许智能体通过边缘化感知噪声来实现稳定的决策。
证据经验校准器： 一个在线、终身学习模块，通过对比过去成功与失败的经验来交叉验证检测结果，从而动态校准置信度并防止过早终止。
达到最先进水平的性能： 该框架在标准数据集上建立了新的基准，同时展示了在物理机器人上的实际部署能力。

实验结果

作者在三个广泛使用的基准测试集 MP3D、HM3D 和 HSSD 上对 PSG-Nav 进行了评估。

成功率 (SR)：
- HM3D： 66.1% (PSG-Nav) vs. 65.4% (ASCENT，之前的 SOTA)。
- MP3D： 44.8% (PSG-Nav) vs. 44.5% (ASCENT)。
- HSSD： 67.9% (PSG-Nav)。
零样本性能： 不带 EEC 的变体（严格零样本）在 HM3D 上仍实现了 63.5% 的 SR，优于 BeliefMapNav (61.4%) 和 ApexNav (59.6%)。
消融研究：
- 移除 3D-PSG（回归到确定性标签）会导致性能显著下降（例如，HSSD 上下降了 9.4% SR）。
- 移除组级层次结构会使全局配置的联合概率变得微乎其微，导致世界采样变得难以处理。
- 研究表明，EEC 拦截了 76.9% 的特定失败模式子集中的假阳性停止，恢复了 30.3% 的先前失败任务。
真实世界部署： 该系统成功部署在室内环境中的物理机器人（Agilex SCOUT MINI）上，其中它正确地拒绝了一个视觉上相似的沙发作为椅子目标，并继续探索以寻找真正的目标。

重要性与主张

论文声称 PSG-Nav 通过将环境显式建模为概率结构，解决了开放词汇导航中的“确定性坍缩”问题。通过保留完整的语义分布并利用历史经验进行校准，该框架能够实现更可靠的决策。

作者将他们的工作定位为迈向可信且有能力的自主智能体的一步，这些智能体能够处理物理世界中固有的不确定性。他们指出，虽然其方法显著提高了鲁棒性，但目前仍依赖于 2D 占据地图，这限制了其显式处理垂直导航（楼梯、多层拓扑结构）的能力。未来的工作建议将该框架扩展到体积规划和层次化楼层级场景图。