💻 computer science

Uncertainty-Aware Gaussian Map for Vision-Language Navigation

本文提出了一种面向视觉语言导航的不确定性感知高斯地图，该方法从全景观测构建语义高斯地图，并显式融合几何、语义和外观不确定性，以引导智能体在三维环境中做出更可靠的决策。

原作者： Jianzhe Gao, Rui Liu, Yuxuan Xu, Tongtong Cao, Yingxue Zhang, Zhanguang Zhang, Sida Peng, Yi Yang, Wenguan Wang

发布于 2026-05-27

📖 1 分钟阅读☕ 轻松阅读

原作者： Jianzhe Gao, Rui Liu, Yuxuan Xu, Tongtong Cao, Yingxue Zhang, Zhanguang Zhang, Sida Peng, Yi Yang, Wenguan Wang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图仅凭一段语音录音来导航一座巨大而陌生的房子，录音中说：“去铺着红地毯的那个房间里桌子上的蓝色花瓶。”

大多数现有的机器人导航器就像一位自信的游客，无视自己的疑虑。如果它们看到两扇相同的门，就会随意选一扇，听天由命。如果一把椅子挡住了走廊的视野，它们就会猜测是否可以安全通过。它们很少承认“我不确定”，而这往往导致它们迷路或撞上东西。

本文介绍了一种新型机器人导航器，称为不确定性感知高斯地图（Uncertainty-Aware Gaussian Map）。这种机器人不再只是猜测，而是携带一张特殊的“心理地图”，不断自问：“我对这个有多确定？”

以下是其工作原理，分解为简单概念：

1. 心理地图："3D 高斯云”

该机器人并非构建一个僵硬的、块状的房屋地图，而是构建一个语义高斯地图（Semantic Gaussian Map, SGM）。

类比：想象房间并非由实心墙壁构成，而是由数百万个微小的、发光的、毛茸茸的气球（称为“高斯”）组成。
每个气球都知道两件事：它在哪里（几何结构）和它是什么（语义信息，如“门”、“桌子”或“花瓶”）。
机器人随着环顾四周实时更新这些气球，从而创建一个鲜活、动态的 3D 环境模型。

2. “疑虑计”：三种类型的不确定性

本文的妙处在于，机器人不仅绘制房间地图，还绘制其对该地图的置信度。它会检查三种特定的“疑虑”：

几何不确定性（“摇晃的墙壁”检查）：
- 是什么：房间的形状清晰吗？
- 类比：如果机器人看到一个门框，但边缘模糊或部分被遮挡，代表该门的“气球”就会开始晃动。机器人意识到：“我不完全确定这面墙到底在哪里。”
语义不确定性（“这是门吗？”检查）：
- 是什么：我知道这个物体是什么吗？
- 类比：想象机器人看到两扇相同的门。一扇通向浴室，另一扇通向壁橱。机器人想：“它们看起来完全一样。我无法分辨哪一扇是目标。”它会将两者都标记为“困惑”，以免盲目选错。
外观不确定性（“眩光与阴影”检查）：
- 是什么：光线或纹理是否让我感到困惑？
- 类比：如果闪亮的地板反射出窗户，使其看起来像真实的开口，或者阴影遮挡了台阶，机器人的“疑虑计”就会飙升。它知道视觉信息很棘手，可能会产生误导。

3. “价值地图”：将疑虑转化为行动

一旦机器人计算出这三种疑虑，就会将它们合并为一张3D 价值地图。

类比：这就像一张 GPS 地图，不仅显示道路，还高亮显示“施工区”和“雾区”。
如果某个区域具有高不确定性（大量晃动、困惑或眩光），机器人会将其视为约束。它可能会说：“我不能直接去那里，因为我不确定是否安全。我会绕路或寻找更好的角度。”
如果某个区域具有低不确定性（墙壁清晰、物体清晰、光线良好），它则将其视为可供性（一条安全的可行路径）。

4. 结果：更智能的导航器

作者在三个不同的导航挑战（R2R、RxR 和 REVERIE）中测试了该机器人，这些挑战涉及根据自然语言指令在复杂的室内环境中导航。

结果：通过明确倾听自身的疑虑，机器人减少了错误。与之前的最佳机器人相比，它成功导航至目标的概率提高了2%，路径执行效率提高了1%。
成功原因：当机器人遇到令人困惑的情况（如两扇相似的门）时，它不会猜测。它利用其不确定性地图意识到需要更多信息，或者选择更安全、更明显的路径，而不是盲目跟随直觉。

总结

简而言之，这篇论文教导机器人要谦逊。机器人不再假装无所不知，而是构建一张 3D 地图，明确标出它感到困惑的地方、形状摇晃的地方以及光线棘手的地点。通过尊重这些“疑虑”，机器人能做出更安全、更可靠的决策，避免那些让其他过度自信的导航器陷入的陷阱。

技术摘要：面向视觉 - 语言导航的不确定性感知高斯地图

问题陈述

视觉 - 语言导航（VLN）要求具身智能体遵循自然语言指令在三维环境中进行导航。尽管现有的智能体已从序列到序列模型演变为基于地图的范式和世界模型，但仍存在一个关键局限：它们在决策过程中通常忽略感知不确定性。在现实世界的导航中，智能体经常遇到模糊情况，例如缺乏可靠的视觉证据进行定位（如区分视觉相似的房门），或遮挡物遮蔽了空间线索。现有的训练方法往往激励智能体无论置信度如何都预测动作，导致在感知模糊时出现不可靠的定位和不安全的轨迹。这项工作旨在解决显式建模和利用不确定性以支持知情决策的需求。

方法论

所提出的框架不确定性感知高斯地图（Uncertainty-Aware Gaussian Map）将三种不同形式的感知不确定性整合到一个统一的三维表示中。其流程如下：

1. 语义高斯地图（SGM）构建

智能体在每个航路点从多视角 RGB-D 观测中构建语义高斯地图（SGM）。

初始化：多视角观测被转换为稀疏的伪激光雷达点云。每个点初始化一个可微分的 3D 高斯原语，其参数包括位置（ $\mu$ ）、协方差（尺度 $E$ 和旋转 $R$ ）、不透明度（ $\alpha$ ）、颜色（球谐函数）以及语义属性。
语义增强：利用 SAM2 进行空间分割和 CLIP 嵌入提取语义属性，将物体/区域的语义附着到高斯原语上。
优化：通过可微分渲染对 SGM 进行细化，优化原语以匹配观测到的颜色、深度和语义特征。贡献可忽略的原语（尺度小或不透明度低）被剪枝以减少噪声。

2. 感知不确定性估计

基于 SGM，智能体估计三种特定的不确定性类型：

几何不确定性（ $U_g$ ）：通过将每个高斯的位置和尺度参数建模为随机变量来评估结构可靠性。利用变分推断，智能体近似这些参数扰动的后验分布。不确定性被量化为这些学习到的扰动的标准差，使智能体能够识别并降低不可靠结构原语的权重。
语义不确定性（ $U_s$ ）：捕捉物体和区域解释中的歧义。与几何不确定性类似，高斯的语义属性通过变分推断进行扰动。后验分布中产生的变异性揭示了模糊的语义线索，使智能体能够在决策过程中忽略不可靠的语义信息。
外观不确定性（ $U_a$ ）：表征渲染观测对高斯级变化的敏感性，源于遮挡、纹理不一致和光照等因素。这使用费雪信息（Fisher Information）进行量化，近似为重建损失关于高斯参数的块对角海森矩阵的对数行列式。高费雪信息表明微小的扰动会导致感知空间中的巨大变化。

3. 3D 价值地图与决策

估计的不确定性被整合到 SGM 中，形成统一的3D 价值地图。

表示：每个高斯都增加了其几何、语义和外观不确定性分数，创建了一个增强的表示，该表示同时编码了环境的结构及其可靠性。
策略：这些增强的高斯被投影到特征空间并聚合成全局表示。该表示与指令嵌入相结合，由多层 Transformer 处理，以预测候选航路点的动作概率。不确定性信号作为可供性（affordances）和约束，引导智能体走向可靠的路径，并避开模糊或不安全的区域。

主要贡献

显式不确定性建模：这项工作显式地在 VLN 背景下对几何、语义和外观不确定性进行建模，超越了以往智能体中隐含或忽略的不确定性。
语义高斯地图（SGM）：引入了一种富含语义属性的可微分 3D 高斯表示，作为不确定性估计的基础基质。
统一 3D 价值地图：提出了一种新颖的机制，将不确定性估计转化为空间价值场，将其作为导航的可操作约束和可供性进行定位。
基于变分和费雪的估计：应用变分推断处理几何和语义不确定性，应用费雪信息处理外观不确定性，提供了一种可处理且可解释的感知可靠性量化方法。

实验结果

该智能体在三个标准 VLN 基准测试上进行了评估：R2R、RxR和REVERIE。

R2R：在 val unseen 分割集上，智能体实现了**78%的成功率（SR）和66%**的路径长度加权成功率（SPL），相较于之前的最先进方法（VER），SR 提高了 2%，SPL 提高了 1%。
RxR：在 val unseen 分割集上，该方法产生了**65.2%的 SR 和65.6%**的归一化动态时间规整（nDTW），优于 BEVBert。
REVERIE：智能体在远程定位成功率（RGS）和 RGSPL 方面取得了显著增益，在 val unseen 分割集上分别达到**37.65%的 RGS 和27.01%**的 RGSPL，在两项指标上均超越了最佳报告结果（BEVBert）约 3%。

消融研究证实，SGM 结构和所有三种不确定性类型的整合对于最佳性能都是必要的。移除不确定性线索会导致性能显著下降，特别是在具有高感知模糊性的复杂场景中。

意义与主张

该论文主张，通过显式建模和整合感知不确定性，智能体可以做出更明智的决策，有效解决导致以往智能体失败的歧义问题。作者证明，不确定性不仅仅是感知的副产品，而是一个有价值的线索，可以被编码为空间约束（例如，避免被遮挡的路径）和可供性（例如，优先选择可靠的地标）。

这项工作强调，现有的智能体在证据有限或存在遮挡的条件下经常失败，因为它们缺乏识别和应对不可靠性的机制。通过将几何、语义和外观不确定性整合到统一的 3D 价值地图中，该框架使智能体能够更稳健地导航，在各种基准测试中实现一致的改进。作者将此定位为迈向更安全、更可靠的具身人工智能的一步，在此框架下，智能体能够区分自信和不确定感知，而不是盲目执行动作。