💻 computer science

NavWAM: A Navigation World Action Model for Goal-Conditioned Visual Navigation

NavWAM 是一种扩散 Transformer 策略，它将未来视觉预测、目标进度值估计和动作生成统一到一个共享的潜序列中，使机器人能够直接执行闭环导航，而不依赖于外部规划器或动作搜索。

原作者： Daichi Azuma, Taiki Miyanishi, Koya Sakamoto, Shuhei Kurita, Yaonan Zhu, Petr Khrapchenkov, Motoaki Kawanabe, Yusuke Iwasawa, Yutaka Matsuo

发布于 2026-06-12

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Daichi Azuma, Taiki Miyanishi, Koya Sakamoto, Shuhei Kurita, Yaonan Zhu, Petr Khrapchenkov, Motoaki Kawanabe, Yusuke Iwasawa, Yutaka Matsuo

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一个机器人寻找房子里的特定房间，但这个机器人只能看到它“眼睛”（摄像头）正前方的视野。它没有地图，也看不见转角后的情况。这就是**目标导向视觉导航（goal-conditioned visual navigation）**所面临的挑战。

这里是作者 Daichi Azuma 及其团队如何通过一个名为 NavWAM 的新系统来解决这一问题的故事。

问题所在：“水晶球” vs. “驾驶员”

在过去，研究人员尝试使用两种独立的工具来教机器人进行导航：

水晶球（世界模型/World Model）： 这个工具擅长猜测机器人向前移动时会看到什么。“如果我向左转，我会看到厨房。”“如果我直走，我会撞墙。”
驾驶员（规划器/Planner）： 这个工具观察“水晶球”的预测，然后决定：“好吧，厨房看起来不错，那我就向左转。”

缺陷： 论文指出，将这两者分开是非常低效的。这就像有一个乘客在旁边大喊方向（“向左转！”），而驾驶员不得不停下来、思考，然后再转向。这造成了一个瓶颈。“水晶球”预测了未来，但它并不知道如何通过驾驶汽车来抵达那里。

解决方案：NavWAM（“驾驶员-预测器”）

作者创建了 NavWAM（导航世界动作模型/Navigation World Action Model）。把 NavWAM 想象成一个既能预见未来，又是超级驾驶员的个体。

NavWAM 不再将“水晶球”和“驾驶员”分开，而是将它们合并为一个大脑。它不仅能猜出自己会看到什么，还能同时猜出：它会看到什么、距离目标有多近，以及究竟要给出什么样的转向指令——这一切都是同步进行的。

创意类比：“共享画布”

为了理解 NavWAM 的工作原理，请想象一位画家正在一张由九个不同面板组成的单张画布上作画：

底部的面板（已知信息）： 展示机器人的当前视角、它现在的位置，以及目标的图片（例如，一张特定椅子的照片）。
顶部的面板（预测信息）： 机器人通过绘制这些面板来展示：
1. 机器人未来会看到的景象。
2. 它距离目标的距离。
3. 最关键的部分： 实现这一目标所需的实际转向指令（“动作块/action chunk”）。

机器人通过对这张画布进行“去噪（denoising）”来学习。它从一个模糊、混乱的未来版本开始，不断清理，直到得到一张清晰的路径图、目的地以及需要采取的步骤。因为“转向指令”是与“未来视图”绘制在同一张画布上的，所以机器人学会了：为了看到目标，它必须采取这些特定的动作。

它如何击败竞争对手

论文将 NavWAM 与另外两种类型的机器人进行了对比测试：

旧方法（NWM）： 这种机器人先预测未来，然后使用复杂的、缓慢的数学搜索（称为 CEM）来确定采取哪种行动。这就像一个棋手在走一步棋之前要计算 100 步。
直接法（OmniVLA）： 这种机器人只是看着目标并猜测下一步动作，而不去思考未来。这就像一个只顾着应对路况而从不看前方的司机。

结果：

NavWAM vs. 旧方法： NavWAM 速度更快且更准确，因为它不需要停下来进行复杂的搜索计算。它只需“知道”该怎么做。在现实世界测试中，它的成功率达到了 79%，而旧方法仅为 16%。
NavWAM vs. 直接法： NavWAM 的表现与直接法（后者使用更强大、更复杂的计算机大脑）不相上下，但 NavWAM 还拥有预测未来的额外超能力。

现实世界测试

团队不仅在计算机模拟中测试，还将 NavWAM 安装在一个名为 Diablo 的真实机器人上，并将其送入四个不同的室内环境（办公室、储藏室、会议室和走廊）。

目标： 找到该房间内拍摄的一张特定图像。
结果： NavWAM 在 24 次尝试中成功导航到了目标位置 19 次。
“预见性”检查： 尽管 NavWAM 并不需要依赖其未来预测来移动（它直接使用转向指令即可），但论文显示其预测非常准确。当机器人预测“我在 4 秒后会看到一扇门”时，它在 4 秒后确实看到了门。

核心总结

论文得出结论：对于机器人而言，要实现良好的导航，它不应该仅仅是一个“预测器”或仅仅是一个“驾驶员”。它必须两者兼具。通过在单一步骤中同时学习预测未来以及创造该未来所需的动作，机器人变得更加出色，即使是在从未去过的环境中也能找到路。

简而言之：NavWAM 教会了机器人“边看前方边开车”，而不是“看前方、停下、计算、然后再开车”。

技术摘要：NavWAM - 用于目标导向视觉导航的导航世界动作模型

1. 问题陈述

目标导向的视觉导航要求机器人从局部自我中心观测中导航至指定目标（例如，目标图像）。虽然近期的直接策略能够高效地将观测映射到动作，但它们往往缺乏显式的视觉预见性（explicit visual foresight）——即预测其运动将如何改变未来视图，以及这些变化是否使其更接近目标的能力。

相反，导航世界模型（Navigation World Models, NWMs）能够根据候选动作显式预测未来的自我中心观测。然而，NWMs 仅作为预测模块而非控制策略运行。它们依赖于外部规划器（通常使用交叉熵方法，CEM）在候选动作序列中进行搜索、对预测的未来进行评分，并选择最佳动作进行执行。这种分离造成了瓶板：

计算开销： 需要在测试时进行轨迹优化。
解耦： 学习到的世界模型并不直接产生可执行的动作；闭环行为取决于外部规划器的选择，而非模型自身的内部表示。

本研究旨在解决的核心问题是：如何使显式的视觉预见性能够直接用于可执行的闭环控制，而不依赖于外部规划？

2. 方法论：NavWAM

作者提出了 NavWAM（导航世界动作模型），这是一种扩散 Transformer 策略，它将未来预测、价值估计和动作生成统一为一个联合预测问题。

核心架构

NavWAM 构建在预训练的扩散 Transformer 视频世界模型 Cosmos Predict2 之上。NavWAM 不再仅仅将该模型用于为外部规划预测未来视图，而是将导航变量视为一个共享的潜在序列（Shared Latent Sequence）（即“潜在画布”）。

潜在画布表示（Latent Canvas Representation）： 模型在一个固定的九帧潜在序列上运行。
- 条件帧（已观测）： 一个空白帧（用于 VAE 时间压缩）、当前机器人状态、目标图像以及当前的自我中心观测。
- 预测帧（生成）： 一个可执行的动作块（Action Chunk）、一个未来状态、两个未来自我中心观测以及一个标量目标进度值。
统一目标： 模型学习同时对整个序列进行去噪。这使导航转化为对以下内容的联合去噪问题：
1. 未来感知： 预测未来的自我中心视图 ( $o_{t+H-1:t+H}$ )。
2. 目标进度： 估计指示与目标接近程度的标量值 ( $v_{t+H}$ )。
3. 可执行运动： 生成动作块 ( $a_{t:t+H-1}$ )。

训练与推理

训练： 模型在潜在画布上使用扩散目标 ( $L_{diff}$ $L_{d i f f}$ ) 进行训练。动作帧被赋予更高的权重，以确保低维度的动作信号不会被高维度的图像重建损失所主导。使用了三种训练模式：
1. 策略模式（Policy Mode）： 以当前状态/观测/目标为条件；预测动作、未来和价值。
2. 世界模型模式（World-Model Mode）： 同时以动作作为条件；预测产生的未来/价值。
3. 价值模式（Value Mode）： 以未来帧为条件；预测价值。
推理： 在默认的策略模式下，NavWAM 接收当前观测和目标，对序列进行去噪，并直接输出一个动作块。该动作块在收缩时界（receding-horizon）循环中被执行。
- 无需外部规划器： 与 NWMs 不同，NavWAM 在标准推理过程中不需要进行 CEM 式的搜索或候选采样。
- 可选的 Best-of-N： 模型支持一种可选模式，其中可以采样 $N$ 个候选者并使用辅助的世界模型/价值头进行评分，但主要结果使用的是默认的策略模式。

3. 核心贡献

NavWAM 策略： 一种新颖的架构，将 NWM 式的视觉预见转化为产生动作的策略，用于目标导向的视觉导航。
联合预测公式化： 一种将未来观测、目标进度值和可执行动作块表示在共享潜在序列中的方法，使得未来预测可以直接支持闭环动作生成。
无需搜索的性能表现： 证明了 NavWAM 在无需 CEM 式测试时轨迹优化的情况下，性能优于基于规划的世界模型基准，同时与规模更大的直接导航策略保持竞争力。

4. 实验结果

作者在 GO STANFORD（用于与 NWM 对比）和 SIT（用于与 OmniVLA 对比）上评估了 NavWAM 的图像目标导航能力。并在 Diablo 移动机器人上于四个室内环境中进行了现实世界验证。

离线基准测试 (GO STANFORD)

对比基于规划的基准模型： NavWAM 在绝对轨迹误差（ATE）和相对位姿误差（RPE）方面显著优于 Cosmos Predict2 和 NWM。
- NavWAM (微调后)： ATE 0.192, RPE 0.070。
- NWM： ATE 0.453, RPE 0.107。
- Cosmos Predict2： ATE 0.455, RPE 0.109。
预见性的保留： 尽管是一个产生动作的策略，NavWAM 仍保持了极高的主体一致性（Subject Consistency）（预测的未来视图与真实未来视图之间的视觉相似度），优于 NWM (0.668 vs. 0.524)。
消融实验： 研究表明，仅进行图像预测对于导航是不够的。加入动作和价值监督至关重要，其中价值监督提供了最佳性能。

与直接策略的对比 (SIT)

对比 OmniVLA： NavWAM（使用 2B 参数视频骨干网络）在 ATE 和成功率（SR）方面达到了与 OmniVLA（基于 7B 参数 OpenVLA 骨干网络构建）相当或略优的水平。
- NavWAM： ATE 0.077 (h=4), SR 46.3%。
- OmniVLA： ATE 0.086 (h=4), SR 45.4%。

现实世界部署

设置： 在办公室、储藏室、会议室和走廊四个室内环境中进行了 24 个闭环回合。
成功率： NavWAM 实现了最高的成功率 (79.2%, 24 回合中的 19 回合)，相比之下，OmniVLA 为 58.3%，NWM 为 16.7%。
定性行为： NavWAM 展示了稳定的目标达成能力，而 NWM 经常发生漂移，OmniVLA 有时会停在离目标较近处或采取路径较短的路径。现实世界的运行证实，预测的未来视图在性质上与随后的实际观测相匹配。

5. 重要性与主张

论文声称 NavWAM 成功弥合了视觉预见与可执行控制之间的鸿隙。其主要意义在于证明了：

视觉预见不必是一个独立的规划模块。 通过将未来预测、价值估计和动作生成集成到单个潜在序列中，模型学会了直接利用预见来进行控制。
高效性： 高性能的导航可以在没有测试时 CEM 式轨迹优化计算成本的情况下实现。
可扩展性： 一个拥有 2B 参数骨干网络的模型可以与 7B 参数的直接策略竞争，同时提供未来视图预测带来的额外可解释性。

作者得出结论，当未来预测与决定闭环行为的动作和价值目标进行联合学习时，对于机器人导航最为有效，而不是作为一个独立的规划步骤。

局限性

作者也谦虚地指出：

目前的评估仅限于室内环境中的图像目标导航；语言或特定目标的导航是未来的工作方向。
现实世界研究的规模有限（24 个回合）。
可选的价值引导 Best-of-N 采样模式未在主要结果中使用，其对鲁棒性的影响仍有待研究。