💻 computer science

MM-Nav: Multi-View VLA Model for Robust Visual Navigation via Multi-Expert Learning

本文介绍了 MM-Nav，一种多视图视觉-语言-动作模型，该模型通过利用教师-学生框架，从具备特权深度信息的强化学习专家（涵盖到达、挤压和避障任务）中蒸馏多样化能力，从而实现了鲁棒的视觉导航，并最终在合成环境和真实世界环境中均超越了其教师模型。

原作者： Tianyu Xu, Jiawei Chen, Jiazhao Zhang, Wenyao Zhang, Zekun Qi, Minghan Li, Zhizheng Zhang, He Wang

发布于 2026-06-30

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Tianyu Xu, Jiawei Chen, Jiazhao Zhang, Wenyao Zhang, Zekun Qi, Minghan Li, Zhizheng Zhang, He Wang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一个机器人如何在繁忙且凌乱的房屋中行走而不撞到任何东西。这就是视觉导航的挑战。问题的核心在于，摄像头（就像我们的眼睛）只能看到图像；它们不像激光扫描仪（LiDAR）那样能直接测量距离，无法天生“知道”一把椅子离它有多远，或者一根电线有多细。

这篇论文介绍了一种名为 MM-Nav 的新型机器人“大脑”，它通过结合三个强大的创意解决了这个问题：向专家老师学习、在电子游戏中练习以及阅读现实世界的书籍。

以下是其工作原理的拆解，通过简单的概念进行说明：

1. 三位“专家教练”（强化学习专家）

研究人员并没有试图让一个机器人同时学会所有事情，而是首先在计算机模拟（即电子游戏）中创建了三个独立的“专家教练”。每个教练都是一项特定技能的大师：

到达教练（The Reaching Coach）： 教机器人如何直奔目标，同时避开大型的静态家具。
挤压教练（The Squeezing Coach）： 教机器人如何在墙壁和物体之间极其狭窄、拥挤的缝隙中灵活穿行。
躲避教练（The Avoiding Coach）： 教机器人如何躲避随机奔跑的人或移动物体。

这些教练拥有“特权”，这意味着它们拥有“超能力视觉”（能看到精确的距离），而最终的机器人则不会拥有这种能力。它们生成了数百万个完美的移动范例。

2. “学生”机器人（VLA 模型）

主角 MM-Nav 是一个“学生”机器人。它是一个视觉-语言-动作（VLA）模型。你可以把这理解为一个拥有如下能力的机器人大脑：

看：它观察 360 度的视频（前、后、左、右），就像人类转动头部一样。
读：它理解语言，并能回答关于它所见内容的提问。
动：它不仅仅是说“向左转”；它还会计算精确的速度和方向，以实现平滑移动。

3. 训练策略：“熟能致精”

研究人员使用了一个两步走的训练方法，将学生培养成大师：

第一步：速成班（离线学习）
学生机器人首先学习由三位专家教练生成的数百万个完美范例。它学习了到达、挤压和躲避的基础知识。
第二步：“平衡式”辅导（在线迭代）
这是最聪明的地方。学生机器人回到模拟环境中进行练习。如果机器人擅长“到达”但非常不擅长“挤压”，系统会自动给它提供更多关于挤压的练习数据。这就像一位导师注意到你在数学方面很吃力，但在历史方面很出色，于是会给你布置额外的数学作业来平衡你的能力。这确保了机器人能掌握所有技能，而不仅仅是容易的技能。

4. 弥合差距：“现实世界图书馆”

在视频游戏中训练机器人存在一个大问题：现实世界看起来与游戏不同（不同的光照、凌乱的物体、奇特的纹理）。这被称为**“模拟与现实的差距”（Sim-to-Real Gap）**。

为了解决这个问题，研究人员不仅使用了游戏数据，还向机器人输入了 300,000 个现实世界的视觉问答（VQA）案例。

类比： 想象机器人是一个只在卡通世界里学习过的学生。为了应对现实世界，他们还阅读了一个包含现实照片和问题的图书馆，例如：“行人是如何移动的？”或者“哪里有清晰的路径？”
通过学习回答这些关于真实照片的问题，机器人的大脑学会了理解现实世界的纹理和光照，这使得它在离开视频游戏进入真实走廊时，不太容易感到困惑。

5. 结果：超越老师

当他们在模拟环境和现实世界（使用一台四周装有摄像头的 Unitree 机器狗）中测试 MM-Nav 时，结果令人印象深刻：

它能在现实世界中工作： 机器人成功地穿过了狭窄的走廊，避开了细小的电线（这对激光雷达来说很难识别），并躲避了移动的人群。
它击败了专家： 令人惊讶的是，“学生”机器人的表现最终甚至优于它所接受训练的单个“教练”机器人。通过将到达、挤压和躲避的技能整合进一个大脑，它变得比任何单一领域的专家都更具鲁棒性和适应性。
速度： 它的思考和移动速度极快（每秒 7 次），能够对障碍物做出即时反应。

总结

MM-Nav 是一个通过观看电子游戏中的三位不同专家老师来学习导航技巧，同时又通过阅读现实世界照片库来理解现实世界真实样貌的机器人大脑。通过平衡其练习过程，使其不会在某项技能上产生惰性，它成为了一个能够处理混乱、拥挤和移动环境的高手，表现甚至优于它的老师。

技术摘要：MM-Nav

问题陈述

视觉导航是机器人领域的一个关键研究方向，旨在通过利用自我中心视觉观测来模拟人类的导航行为。然而，与 LiDAR 点云或深度图不同，原始视觉观测缺乏显式的几何信息，这使得在拥挤或动态环境中进行导航变得尤为困难。现有的基于学习的方法面临着显著的局限性：

数据稀缺与偏差： 现实世界的数据采集成本高昂，通常受限于有限的相机配置（例如仅前视图），且由于安全风险，很少包含碰撞规避等危险场景。
虚实差异（Sim-to-Real Gap）： 合成数据虽然灵活，但存在非写实渲染的问题，产生了一种阻碍其向现实世界部署迁移的差距。
能力局限： 当前的模型通常局限于开阔环境，难以处理复杂任务，例如穿过狭窄缝隙或避开动态障碍物。
动作空间约束： 许多现有的视觉-语言-动作（VLA）模型依赖于离散动作空间（例如“左转”），这限制了其在需要连续速度控制以实现鲁棒现实世界导航时的灵活性。

方法论：MM-Nav

作者提出了 MM-Nav，这是一个拥有 7B 参数的多视图 VLA 模型，旨在从合成专家数据中学习多样化的导航能力，并通过与大规模现实世界视觉问答（VQA）数据进行协同训练，来减轻虚实差异。

1. 多能力强化学习（RL）专家

为了解决现有数据集中缺乏挑战性场景的问题，作者使用 IsaacLab 构建了定制化的仿真环境，并使用近端策略优化（PPO）算法训练了三个不同的强化学习（RL）专家。这些专家利用特权信息（深度图）来掌握特定的技能：

到达（Reaching）： 在避开各种形状和纹理的静态障碍物的同时，接近目标点。
挤压（Squeezing）： 在密集排列的柱子和随机变化的狭窄缝隙中导航。
规避（Avoiding）： 主动避开以随机速度移动的拥挤动态障碍物。

2. 学生 VLA 模型架构

学生模型是一个多视图 VLA 策略，处理来自四个摄像头（前、右、后、左）的 360° RGB 观测。

视觉编码： 使用视觉基础模型（SigLIP）对 8 步的历史滑动窗口进行编码。该架构采用了混合标记化策略：对当前观测使用细粒度标记，对历史记录使用粗粒度标记，从而确保固定的序列长度为 192 个 token，以保证一致的推理速度。
语言集成： 目标点被格式化为文本提示，并使用大语言模型（Qwen2-7B）编码为语言 token。这使得模型可以与开放世界的 VQA 数据进行协同训练。
动作头： 模型通过一个两层 MLP 输出连续的全向速度指令（ $v_x, v_y, v_{yaw}$ ），实现了 7 Hz 的推理速度。

3. 训练策略：能力平衡迭代

训练流程包含两个阶段：

初始微调： VLA 模型在 50 万条成功的专家演示数据（收集自三个 RL 教师模型）和 10 万条现实世界 VQA 数据上进行初始化。
在线教师-学生迭代（类 DAgger 模式）： 将 VLA 模型部署在仿真环境中以收集轨迹。一个能力平衡模块会动态调整下一轮微调步骤的数据比例。它计算每个能力项下学生模型与 RL 教师模型之间的性能差距指标（加权行驶时间）。对于学生表现欠佳的能力，其对应的数据会被加大权重，以确保稳定的收敛并防止能力失衡。

核心贡献

导航数据： 构建了定制化的多能力仿真环境，并训练了特权 RL 专家，为到达、挤压和动态障碍物规避提供多样化的监督——这些场景在现实世界中难以捕捉。
训练策略： 引入了能力平衡的迭代优化程序，缓解了策略分布偏移问题，并确保了不同导航技能之间的均衡提升。
模型设计： 开发了一种高效的 7B 多视图 VLA 策略，利用 360° RGB 观测直接预测连续速度指令，实现了鲁棒的零样本（zero-shot）虚实迁移。

实验结果

仿真基准测试

InternVLA-N1 System-1 基准测试： MM-Nav 在点目标导航基准测试中达到了 88.1% 的成功率（SR），比之前的最佳方法（72.2%）高出 15.9 个百分点。尽管仅依赖 RGB 输入，它仍显著优于先前的 RGB-D 和基于深度信息的方案。
定制 IsaacLab 环境： 在到达、挤压、规避和混合场景的测试中，MM-Nav 在所有基线模型（包括 NavDP、ViPlanner 和 iPlanner）中取得了最高的成功率（SR）和最低的碰撞率（CR）。值得注意的是，在极具挑战性的“挤压”场景中，MM-Nav 的成功率达到了 71%，而 NavDP 仅为 18%。
学生 vs. 教师： VLA 学生模型最终超越了专门的 RL 教师模型，证明了整合多种能力所产生的协同效应。

现实世界部署

在 Unitree GO2 机器人上的广泛现实世界实验证实了其在多样化场景下的鲁棒零样本迁移能力：

细线规避： 成功避开了 LiDAR 难以感知的悬挂细线。
拥挤走廊： 在带有透明玻璃墙和障碍物的狭窄通道中顺利导航。
行人规避： 在线调整轨迹以避开移动行人。
户外小巷： 在存在未知障碍物（如石质护柱）的低光照环境下进行导航。

消融实验

VQA 协同训练： 去除 VQA 数据会导致仿真性能下降超过 20%，并导致无法泛化到现实世界中的细长/不规则障碍物。UMAP 分析显示，VQA 数据显著缩小了仿真与现实之间的潜在分布差距。
多视图 vs. 单视图： 360° 多视图输入相比单视图版本带来了 +4.8 的成功率增益，验证了环视感知对空间意识的重要性。
平衡数据： 与不平衡数据收集相比，能力平衡聚合方法使训练更加快速且稳定。

重要性与主张

本文声称 MM-Nav 为训练新一代通用视觉导航智能体提供了一个可扩展且有效的蓝图。其主要意义在于：

克服虚实差异： 通过利用 VLA 模型的泛化能力并与现实世界 VQA 数据进行协同训练，该模型成功地将从合成、特权环境中学习到的技能迁移到了现实世界无深度信息的 RGB 导航中。
协同学习： 该工作证明，统一的 VLA 策略能够比孤立训练或混合场景 RL 策略更有效地学习并整合多种不同的导航能力（到达、挤压、规避）。
效率： 该模型利用 7B 参数模型实现了 7 Hz 的推理速度，具备鲁棒性，使其能够适用于标准机器人平台的实时部署。

作者总结道，通过将专门的专家知识与大规模语义理解相结合，其方法有效地解决了当前视觉导航策略的局限性，实现了在复杂、动态及拥挤环境中的鲁棒导航。