💻 computer science

LocalNav: Distilling Frontier VLMs and Embodied RL for On-Device Object Goal Navigation

本文提出了“LocalNav”，这是一个将前沿视觉语言模型中复杂的空间语义推理能力蒸馏到轻量化 4B 参数模型中，并通过 E-RLVR 和量化技术进行优化，从而使资源受限的边缘设备能够在不依赖云端执行的情况下，实现高性能、低延迟的目标导向导航框架。

原作者： Nicolas Baumann, Liam Boyle, Pu Deng, Edoardo Ghignone, Boyang Sun, Marc Pollefeys, Luca Benini, Michele Magno

发布于 2026-06-29

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Nicolas Baumann, Liam Boyle, Pu Deng, Edoardo Ghignone, Boyang Sun, Marc Pollefeys, Luca Benini, Michele Magno

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你有一个非常聪明但非常沉重的机器人大脑。这个大脑就像一个巨大的知识图书馆，能够理解复杂的指令，比如“找到微波炉下面的抽屉”。问题在于，这个大脑实在太庞大、太沉重了，无法装进小型机器人的体内；它必须住在远方一个巨大的云端计算机里。每当机器人需要做出决策时，它都必须向云端发送一条消息，等待回复，然后行动。这既慢又贵，而且如果机器人在没有网络的地方，就完全无法工作。

这篇论文介绍了一个名为 LocalNav 的新方法，它能将那个巨大的大脑缩小，使其能够装入小型机器人（例如配备了 Jetson Orin 芯片的机器人）中，并完全实现自主运行，无需依赖云端。

他们是如何实现的，主要分为三个简单的步骤：

1. “影子学生”（蒸馏/Distillation）

把那个巨大的云端大脑（比如 Claude 或 GPT）想象成一位名厨。名厨可以烹饪出完美且复杂的佳肴，但由于他需要使用巨大的厨房，所以耗时很长。研究人员想要教一位学生厨师（一个拥有 40 亿参数的小型模型 Qwen3.5-4B）如何烹饪同样的菜肴。

他们并没有强迫学生厨师去阅读数百万本食谱，而是向学生展示了大约 500 个名厨解决导航谜题的具体案例。他们说：“看名厨是如何思考的：‘我看到一个微波炉，所以抽屉一定在它下面。’”通过模仿这些特定的例子，学生厨师学会了像名厨一样进行导航，但其大脑规模足够小，甚至可以装进一个背包里。

结果： 这个小型机器人大脑实现了 34.5% 的成功率，非常接近于巨大云端大脑的 39.7%。

2. “简洁教练”（E-RLVR）

但这里有一个问题：这位学生厨师有点过于啰嗦了。当被要求寻找抽屉时，名厨可能会说：“我看到一个银色的电器，看起来像微波炉，而且我记得抽屉通常在微波炉下方，所以我准备去那里。”这说了太多话！对于一个电池容量和处理能力有限的机器人来说，打出这么多文字需要耗费太长时间。

为了解决这个问题，研究人员使用了一种叫做 E-RLVR（具身强化学习，基于可验证奖励）的技术。想象一下一位严厉的教练在观察这位学生机器人：

如果机器人回答时间过长或说了太多废话，教练就会给一个“差评”。
如果机器人能快速找到物体，并且只用寥寥数语说出“找到抽屉。完成！”，教练就会给它一个“金星”。

机器人学会了“去做”而不是“去说”。它学会了如何用最少的文字来完成任务。这让它思考和说话的时间缩短了 71.8%。

3. “紧凑套装”（量化/Quantization）

最后，为了让机器人运行得更快，他们给机器人的大脑穿上了一件“紧凑套装”。这是一个被称为量化的技术手段，就像是将一张高分辨率照片压缩成较小的文件格式，同时又不丢失重要的细节。这使得机器人的大脑在小型硬件上运行得更加迅速。

最终成果

通过结合这三种技巧：

向大师学习（蒸馏），
学习保持简洁（E-RLVR），以及
压缩大脑（量化），

研究人员创造出了一个能够理解复杂指令（如“找到坐在桌子旁的人”）并在真实的公寓里完全自主导航的机器人。

在现实世界的测试中，他们将一台手持机器人送入一间公寓，完成了四个不同的任务：寻找沙发、钢琴、浴缸和一个人。机器人成功地构建了房间的心理地图，找到了目标物体，并准确地停在了需要的位置，这证明了小型本地大脑完全可以胜任巨大云端大脑的工作。

简而言之： 他们把一个超级聪明但反应迟钝的云端大脑，教给了一个能模仿其思维方式的小型本地大脑，又教会了这个小脑不再喋喋不不，最后将其挤进了一个精巧的包装中。现在，机器人可以在设备端快速思考并行动。

技术摘要：LocalNav

问题陈述

视觉语言模型（VLMs）通过实现开放词汇的目标导航（Object Goal Navigation, ObjectNav），使具身智能导航发生了革命性变化，允许智能体定位特定的、具有复杂语义的目标（例如，“微波炉下方的抽屉”），而不仅仅是通用的类别。然而，一个关键的瓶颈在于：最先进的（SotA）VLM 在资源受限的机器人硬件（如 Jetson Orin 等嵌入式 GPU）上进行本地执行时，计算成本过高。因此，这些系统通常被迫局限于云端执行，这引入了网络延迟和依赖性问题，阻碍了低延迟、实时的机器人控制。

现有方法面临着一种两极分化：

低层动作预测（VLAs）： 这些模型直接预测离散动作，但需要持续推理（5–10 Hz），这造成了难以在边缘设备上维持的严重计算负担。
高层决策： 这些系统通过场景图（Scene Graphs）稀疏地使用 VLM 进行抽象推理，同时将底层控制委托给专门的策略。虽然这放宽了延迟限制，但最先进的实现仍依赖于庞大的、受限于云端的边界模型，无法实现完全的本地部署。

挑战在于如何在不牺牲大型边界模型推理能力的前提下，在本地、可边缘部署的硬件上实现最先进的开放词

方法论

作者提出了 LocalNav，这是一个优先考虑部署的框架，它集成了一个模块化的基于场景图（SG）的架构以及一个两阶段的蒸馏与优化流水线。

1. 系统架构

该系统将高层推理与底层控制解耦：

场景表示： 一个从 RGB-D 数据和里程计中构建并实时更新的显式场景图（SG）。它编码了房间、物体和探索前沿（frontiers）。
提示策略： VLM 接收一个多模态提示，包括：
- 文本： 智能体当前位置的列表、已探索/未探索的房间，以及观测到的带有 ID 的物体。
- 图像： 当前的 RGB 帧，通过投影可见 SG 物体的 ID 进行增强（受“集合标记”提示启发），从而将符号 ID 锚定在视觉区域中。
动作空间： VLM 从四个高层动作中进行选择：navigate(object_id)（导航至物体 ID）、explore(room_id)（探索房间 ID）、find_new_rooms()（寻找新房间）或 done()（完成）。一个专门的底层目标点导航（PointGoal）策略负责执行物理移动。

2. 训练流水线

为了实现本地执行，作者在轻量级的 Qwen3.5-4B 模型上采用了两阶段训练策略：

第一阶段：通过蒸馏进行监督微调（SFT）：
- 教师模型： 记录了在模拟环境中执行 ObjectNav 的前沿云端模型的推理轨迹（Gemini 3.1 Pro, GPT-5.4, 和 Claude Sonnet 4.6）。
- 数据效率： 仅使用成功的轨迹（每个教师模型约 500 个样本）来微调学生模型。这避免了对数百万个样本或复杂特征空间对齐的需求。
- 目标： 将大型云端模型的复杂空间语义推理能力转移到 4B 参数的本地模型中。
第二阶段：基于可验证奖励的具身强化学习（E-RLVR）：
- 目标： 解决由冗长的自回归 Token 生成（TG）导致的推理延迟瓶颈。
- 机制： 模型在闭环模拟中使用组相对策略优化（GRPO）结合低秩自适应（LoRA）进行训练。
- 奖励函数 ( $R_{tot}$ )： 一个多目标奖励结合了：
  - $R_{done}$ ：到达目标的成功/失败。
  - $R_{nav}$ ：向目标的进度。
  - $R_{exp}$ ：在 SG 中发现新节点或目标。
  - $R_{brev}$ ：Token 简洁度。 一个线性惩罚长输出序列的奖励，激励模型在不损失导航准确性的情况下压缩其推理过程。
- 结果： 模型学会了高效地“思考”，在保持任务性能的同时减少了输出 Token 的长度。

3. 部署优化

最终系统通过 llama.cpp 部署在 Jetson Orin AGX 上。作者应用了量化（具体为 IQ4-XS 格式）来进一步加速自回归解码阶段，因为该阶段占据了大部分运行时间。

核心贡献

本地 VLM 优化： 证明了可以通过优化 4B 参数量的 VLM 来处理 ObjectNav，在 HM3D OVON 基准测试上实现了 34.5% 的成功率（SR），缩小了与云端模型的差距（39.7% SR）。
蒸馏分析： 表明使用极小数据集（约 500 条轨迹）从前沿模型中蒸馏推理能力，足以转移复杂的导航能力，避免了对大规模 SFT 数据集的需求。
E-RLVR 训练策略： 引入了一种显式正则化 Token 生成长度的强化学习方法。该方法在没有显著降低导航性能的情况下，将输出序列长度减少了 72.1%，并将推理延迟降低了 71.8%。
高性能系统架构： 构建了一个模块化的、基于 SG 的导航系统，支持 VLM 的即插即用替换，在利用云端模型时达到了最先进的性能（39.7% SR）以及可行的本地部署。

结果

基准性能：
- 云端基准（Claude Sonnet 4.6）： 39.7% SR, 19.7% SPL。
- 本地学生模型（Qwen3.5-4B + SFT + E-RLVR）： 34.5% SR, 17.2% SPL。
- 本地模型在 SR 上的性能差距仅比云端前沿模型低 5.2 个百分点。
效率提升：
- Token 减少： E-RLVR 将每次查询的平均输出 Token 从 ~535 减少到 ~149（减少了 72.1%）。
- 延迟： 结合量化技术，系统实现了总推理延迟降低 82.8%（在 Jetson Orin 上从 305.2s 降至 52.5s）。
- 查询频率： 每轮任务中的 VLM 查询次数从约 30 次（零样本）减少到约 8 次（优化后）。
现实世界验证： 该系统已成功部署在手持机器人设备上，在真实公寓中完成了四个连续的 ObjectNav 任务（寻找沙发、钢琴、浴缸以及在桌边的人），并通过利用 SG 进行记忆和导航。

意义

论文声称 LocalNav 为物理机器人硬件上的低延迟、高性能具身智能提供了一种可行的范式。通过将模块化的高层决策与高效的蒸馏及 Token 正则化相结合，作者证明了边缘设备可以在不依赖云端连接的情况下，执行复杂的开放词汇导航任务。这项工作弥合了前沿模型的推理能力与实际在板机器人部署约束之间的鸿沟，为实现真正的自主、开放词汇智能体提供了路径。