💻 computer science

HiMemVLN: Enhancing Reliability of Open-Source Zero-Shot Vision-and-Language Navigation with Hierarchical Memory System

HiMemVLN 通过引入一种显著增强长期定位与视觉回溯能力的层次化记忆系统，解决了开源零样本视觉语言导航中的“导航失忆”问题，其性能几乎达到了现有最先进开源方法的两倍。

原作者： Kailin Lyu, Kangyi Wu, Pengna Li, Xiuyu Hu, Qingyi Si, Cui Miao, Ning Yang, Zihang Wang, Long Xiao, Lianyu Hu, Jingyuan Sun, Ce Hao

发布于 2026-07-21

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Kailin Lyu, Kangyi Wu, Pengna Li, Xiuyu Hu, Qingyi Si, Cui Miao, Ning Yang, Zihang Wang, Long Xiao, Lianyu Hu, Jingyuan Sun, Ce Hao

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一个能够像你一样理解你的声音并观察这个世界的机器人。这就是“具身智能”（Embodied AI）的梦想——在这个领域，计算机不仅仅是在聊天或计算，它们还能在房间里物理移动，执行诸如“去厨房拿一个杯子”之类的指令，并在复杂的空间中穿行而不撞到墙壁。长期以来，这些机器人需要海量的人类编写的训练数据来学习如何移动，这使得它们很难适应新的房屋或办公室。最近，科学家们开始使用被称为“大语言模型”（LLMs）的巨型“大脑”模型来赋予机器人常识，使它们能够在无需预先训练的情况下即时规划导航。然而，这里有一个问题：最聪明的“大脑”被锁在昂贵的、基于云端的门后，使用它们需要付费，并且由于需要将家中的视频流发送到服务器，还会引发隐私担忧。虽然存在开源模型（免费、本地化的“大脑”），但它们经常会感到困惑、忘记自己所处的位置或原地打转，导致其能力与昂贵的闭源模型之间存在巨大的差距。

于是有了 HiMemVLN，一种全新的方法，它教会开源机器人大脑如何记住自己去过哪里以及要去向何方，有效地治愈了它们的“导航失忆症”。研究人员发现，这些开源机器人存在两种类型的健忘：短期失忆，即它们会失去对即时周围环境的追踪并最终陷入循环行走；以及长期失忆，即它们会忘记最初的目标，并在走动几步后偏离航线。为了解决这个问题，该团队构建了一个受人类大脑启发而设计的“层级化记忆系统”。他们创建了一个 Short-Term Localer（短期局部器），它就像一个视觉速写本，不断绘制它刚刚访问过的房间地图，以识别自己是否在绕圈子。他们还构建了一个 Long-Term Globaler（长期全局器），它充当指南针和任务控制器，不断提醒机器人大局观：“你从卧室出发，你需要去厨房，而你目前正朝着错误的方向前进。”

通过结合这两个记忆系统，HiMemVLN 让开源机器人的导航可靠性达到了此前只有昂贵的闭源模型才能达到的水平。在测试中，这种方法不仅帮助机器人避免了循环，还使其成功率比之前最好的开源方法几乎翻了一番。在模拟环境中，该系统实现了 30% 的成功率和 26.85 的成功加权路径长度（SPL），显著优于之前的开源领先者 OpenNav（其成功率仅为 16%）。研究人员还在真实房间内的实际轮式机器人上进行了测试，结果再次击败了竞争对手，取得了 32% 的成功率，而 OpenNav 的成功率为 18%。这项研究表明，通过赋予机器人一种既能记住即时视觉环境又能记住长期目标的结构化记忆方式，我们可以构建出安全、私密且高度胜任的导航智能体，而无需依赖云端。

技术摘要：HiMemVLN

问题定义

本文研究了**视觉-语言导航（Vision-and-Language Navigation, VLN）任务，特别是在连续环境（VLN-CE）**中的应用，即智能体必须根据自然语言指令在 3D 空间中进行导航。虽然大语言模型（LLM）智能体在零样本（zero-shot）导航方面展现出了潜力，但目前最先进的方法面临两个关键限制：

部署障碍： 表现最优的方法依赖于闭源、云托管模型（如 GPT-4o），这会产生高昂的 API 成本、不可预测的延迟，并在传输包含敏感空间数据的实时视觉流时带来显著的隐私风险。
开源模型的性能差距： 现有的尝试使用开源 LLM 进行零样本导航的方法，与闭源模型相比存在巨大的性能差距。作者将其根源归结为**“导航失忆症”（Navigation Amnesia）**，即智能体无法保留环境状态和任务进度。这表现为两种形式：
- 短期失忆（Short-term Amnesia）： 由于将动态视觉流转换为离散且往往重复的文本描述，导致智能体无法区分当前视图与之前访问过的视图。这会导致局部循环和冗余探索。
- 长期失忆（Long-term Amnesia）： 由于开源模型的上下文窗口有限且缺乏隐式记忆，导致智能体无法在长距离轨迹中维持全局约束。这会导致智能体偏离预定路线并失去与原始指令的一致性。

方法论：HiMemVLN

为了缓解导航失忆症，作者提出了 HiMemVLN，该框架通过在多模态大语言模型（MLLM）中集成一个**分层记忆系统（Hierarchical Memory System）**来解决问题。受神经生物学中海马体记忆索引理论（Hippocampal Memory Indexing Theory）的启发，该系统将记忆分为短期（视觉主导）和长期（语义主导）两部分。

1. 短期局部系统（视觉主导）

该模块通过维护一个**在线视觉图记忆（Online Visual Graph Memory, $G_t$ ）**来解决短期失忆问题。

机制： 在智能体导航过程中，它利用冻结的 CLIP 编码器从多视图 RGB 观测中提取视觉特征。这些特征作为节点存储在图中，追踪外观嵌入（appearance embeddings）、访问时间戳和访问次数。
定位： 在每一步，当前观测值会通过余弦相似度与记忆库进行匹配。如果匹配程度超过动态阈值，则表示智能体识别到了重复访问。
动作： 系统向 MLLM 提供软约束。它计算候选方向的“新颖性（novelty）”，并降低具有高重复访问次数或低新颖性路径的优先级，从而在不需要额外监督的情况下，有效地抑制冗余探索和局部循环。

2. 长期全局系统（语义主导）

该模块通过维护一个持久的**全局导航模式（Global Navigation Schema）**来解决长期漂移问题。

提取： 在回合开始时，系统从指令中提取结构化模式，包括主要方向（Primary Direction）、最终目标地标（Final Target Landmark）和导航模式（Navigation Pattern）。
状态追踪： 它显式地追踪智能体的来源（CameFrom）并总结过去 $k$ 步的轨迹。
动作： 在决策过程中，全局系统将此全局上下文注入到 MLLM 的提示词中。它促使模型反思当前航向是否符合全局意图和主要方向，确保局部动作与整体目标保持一致。

3. 执行流水线

该框架以闭环方式运行：

感知： 智能体捕捉全景 RGB-D 观测。
路点预测： 基于 Transformer 的预测器生成可导航的路点（waypoints）。
记忆注入： 短期局部系统和长期全局系统处理历史信息，并将结构化文本上下文（定位统计数据、全局模式）注入 MLLM 提示词。
决策： MLLM 对指令、视觉观测和记忆上下文进行推理，以选择下一个动作。
执行： 低层规划器执行运动，循环往复。

核心贡献

HiMemVLN 框架： 一种新型的分层记忆架构，专为开源 LLM 设计，旨在满足隐私保护约束下的可靠零样本 VLN 任务。
认知启发： 集成了视觉主导的短期局部系统和语义主导的长期全局系统，直接将空间记忆的认知理论转化为解决导航失忆症的架构方案。
性能提升： 该系统显著缩小了开源模型与闭源模型之间的性能差距，在不依赖云端 API 的情况下实现了接近最先进水平的结果。

实验结果

作者在模拟环境（Habitat/MP3D）和真实世界环境（使用 Unitree Go2W 机器人）中对 HiMemVLN 进行了评估。

模拟环境 (VLN-CE)：
- 使用 Qwen2-VL-72B 的 HiMemVLN 实现了 30% 的成功率 (SR) 和 36% 的 Oracle 成功率 (OSR)。
- 这比之前的开源最先进方法 OpenNav（SR: 16%, OSR: 23%）有了显著提升，并接近或超过了若干闭源模型（如 SR 为 29% 的 SmartWay）。
- 定性分析显示，虽然 OpenNav 表现出循环和偏离行为（失忆现象），但 HiMemVLN 能够成功遵循复杂的跨步指令。
真实世界环境：
- 在物理室内测试中，HiMemVLN 实现了 32% 的 SR，而 OpenNav 为 18%。
- 导航误差（NE）从 OpenNav 的 4.27m 降低至 HiMem-VLN 的 3.54m。
- 该系统在真实世界部署所需的精细场景感知和方向定位方面展示了鲁棒性。
消融实验：
- 移除短期局部系统会导致局部循环。
- 移除长期全局系统会导致轨迹漂移和定向丢失。
- 结合两个系统可获得最优性能。

重要性与主张

本文声称 HiMemVLN 为使用开源模型部署安全、自主的具身智能体提供了一条切实可行的路径。通过解决“导航失忆症”这一关键问题，该框架使开源 LLM 能够实现与昂贵的、依赖云端的闭源模型相媲美的可靠性。这对于家庭服务和工业机器人等应用尤为重要，因为在这些领域，数据隐私、低延迟和成本效益是至关重要的。该工作证明，结构化记忆机制可以补偿开源模型在长程推理任务中的固有局限性。