技术摘要：MemVLN —— 用于视觉-语言导航的陈述性记忆与程序性记忆

问题陈述

连续环境中的视觉-语言导航（VLN-CE）要求具身智能体根据自然语言指令和自我中心 RGB 观测值在未见的 3D 空间中进行导航，且不依赖先验地图或深度、里程计等辅助传感器。其核心挑战在于如何同时满足两个相互冲突的需求：

1. 长程一致性（Long-Horizon Consistency）： 智能体必须维持长期的视觉历史，以确保轨迹的一致性，并防止在长路径中产生漂移。
2. 实时延迟（Real-Time Latency）： 智能体必须以极低的延迟（高 FPS）执行底层动作，以便在连续、动态的环境中有效运行。

现有方法难以平衡这两点。基于视频的方法通常通过采样固定的稀疏帧来牺牲时间密度；而其他方法则通过池化或合并来压缩视觉 Token，但这会牺牲空间细节，并与先进的位置编码（如 M-RoPE）及现代 Transformer 架构相冲突。此外，大型视觉语言模型（LVLM）的自回归特性引入了显著的推理延迟，使得实时控制变得困难。

方法论：MemVLN 框架

MemVLN 是一种新型 VLN 框架，旨在通过模仿人类记忆系统，将长形式视频上下文与实时响应能力结合起来。它集成了一个用于处理连续观测的视觉编码器，以及一个用于理解指令和生成动作的语言大模型（LLM）。该架构依赖于两个核心的仿生机制：

1. 具有金字塔分辨率的陈述性记忆（Episodic Memory）

为了高效管理广泛的视觉历史，MemVLN 采用了金字塔分辨率策略，而非统一采样或 Token 合并。

• 机制： 历史观测被分为三个时间层级：即时、短期和长期。
  • 即时帧（最近的帧）以高分辨率处理，以捕捉精确的局部线索。
  • 短期和长期帧则进行渐进式下采样（空间压缩），以保留全局路径一致性，同时最小化 Token 数量。
• 原理： 注意力分析表明，近期的观测在模型关注度中占据主导地位，而远处的历史虽然提供了必要的上下文，但对感知精度的要求较低。
• 优势： 与破坏统一 2D 空间网格并与 M-RoPE 等位置编码冲突的 Token 合并不同，金字塔分辨率在 Token 化之前在原始像素空间进行下采样。这保持了严格的空间拓扑结构，确保了与现代 LVLM 后端（如 Qwen3-VL）和 DeepStack 的兼容性。

2. 用于快速动作的程序性记忆（Procedural Memory）

为了克服自回归解码带来的延迟瓶颈，MemVLN 引入了一种受程序性记忆启发的快速动作机制。

• 机制： 模型不再逐个 Token 生成动作序列（例如，“向左转 30 度”），而是将连续控制信号映射到一组紧凑的原子中层动作 Token。
• 实现： 这些增强动作（例如，<a1> 代表“前进”，<a2> 代表“左转”）是 LLM 词表中的单个 Token。
• 益处： 这使得模型能够通过单次前向传播（一次性解码）预测复杂的导航决策，从而绕过了通常会导致延迟的迭代解码循环。

核心贡献

1. MemVLN 架构： 一种新型 VLN 模型，能够有效利用长形式视觉观测，同时将推理速度提升至 14 FPS。
2. 仿生记忆机制：
   • 陈述性记忆： 一种金字塔分辨率策略，平衡了高保真局部导航与压缩的全局历史，在不增加 Token 预算的情况下优化了观测管理。
   • 程序性记忆： 一个使用单 Token 词表的快速动作模块，通过绕过自回归解码来降低推理延迟。
3. 最先进的性能（SOTA）： 在标准 VLN-CE 基准测试（R2R 和 RxR）上进行了验证，仅使用单目 RGB 输入，证明了卓越的泛化能力可以补偿缺乏深度或全景传感器的不足。

实验结果

作者在 R2R-CE 和 RxR-CE 基准测试（Val-Unseen 分组）上使用 Qwen3-VL 后端对 MemVLN 进行了评估。

• 性能：
  • MemVLN-8B 在 R2R 上实现了 65.3% 的 Oracle 成功率 (OS) 和 58.4% 的成功率 (SR)，在 RxR 上实现了 66.0% 的成功率 (SR) 和 57.3% 的路径长度加权成功率 (SPL)，达到了最先进水平。
  • MemVLM-4B 在 R2R 上比基线 Qwen3-VL-4B 高出 5.8% SR，在 RxR 上高出 9.7% SR。
  • 尽管仅使用单视图 RGB 输入，该模型仍优于现有的基于路标（waypoint-based）和连续控制的方法，以及其他基于 VLM 的方法（如 NaVILA, Uni-NaVid, StreamVLN）。
• 效率：
  • 程序性记忆机制相比标准的自回归解码实现了 7 倍的推理延迟加速，将吞吐量从 2 FPS 提升至 14 FPS。
  • 消融研究证实，快速动作模块在大幅降低延迟的同时，将 R2R 的 SR 提高了 1.8%，将 RxR 的 SR 提高了 2.1%。
• 消融洞察：
  • 金字塔分辨率： “上升式”（Ascending）配置（优先考虑高分辨率的近期帧）表现最佳，与非金字塔基线相比，使 R2R 的 SR 提高了 1.2%，SPL 提高了 1.9%。
  • 训练数据： 性能随数据量增加而提升。包含 DAgger 生成的合成数据显著提高了 OS 和 SR，突显了交互式、在策略（on-policy）数据的价值。

重要性与主张

本文声称 MemVLN 为在连续环境中部署 VLN 模型建立了一条可扩展且稳健的路径。通过金字塔分辨率将长程上下文的需求与计算成本解耦，并通过程序性记忆消除自回归延迟，MemVLN 证明了仅使用单目 RGB 输入和标准 LVLM 后端，即可实现实时、高性能的导航。这项工作表明，未来的具身智能体可以依赖统一的视觉-语言框架，这种框架既能保持时间一致性，又能实现快速反应，且无需专门的传感器或复杂的模块化流水线。