💻 computer science

RoamFlow: Reinforcement-Aligned One-Step Action MeanFlow Policy for Image-Goal Navigation

RoamFlow 是一个生成式导航框架，它利用 MeanFlow 进行高效的少步轨迹合成，并采用结合专家模仿与强化学习的两阶段训练策略，从而在模拟和真实环境中实现高性能的图像目标导航。

原作者： Zixuan Zhang, Yuqi Chen, Junjie Gao, Siyuan Song, Yongzhou Pan, Beichen Wang, Mir Feroskhan

发布于 2026-06-30

📖 1 分钟阅读☕ 轻松阅读

原作者： Zixuan Zhang, Yuqi Chen, Junjie Gao, Siyuan Song, Yongzhou Pan, Beichen Wang, Mir Feroskhan

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图引导一只机器狗穿过一个杂乱的房屋，去寻找一张特定的沙发照片。这只机器人没有地图，它只有摄像头和那张作为目标的沙发照片。这就是**图像目标导航（Image-Goal Navigation）**所面临的挑战。

这篇论文介绍了一种名为 RoamFlow 的新系统，它能帮助机器人比以往的方法更快、更聪明地完成这项任务。以下是其工作原理的拆解，通过简单的概念进行说明：

1. 问题所在：“步进式”的挣扎

旧的机器人大脑运作起来就像一个人试图通过走迷宫来解题：走一小步，观察四周，决定下一步，然后重复。

问题： 这种方式很慢。如果机器人需要走 50 步才能到达沙发，它就必须“思考” 50 次。等到它思考完，可能已经无法对移动的障碍物做出反应了。此外，由于它只能看一步，它往往会变得“近视”（短视），从而走上一条导致死路的错误路径。

2. 解决方案：“一跃成画”的梦境 (MeanFlow)

RoamFlow 改变了游戏规则。它不再是一步一步地思考，而是使用一种称为 MeanFlow 的技术，在一次闪念中“梦见”整个路径。

类比： 想象你是一位艺术家。
- 旧方法（扩散模型 Diffusion）： 你从一张布满静态噪声的空白画布开始。你慢慢地擦除噪声，通过一次次微小的笔触不断精炼图像，直到画面显现。这需要很多步骤。
- RoamFlow (MeanFlow)： 你不再是缓慢地擦除噪声，而是学习一种“平均风向”，让噪声直接吹成最终的画作。你可以通过一次飞跃来预测整幅图像。
结果： 机器人不再计算 50 个单独的动作，而是计算从当前位置到目标所需的“平均方向”。这使得它速度极快，使其能够在小型、电池驱动的机器人上运行而不会出现延迟。

3. 训练过程：“学徒”与“教练”

论文使用了一个两阶段训练过程来教授机器人，类似于人类学习一项新技能的过程。

第一阶段：学徒（模仿学习 Imitation Learning）：
首先，机器人观察一位“大师”（专家级计算机算法）如何导航完美的路径。它尝试完全模仿这位大师。这给了机器人一个良好的起点，使其不会一开始就撞墙。
第二阶段：教练（强化学习 Reinforcement Learning）：
仅仅靠模仿是不够的，因为现实世界是混乱的。随后，机器人被放入一个视频游戏模拟环境（Habitat）中，它通过快速到达目标获得分数，通过撞墙失去分数。它开始独立练习，学习纠正大师的错误并适应新的、棘手的场景。

4. 安全过滤器：“交警”

即使拥有快速的大脑，机器人也可能会生成几种不同的可能路径（例如：“左转”、“右转”、“直行”）。

创新点： RoamFlow 有一个特殊的“交警”模块（轨迹评估器 Trajectory Evaluator）。它观察机器人梦见的所有可能路径，并瞬间挑选出最安全、最平滑的那一条。
类比： 这就像管弦乐团中的指挥。音乐家们（生成器）可能会演奏出几种不同的音符，但指挥（评估器）会挑选出听起来正确的那个音符，并确保音乐流畅进行而不发生碰撞。

为什么这很重要（根据论文所述）

作者在计算机模拟和真实的机器狗（Unitree Go2）上都对其进行了测试。

速度： 它的运行时间约为 19 毫秒（不到 1/50 秒），这足以满足实时控制的需求。
成功率： 它比其他高科技方法更容易到达目标，且撞击障碍物的次数更少。
效率： 它在不需要超级计算机的情况下实现了这种高性能；它可以在连接在机器人上的小型芯片上运行。

简而言之，RoamFlow 教会了机器人如何“一眼看穿”整条路径，通过练习直到完美，然后迅速挑选出最安全的路线，这一切都在眨眼之间完成。

技术摘要：RoamFlow

问题陈述

图像目标导航（Image-goal navigation）是具身智能机器人领域的一个基本挑战，要求智能体仅通过在线感知观测即可到达由目标图像指定的特定位置。现有的强化学习（RL）方法通常将感知观测直接映射为单步动作。虽然这些方法对噪声具有鲁棒性，但在处理长程依赖关系时表现不佳，往往导致近视行为（myopic behaviors）和次优轨迹。

近期的生成式框架（例如基于扩散模型或流匹配策略的方法）通过合成连贯的多步动作序列来解决这一问题，从而实现轨迹级的推理。然而，这些方法面临两个关键限制：

推理效率： 它们依赖于迭代生成过程（多次去噪步骤或数值积分），引入了计算延迟，阻碍了在资源受限机器人上的实时部署。
策略对齐： 大多数方法主要依赖模仿学习（IL）。虽然模仿学习提供了有用的先验知识，但它无法纠正次优的专家行为，也无法适应未见的场景，从而导致累积的长程误差，并导致与避障和高效到达目标等任务目标的失配。

方法论

作者提出了 RoamFlow，这是一个结合了高效单步轨迹生成与两阶段训练策略（模仿学习 + 强化学习）的生成式导航框架。

1. 架构

该系统由三个主要部分组成：

观测编码（Observation Encoding）： 使用 EfficientNet-B0 主干网络对当前的 RGB-D 观测和目标 RGB 图像进行编码，并通过 Transformer 模块进行融合，以创建联合潜空间表示（ $C_t$ ）。
RoamFlow 策略（MeanFlow 生成器）： 该策略并非预测瞬时速度（如标准流匹配那样），而是利用 MeanFlow 来预测一个时间间隔内的平均速度场。它建模的是区间级的位移而非瞬时变化。通过这种方式，策略可以在单次前向传播中将高斯噪声直接映射为完整的轨迹序列（ $A_t$ ），从而显著减少传输步骤。
轨迹评估器（Trajectory Evaluator）： 一个轻量级的多层感知器（MLP）头用于评估策略生成的候选轨迹。它根据几何间隙（安全性）和光滑度对轨迹进行评分，并选择得分最高的轨迹进行执行。这作为一个安全过滤器，用以缓解多模态预测中的不稳定性。

2. 训练策略

RoamFlow 采用了两阶段优化流水线：

第一阶段：离线模仿学习 (IL)： MeanFlow 生成器和轨迹评估器在专家数据集（通过拓扑图上的 Hybrid A* 生成）上进行预训练。生成器最小化预测的平均速度场与专家速度场之间的误差。评估器通过回归进行训练，根据距离场预测安全性及光滑度得分。
第二阶段：在线强化学习 (RL)： 为了针对特定任务目标优化策略，预训练的策略在 Habitat 仿真环境中进行微调。作者引入了一个可学习的噪声网络，将确定性的 MeanFlow 传输转换为随机马尔可夫链，从而实现基于似然的优化。策略使用 PPO（近端策略优化） 进行优化，其奖励函数包含成功率、松弛项（时间惩罚）、进度以及碰撞项。

核心贡献

基于 MeanFlow 的生成式策略： 作者提出了一种通过预测平均速度场来实现**高效少步（实际上是单步）**轨迹生成的策略。这降低了推理延迟，同时保持了轨迹质量，解决了生成式模型的计算瓶颈问题。
两阶段训练框架： 一种结合了用于稳定初始化的离线 IL 与用于任务驱动精细化的在线 RL 的新颖流水线。这种方法使智能体能够先学习专家先验，然后通过奖励信号将轨迹生成与特定的导航目标（如避障）相对齐。
轨迹评估器： 一种在推理阶段重新排序候选轨迹的机制，在不增加显著计算开销的情况下增强了鲁棒性和安全性。

实验结果

该框架在 Habitat 仿真环境和真实世界机器人实验（Unitree Go2 四足机器人）中均得到了验证。

仿真性能 (Habitat)：
- 在 Gibson 数据集上，RoamFlow 实现了 68.7% 的成功率 (SR) 和 61.9% 的 SPL，优于强基线模型 NavDP（SR 59.3%，SPL 47.5%）。
- 它显著降低了碰撞率 (CR)，从 NavDP 的 11.6% 降至 10.9%。
- 推理时间： RoamFlow 的延迟为 19.6 ms，相比于基于扩散模型的基线（如 NaviDiffusor 的 89.5 ms）甚至其他方法的蒸馏版本，有了实质性的提升。
- 跨领域泛化能力： 在未见的 MP3D 数据集上，RoamFlow 在无需微调的情况下仍保持了强大的性能（SR 56.1%），展示了鲁棒的泛化能力。
真实世界部署：
- 在搭载 NVIDIA Jetson Orin NX 的 Unitree Go2 机器人上部署后，RoamFlow 在三种不同场景的 20 次运行中实现了 100% 的成功率。
- 它记录了最低的碰撞率（0.10 次碰撞/次运行）和最快的推理时间（37.2 ms），满足了实时控制约束（10 Hz 控制循环）。
消融实验：
- 去除 IL 预训练阶段会导致 SR 大幅下降（从 68.7% 降至 13.2%），证实了专家先验的必要性。
- 去除 RL 阶段会降低 SR（降至 51.3%）并增加 CR（升至 25.9%），凸显了 RL 在精细化安全性与任务对齐方面的作用。
- 用随机选择替换轨迹评估器会导致碰撞率上升，验证了评估器作为安全过滤器的作用。

意义与主张

论文声称 RoamFlow 为在资源受限的嵌入式系统上部署生成式导航策略提供了一个切实可行的解决方案。通过从瞬时速度建模转向区间级位移建模 (MeanFlow)，该方法实现了高效的单步生成，且并未牺牲轨迹质量。此外，两阶段训练策略弥合了静态模仿学习与动态任务需求之间的鸿沟，确保策略不仅具有稳定性，而且能与现实世界的目标（如安全性和效率）相一致。作者断言，这种结合了生成式建模、高效推理和强化学习对齐的方法，能够实现仿真与现实世界中鲁棒的图像目标导航。