💻 computer science

FlowDec: Temporal Conditional Flow Decorruptor for Robust Continuous Vision-Language Navigation

本文介绍了 FlowDec，一种新颖的时序条件流去噪器，它利用混合时序条件和动作质心引导滤波来鲁棒地恢复受损的视觉输入，从而显著提高大型模型驱动智能体在连续视觉语言导航任务中的导航准确性和效率。

原作者： Yufei Zhang, Changhao Chen

发布于 2026-06-23

📖 1 分钟阅读☕ 轻松阅读

原作者： Yufei Zhang, Changhao Chen

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图通过语音指令教一个机器人在房子里行走，比如：“去厨房，左转，然后在冰箱前停下。”这就是**视觉-语言导航（Vision-and-Language Navigation, VLN）**的挑战。机器人需要倾听你的指令、观察世界，并决定下一步该怎么走。

最近，科学家们开始使用“大模型”（超级聪明的 AI 大脑）来帮助机器人完成这项任务。这些模型非常擅长理解指令。然而，它们有一个主要的弱点：当世界变得“混乱”时，它们会变得非常脆弱。

如果机器人的相机镜头变脏了、外面在下雨、灯光在闪烁，或者机器人移动太快导致图像变得模糊，AI 就会感到困惑。这就像是在有人晃动纸张并在上面涂抹墨水时，你试图阅读一张地图。机器人可能会把墙壁误认为是一扇门，或者直接撞上一张桌子。

这篇论文介绍了一个名为 FlowDec 的新工具来解决这个问题。以下是它的工作原理，通过简单的类比进行解释：

1. 问题所在：“模糊眼镜”问题

目前的机器人表现得就像戴着一副瞬间就会变脏的眼镜。当视野变得模糊（由于噪声、雨水或运动）时，机器人的“大脑”（大模型）会陷入恐慌并做出错误的决策。以往的方法试图清理图像，但它们通常将每一张照片视为独立的、孤立的画面，忽略了机器人正在一条连续路径上移动这一事实。

2. 解决方案：FlowDec（“智能时空旅行清洁工”）

FlowDec 是一个位于机器人的相机和大脑之间的特殊模块。它的任务是在大脑尝试做出决策之前，先清理掉那些混乱的图像。它通过两种聪明的方式来实现这一点：

A. “记忆小径”策略（时间条件化）

想象一下，你正试图猜出一位朋友的长相，但你手里只有一张模糊的照片。

旧方法： 你仅根据那一张模糊的照片进行猜测。
FlowDec 的方法： 你不仅看这张模糊的照片，还会记得一秒钟前照片中朋友的样子。既然人的长相不会瞬间改变，FlowDec 利用“前一帧”（上一时刻）的信息来帮助推测当前混乱的图像应该是什么样子的。

它创造了一种时间的“流”（flow），确保今天清理后的走廊图像与一秒钟前清理后的走廊图像保持一致。这防止了机器人看到墙壁在闪烁或跳动。

B. “步进检查”策略（动作质心过滤）

这是最独特的部分。FlowDec 不仅仅是清理图像，它还会检查这种清理是否符合机器人的运动逻辑。

类比： 想象你正在走廊里行走。如果你向前迈出一步，视野应该以一种特定的、可预测的方式发生变化（例如墙壁离得更近了）。如果你向左转，视野应该向右偏移。
FlowDec 如何利用这一点： 系统知道每一次动作（前进、左转、右转）对应的“预期变化”。在清理完图像后，它会询问：“这个清理后的图像是否符合我在采取该步骤后应该看到的景象？”
- 如果清理后的图像对于该特定步骤来说看起来很奇怪（例如，墙壁移动的方向不对），FlowDec 会说：“不，这种清理方式是错误的，”然后尝试另一种方法。
- 它就像一个质量控制检查员，只有当清理后的图像符合机器人的运动轨迹时，才会接受该图像。

3. 为什么它比其他方法更好

论文通过准确性和速度两个主要标准将 FlowDec 与其他方法进行了对比测试。

准确性： 当图像受到干扰（噪声、雾气、模糊）时，FlowDec 能帮助机器人更频繁地到达目标。它在一次测试中将机器人的成功率提高了约 25%，在另一项测试中提高了 9%。
速度： 其他尝试清理图像的方法速度很慢，就像等待一位画师缓慢地重绘一幅画。FlowDec 则像是一个高速扫描仪。它比次优方法快 3 到 8 倍。这至关重要，因为在现实世界中行走的机器人不能承担每走一步都要等待数秒的代价；它需要立即做出反应。

4. 现实世界的证明

研究人员不仅在电脑上测试了该系统。他们将该系统安装在一个真实的四足机器人（Unitree GO2）上，并让它在真实的房间和户外区域进行导航。即使在模拟了糟糕的相机条件（如添加数字噪声或模拟运动模糊）的情况下，带有 FlowDec 的机器人也比没有它的机器人能更好地找到路径。

总结

FlowDec 是导航机器人的安全网。它就像一副智能眼镜，能够：

记忆世界前一秒的样子，从而填补空白。
检查清理后的视野是否符合机器人当前的运动。
运行极快，让机器人无需停下来等待。

这使得机器人在面对混乱、不可预测的现实环境时，不会因为糟糕的相机质量而感到困惑。

技术摘要：FlowDec —— 用于鲁棒连续视觉语言导航的时序条件流去噪器

1. 问题陈述

连续环境中的视觉与语言导航（VLN-CE）要求智能体在未见的 3D 空间中遵循自然语言指令。虽然大语言模型（LM）和视觉语言模型（VLM）通过增强推理和指令对齐能力推动了该领域的发展，但它们存在一个关键漏洞：在面对现实世界视觉干扰时，性能会严重下降。

现有的基于 LM 的智能体隐含地假设输入图像是清晰且稳定的。但在实际应用中，诸如快速自我运动（运动模糊）、低光照条件、天气（雨、雾、雪）以及传感器缺陷等因素会引入多样化的视觉干扰。这些失真会破坏关键的空间线索（物体边界、地面纹理、深度），导致灾难性的导航失败。目前的鲁棒性解决方案对于 VLN-CE 而言并不充分，原因如下：

盲图像去噪（BID）： 优先考虑感知质量而非下游导航的一致性，且难以应对未知的现实世界干扰。
测试时自适应（TTA）： 更新模型参数的方法存在导致灾难性遗忘的风险，尤其是在冻结的大型模型中。
基于扩散模型的 TTA： 虽然在优化输入方面有效，但现有方法通常独立处理每一帧，未能维持连续具身导航所需的时序相干性和动作级一致性。此外，迭代式的扩散采样引入了与实时机器人部署不兼容的延迟。

核心挑战在于开发一种无需预知干扰类型即可处理未知且多样化干扰的去噪方法，同时保持帧间的时序一致性、维持具有物理意义的动作预测，并在严格的实时约束下运行。

2. 方法论：FlowDec

作者提出了 FlowDec，一种时序条件流去噪器框架。与旨在进行图像增强的传统修复方法不同，FlowDec 专门针对导航感知和实时去噪进行了优化，采用了 潜在条件流匹配（Latent Conditional Flow Matching, CFM） 技术。该框架由三个主要部分组成：

2.1 潜在条件流匹配

FlowDec 在预训练变分自编码器（VAE）的潜在空间内运行。它将修复过程建模为一个常微分方程（ODE），该方程使随机噪声潜在变量（ $z_0$ ）演化为干净的真实值潜在变量（ $z_{c\_gt,1}$ ）。速度场由神经网络 $v_\theta$ 参数化，并通过最小化预测速度场与真实速度场之间的最小二乘误差来进行训练。

2.2 混合时序调节策略

为了使生成流路径与历史上下文对齐，FlowDec 在训练期间采用了动态调节策略。调节变量 $c_i$ 从三种类型中进行选择：

$c_1$ （单帧）： 仅使用当前受损图像的潜在变量。
$c_2$ （带有真实值的时序调节）： 结合前一帧受损潜在变量与真实潜在变量之间的差异，以建模干扰特征。
$c_3$ （带有去噪输出的时序调节）： 使用前一帧受损潜在变量与去噪后潜在变量之间的差异。这对于弥合合成训练数据与现实世界推理之间的领域差距至关重要，因为在测试阶段无法获取真实值。

系统使用动态训练计划：在训练初期， $c_2$ 占据主导地位以建立鲁棒的干扰建模；随后逐渐转向 $c_3$ ，以适应模型自身的领域差距。

2.3 动作质心引导的潜在滤波

在推理阶段，模型主要使用单帧调节条件（ $c_1$ ）来生成去噪图像，以确保稳定性。然而，为了在利用时序一致性的同时避免误差累积，系统采用了 动作质心（Action-Centroid） 机制：

构建： 在训练期间，系统针对每个原子动作（如前进、左转）计算连续真实帧之间的差异潜在变量。这些分布构成了代表每个动作预期潜在变化的“动作质心”（ $\mathcal{N}(\mu, \sigma)$ ）。
滤波逻辑： 在推理时，系统计算当前帧的差异特征与相应动作质心之间的马氏距离（ $w$ $w$ ）。
- 如果 $w$ 低于阈值（ $w_\theta$ ），则接受单帧输出。
- 如果 $w$ 超过阈值（表明可能存在不一致性），系统会调用时序调节条件（ $c_3$ ）来生成第二个候选结果。
- 最终输出是单帧输出与时序输出根据它们各自到动作质心的距离进行的加权组合。

2.4 效率优化

为了满足实时延迟要求，FlowDec 修改了流匹配过程的积分路径。该过程并非从纯随机噪声开始，而是从随机噪声与受损潜在变量之间的线性插值开始（ $z'_0 = t_\theta z_0 + (1-t_\theta)z_{c\_cor,1}$ ）。这减少了所需的积分步数，显著加速了推理过程。

3. 核心贡献

论文声称了三个主要贡献：

问题形式化： 它确定了干扰鲁棒性是 VLN-CE 的一个根本瓶颈，并将导航感知的去噪形式化为一个实时的条件流匹配问题。
新颖框架： 引入了具有混合时序调节和动作中心引导的 FlowDec。这种设计实现了时序一致且具有物理意义的修复，且无需修改底层的导航骨干网络（模型无关性）。
实验验证： 大量实验证明，FlowDec 实现了优于现有技术的修复速度和导航成功率，为新的 VLN 鲁棒性范式奠定了基础。

4. 实验结果

作者在 R2R-CE 和 RxR-CE 数据集上使用 NaVid 作为基准 LM 导航智能体对 FlowDec 进行了评估。实验涵盖了六种代表性的干扰类型（高斯噪声、散粒噪声、雪、雾、JPEG 压缩、对比度）以及超过 5,000 条未见轨迹。

导航性能： FlowDec 优于所有基准模型（包括 SCUNet、Dec-DPM 和 Dec-CM）。
- 在 R2R-CE 上，相比原始模型，其成功率（SR）相对提升了 25.33%。
- 在 RxR-CE 上，其 SR 相对提升了 9.38%。
- 它在维持路径长度加权成功率（SPL）方面表现尤为出色，持续优于基于扩散模型的 TTA 方法（Dec-DPM、Dec-CM）和盲去噪方法（SCUNet）。
时序一致性： FlowDec 在所有干扰类型中均实现了最低的 变形误差（warp error）（衡量帧间运动一致性的指标），证实了其时序调节能有效保持场景相干性，这对下游 LM 推理至关重要。
推理延迟： FlowDec 相比基于扩散模型的基准方法实现了 3 倍至 8 倍的加速。它在约 173 毫秒 内完成去噪（整个流水线），使其能够用于在线机器人部署，而扩散基准方法会产生显著的开销（例如 Dec-DPM 为 1411 毫秒）。
现实世界部署： 该系统被部署在 Unitree GO2 足式机器人 上，完成了四项室内外任务。FlowDec 始终优于基准模型，在亮度波动和运动模糊等挑战性场景中表现出显著增益。
干净输入的性能： 集成 FlowDec 未导致统计学意义上的干净输入性能下降，验证了其在通用部署中的安全性。

5. 意义与主张

论文将 FlowDec 定位为迈向韧性具身智能的关键一步。作者认为，尽管大模型已经推动了 VLN-CE 的发展，但由于缺乏对视觉干扰的鲁棒性，其在现实世界中的部署目前仍受到阻碍。

这项工作的意义在于：

解耦鲁棒性与推理： 通过将去噪视为预处理模块，FlowDec 在无需重新训练复杂的、参数密集的导航骨干网络的情况下增强了鲁棒性。
面向导航的时序一致性： 它解决了现有修复方法中的特定空白，即优先考虑帧间一致性和动作级相干性，而非单纯的感知质量，这对于连续导航至关重要。
实时可行性： 通过利用流匹配和优化的积分路径，它克服了阻碍扩散式修复方法应用于在线机器人系统的延迟障碍。

作者总结道，FlowDec 为不可预测现实环境下的具身导航建立了一个鲁棒且高效的范式，为智能体在传感器退化和动态光照环境下安全运行铺平了道路。未来的工作拟扩展该框架以处理动态变化的噪声模式。