💻 计算机科学

Keyframe-Based Feed-Forward Visual Odometry

本文提出了一种基于关键帧的前馈视觉里程计新方法，该方法利用强化学习来推导自适应关键帧选择策略，从而克服了基于基础模型的方法中无差别序列处理所带来的计算冗余和性能限制。

原作者： Weichen Dai, Wenhan Su, Da Kong, Yuhang Ming, Wanzeng Kong

发布于 2026-01-23

📖 1 分钟阅读☕ 轻松阅读

原作者： Weichen Dai, Wenhan Su, Da Kong, Yuhang Ming, Wanzeng Kong

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图仅凭一个摄像头和一个非常聪明但有点不知所措的 GPS 助手来在一座新城市中导航。这个助手是一个“视觉基础模型”（具体来说是一个名为 VGGT 的系统）。它非常擅长观察图片并弄清楚你在哪里以及三维世界是什么样子的。

然而，有一个问题：这个 GPS 助手有点完美主义。如果你把你走在街上拍下的每一张照片都展示给它看，它就会陷入泥潭。它会试图处理你的每一步，甚至是那些你几乎没怎么移动或视角变化不大的步骤。这浪费了能量，实际上还会让它感到困惑，因为它同时在观察太多相似且低质量的角度。

传统的导航系统有一个技巧：它们使用关键帧（Keyframes）。把关键帧想象成一个“精彩集锦”。与其记录电影的每一秒，不如只保留那些动作发生变化的、最重要的场景。这让电影变得更短、更容易观看，同时又不会丢失故事内容。

旧技巧的问题

通常，工程师们会编写一套严格的规则手册（比如“每 5 米拍一张新照片”或者“只有当光线变化时才拍照”）来决定哪些照片是“亮点”。但这个新的 GPS 助手（VGDT）是一个“黑盒”AI。它并不遵循简单的几何规则；它通过复杂且隐藏的模式来理解世界。旧的规则手册并不适用于这种新的 AI，试图强行套用效果并不理想。

解决方案：一个聪明的管理者

作者们为这个 GPS 助手构建了一个新的系统，充当一个智能管理者。他们没有使用僵化的规则手册，而是教会了一个强化学习（RL）智能体（一种通过试错来学习的 AI）如何挑选最好的照片。

它是这样工作的，我们用一个类比来说明：

滑动窗口： 想象一下，这个 GPS 助手一次只能看 8 张照片组成的窗口。当你行走时，一张新照片滑入，一张旧照片滑出。
管理者的工作： RL 智能体会观察这个窗口。它会问：“这张新照片是否与我们现有的照片有足够的差异，值得被保留下来？”
在实践中学习： 智能体并不知道标准答案。相反，它通过尝试做出决策。
- 如果它保留的照片有助于 GPS 更好地确定位置，它就会获得“奖励”（就像一颗小金星）。
- 如果它保留的照片会让 GPS 感到困惑或浪费时间，它就会受到“惩罚”。
- 随着时间的推移，智能体会学会何时保留照片、何时跳过照片的最佳节奏，而且这种节奏是专门针对这个特定 AI（VGGT）的思考方式而定制的。

结果

研究人员在模拟视频游戏世界（TartanAir）中训练了这个“管理者”，然后在现实世界的著名驾驶和步行数据集（如 EuRoC、TUM 和 KITTI）上对其进行了测试。

结果： 他们的系统表现优于目前的顶尖方法。它在确定相机位置方面更加准确，并且不会被重复的场景所困扰。
为什么这很重要： 它证明了你不需要改变 GPS 助手的核心“大脑”就能让它更快、更好。你只需要一个聪明的管理者来在正确的时间向它提供正确的信息。

简而言之

这篇论文介绍了一种让超智能 3D 视觉 AI 变得更高效的方法。他们没有向其灌输大量的原始视频，而是使用一个基于学习的管理者来挑选最有用的“关键帧”。这使得系统更快、更准确，并且不太容易被困惑，而无需改写 AI 的核心代码。这就像是雇佣了一位私人编辑来整理你的相册，以便你的 GPS 能够完美地阅读它。

技术摘要：基于关键帧的前馈视觉里程计

问题陈述

视觉基础模型（如 DUSt3R、VGGT）的出现彻底改变了视觉里程计（VO）和 SLAM，使在单个前馈网络内实现位姿估计和稠密重建成为可能，从而消除了对显式几何约束或大量参数调优的需求。然而，当前基于基础模型的方法（如 VGGT-Long）通常不加区别地处理原始图像序列。这种“盲目”的处理方式导致了两个主要问题：

计算冗余： 处理每一帧会消耗大量的内存和计算资源，阻碍了实际部署。
性能退化： 包含低帧间视差（parallax）的帧会提供有限的上下文立体信息，这可能会降低局部估计的准确性。

虽然传统的 VO 流水线利用关键帧方法来过滤输入并提高效率，但将这些启发式方法集成到基础模型中并非易事。传统方法依赖于显式的几何度量（如基线距离、视差），而基础模型则以“黑盒”形式运行，具有复杂的、高维的潜在表示（latent representations）。设计一种既能与这些模型的内部机制对齐，又无需显式了解其潜在空间的规则化关键帧选择方法，仍然是一个重大挑战。

方法论

作者提出了一种基于关键帧的前馈视觉里程计方法，该方法利用最先进的视觉基础模型 VGGT 作为骨干网络，并通过**强化学习（RL）**智能体进行自适应关键帧选择。

核心架构

骨干网络： 系统使用 VGGT，它处理一组无序的、未标定的单目 RGB 图像集。它提取视觉特征 Token（使用 DINOv2），通过自注意力（self-attention）和交叉注意力（cross-attention）层进行处理，并将它们解码为相机位姿、深度图和点云。
滑动窗口机制： 该方法并非一次性处理整个序列，而是维护一个固定大小的滑动窗口（大小为 8）。窗口中的第一帧作为具有已知全局位姿的“锚点（anchor）”。窗口中的所有帧都被送入 VGGT 以计算相对于锚点的相对位姿，随后将其转换为全局位姿。
基于 RL 的关键帧智能体：
- 观测值 ( $O_t$ )： 智能体观察由 ViT 编码器从当前窗口内所有帧中提取的均值池化 CLS Token（全局语义表示），并结合每帧的相对位姿变化。这种设计使智能体的输入与基础模型的内部状态保持一致，同时保持了计算效率。
- 动作 ( $A_t$ )： 智能体决定是将新到达的输入帧保留为关键帧，还是将其丢弃。
  - 如果保留： 窗口移动；当前的锚点被移除，第二帧成为新的锚点。
  - 如果丢弃： 该帧被移除，但其相对于最近一个关键帧的相对位姿变化被保留。
- 奖励函数 ( $R$ )： 奖励根据估计轨迹与地面真值（使用 Umeyama 算法）之间的对齐误差进行计算。奖励函数包含一个平移误差项 ( $e_{tran}$ ) 以及一个微小的补偿项 ( $\alpha_{keyframe}$ )，以防止动作崩溃（例如，智能体总是选择或从不选择帧）。
- 训练： 智能体使用 PPO 算法在合成数据集 TartanAir 上进行训练。训练过程中结合了数据增强（亮度、对比度、饱和度变化）和随机丢帧，以增强鲁棒性。训练期间使用了一个“特权评论家（privileged critic）”，它可以访问地面真值位姿，以区分智能体误差与序列本身的难度。

核心贡献

数据驱动的关键帧策略： 本文引入了一种用于基础模型关键帧选择的新颖方法。该方法没有依赖于手工设计的几何启发式规则，而是采用强化学习来推导一种自适应策略，使其与底层基础模型（VGGT）的内在特性相匹配。
集成至 3D 视觉基础模型： 该工作成功地将自适应关键帧机制集成到 VGGT 等模型中。通过将输入帧的选择与模型的潜在表示特性对齐，该方法在不修改基础模型核心架构的情况下，显著提高了定位性能。
泛化能力： 提出的方法展示了强大的泛化能力，尽管仅在合成数据上进行训练，但在多种真实世界数据集（EuRoC、TUM-RGBD、KITTI）上均实现了持续的性能提升。

实验结果

该方法针对最先进的前馈 VO 方法进行了评估，包括 VGGT-Long、VGGT-SLAM、FastVGGT、StreamVGGT 和 InfiniteVGGT。

性能： 该方法在 EuRoC、TUM-RGBD 和 KITTI 数据集的多数序列中达到了最优或极具竞争力的结果。它始终优于缺乏关键帧过滤或依赖简单启发式方法的其他前馈方法。
与启发式方法的比较： 消融研究将基于 RL 的策略与标准滑动窗口（VGGT-SW）以及基于 Lucas-Kanade 光流的关键帧方法（VGGT-LK）进行了对比。RL 方法在所有数据集上均获得了更低的平均轨迹误差（ATE），这表明传统的几何驱动启发式方法与视觉基础模型的内在属性并不完全对齐。
效率： 与总处理时间相比，RL 智能体引入的计算开销极小（每次决策约 0.74 毫秒），同时显著减少了处理重型基础模型的帧数。
鲁棒性： 该方法在具有显著几何结构的室内环境以及具有复杂几何结构的大规模室外场景中，均保持了稳定的性能，而在这些场景下，依赖显式后处理的方法往往会出现性能退化。

重要性与主张

论文声称，有效保留当前和短期时间上下文对于前馈 VO 框架至关重要，且性能并不完全受限于缺乏长期记忆。通过利用数据驱动的策略显式地维护关键帧，该方法增强了整体估计的准确性和鲁棒性。

作者强调，我们的方法弥合了传统几何启发式方法与现代基础模型之间的鸿沟。他们认为，这项工作凸显了关键帧式记忆维护对于前馈 VO 的重要性，并为开发更鲁棒、更具扩展性的视觉里程计系统提供了一个有前景的方向。论文最后指出，未来的工作将研究维持长期记忆（回环检测）的机制，以将该框架扩展为完整的全前馈 SLAM 系统。