Geometry-aware attention for robust visual odometry

为了在世界中导航，机器人或自动驾驶汽车需要知道自己身在何处以及要去向何方。它不能依赖于已经拥有的地图，因为它经常进入一个全新的、未知的环境。相反，它必须通过观察通过摄像机流逝的世界来确定自身的运动。这个过程被称为视觉里程计（visual odometry），就像一个人在黑暗的房间里行走，试图通过感受墙壁并观察余光中家具的移动来猜测自己的路径。几十年来，科学家们一直试图通过给机器两套不同的规则来教会它们这样做。一套规则告诉机器要将整个场景作为一个整体来看待，注意光影和色彩在整个图像上的变化。这对于观察大局很有帮助，但如果光照发生变化或摄像机移动过快，就会产生困惑。另一套规则则告诉机器只关注锐利、清晰的点，比如桌子的角或墙上特定的砖块。这非常精确，但如果墙面是空白的或者摄像机镜头变脏了，就会完全失效。

长期以来，工程师们不得不在这两种方法之间做出选择，接受机器要么擅长观察大局，要么擅长追踪细节，而很难两者兼顾。这种局限性意味着机器在面对现实世界的混乱时经常会跌跌撞跌，例如在雨中驾驶、在拥挤的房间中行走，或是在狭窄且缺乏特征的走廊中驾驶无人机。现在，来自巴西和加拿大的一个研究小组提出了一种解决这个问题的新方法。他们构建了一个不需要做选择的系统。相反，它学会了同时利用世界的广阔视野和特定点的锐利细节，将两者融合在一起，从而让一种方法的弱点被另一种方法的优势所弥补。

由哈德森·布鲁诺（Hudson Bruno）及其同事领导的研究人员创建了一种他们称之为 DDI-VO 的新架构。这个名字代表“深度直接-间接视觉里程计”（Deep Direct-Indirect Visual Odometry），描述了该系统的工作方式。它有两个主要部分并行工作。第一部分充当广角观察者。它观察整对图像，摄取光线的流动、地面的纹理以及环境的总体形状。这部分非常擅长理解上下文，例如，即使道路湿滑且模糊，它也能通过知道道路向前方延伸来理解汽车正在向前行驶。第二部分充当细节导向的追踪器。它寻找图像中的特定锐利点，例如建筑物的角落或墙上的独特图案，并紧密跟随它们。这部分在测量精确距离方面表现出色，但如果墙面是纯白色的或者摄像机抖动得太厉害，就会迷失方向。

他们设计的精妙之处在于这两个部分是如何进行交流的。在系统的中间，有一个机制来决定在任何给定时刻应该信任广角视图还是锐利点。想象一位正在城市中穿行的导航员。有时，导航员会观察整个天际线以了解自己的朝向。其他时候，他们会观察特定的路标以确切知道自己的位置。新系统会自动完成这一切。如果摄像机镜头上有水滴，系统会学会忽略水滴造成的模糊和扭曲的点，转而更多地依赖场景的整体形状。如果摄像机正经过一条漫长、空旷且没有任何特征的白色走廊，系统会将焦点转向整个图像的细微变化，而不是试图寻找并不存在的特定点。这种动态切换焦点的能力使得机器即使在视觉条件极差的情况下也能继续前进。

为了教系统如何做出这些决策，研究人员使用了一种聪明的训练策略。他们并没有直接把机器投入到一个复杂的驾驶模拟中。相反，他们从一个更简单的任务开始。他们教系统理解当摄像机角度改变时，像纸张或墙壁这样的平面是如何移动和变形的。这是一项基础的几何技能，有助于机器理解形状在空间中是如何相互关联的。一旦系统掌握了这种基础几何学，他们再教它更难的任务：即弄清楚摄像机是如何在三维环境中移动的。这种循序渐进的学习过程（作者称之为“课程”）确保了系统在处理现实世界视频的复杂情况之前，已经拥有了坚实的几何理解基础。

研究人员在代表不同现实场景的多种具有挑战性的数据集上测试了他们的新系统。他们使用了汽车在高速公路上行驶、无人机在室内房间飞行以及手持摄像机在拥挤空间移动的数据。在每种情况下，他们都将自己的系统与现有的最佳方法进行了对比。结果显示，虽然其他系统在条件变得恶劣时往往会遭遇惨败，但新系统保持了稳定性。例如，在摄像机镜头被水覆盖或光照突然变化的测试中，新系统能够持续准确地追踪路径，而旧方法则会迷失方向并偏离航线。该系统在缺乏明显特征的室内环境中表现尤为出色，而在这种情况下，传统方法通常会失败。

这项研究还观察了系统究竟是如何做出决策的。通过可视化系统正在“看”的内容，研究人员发现它已经学会了忽略那些会让观察者感到困惑的事物。当摄像机在有车辆移动的街道上行驶时，系统学会了专注于静态的道路和建筑物，忽略可能误导追踪的移动车辆。当镜头潮湿时，它学会了抑制由水滴引起的模糊斑点。这表明该系统不仅仅是在记忆模式，而是在学习底层的几何运动规则。它已经学会了区分什么是可靠的地标，什么是视觉噪声。

研究结果表明，未来机器人导航的关键不在于在不同类型的传感器或算法之间做出选择，而在于智能地结合它们。通过将广阔的、具备上下文感知能力的视野与精确的、注重细节的视野相融合，研究人员创造了一个足以应对现实世界不可预测性的稳健系统。虽然该系统并不完美，在最极端的情况下仍面临挑战，但它代表了在使自主机器能够安全可靠地导航方面迈出的重要一步，无论是在驾驶汽车、操控无人机，还是引导机器人在繁忙的医院中穿行。这项工作证明，通过教机器平衡宏观全局与微观细节，我们可以构建出比其各部分之和更为强大的韧性系统。