Visual Relocalization from Sparse Views in Aliased and Low-Texture Environments via Novel View Synthesis

想象一下你是一个被派去探索新行星的机器人。你的任务是四处游走、拍照，并弄清楚自己确切位于地图上的什么位置。但问题在于，这个星球看起来就像一个巨大的、空旷的灰色岩石荒漠。没有树木，没有建筑，没有路标，也没有明显的图案。每一块岩石看起来都和另一块一模一样。这对机器人的眼睛来说简直是一场噩梦。如果你仅仅转动一下头，场景就会变得完全不同，但实际上它还是同一个地方。这被称为“感知歧义”（perceptual aliasing），就像是在试图一个每个房子都涂成同样灰色且没有任何门牌号的社区里寻找自己的家。

为了解决这个问题，科学家们一直在教机器人如何从照片中构建3D地图，这个过程被称为“新视角合成”（Novel View Synthesis）。把它想象成机器人拍了一堆照片，然后使用一个计算机程序来“梦幻”出一个可以从任何角度观察的3D世界。一种流行的方法叫做“3D高斯泼溅”（3D Gaussian Splatting）。想象一下，世界不是由坚固的方块组成的，而是由数百万个在空间中漂浮的、模糊的、有颜色的气球组成的。机器人移动这些气球，直到从某个特定角度看去时，它们看起来与它刚刚拍摄的照片完全一致。问题在于，在这些单调的灰色荒漠中，机器人会感到困惑。它可能会把气球放在错误的位置，因为照片中缺乏足够的独特细节来引导它。这就像是在拼凑一个由无数空白白方块组成的拼图；你可能认为你拼对了，但实际上的图像完全是错的。

这篇论文正是针对这一问题展开研究的。研究人员利用了一台看起来像是在月球景观上行驶的漫游车数据，发现当地形非常单调且机器人只能沿直线前进时，标准的构建“气球地图”的方法会彻底失败。他们发现，仅仅观察照片中的颜色（光度监督）不足以构建一个对导航有用的地图。相反，他们提出了一种新的训练方法，强制机器人去关注岩石的“形状”和“距离”，而不仅仅是它们的颜色。他们通过混合使用来自激光扫描仪（LiDAR）的数据和一个特殊的立体视觉工具（MVS）来实现这一点，后者就像是第二双眼睛，用于判断深度。

结果是，生成了一张关于几何结构更加“诚实”的地图。当他们测试这种新方法时，机器人在宽松条件下的重新定位成功率从惨不忍睹的6.25%跃升到了更可靠的43.20%。在更严格的条件下，成功率为6.80%，这相对于其他方法的近乎零表现来说仍是一个显著的进步。在行星探测的世界里，一次错误的转向就可能意味着永远陷入困境，这种程度的提升是具有变革意义的。论文表明，对于这些极端、缺乏特征的环境中的机器人，获取正确的3D形状比让照片看起来漂亮得多更为重要。

核心思想：为什么“漂亮的”地图会失败

论文首先解释说，目前的机器人导航系统在城市或森林中表现出色，因为那里有很多独特的特征，如窗户、叶子或标牌。但在行星环境（如火星或月球）中，地面通常是平坦且多岩石的荒地。这些机器人（通常是漫游车）主要向前行驶。这意味着它们无法获得同一个物体的许多不同角度。这就像是通过只从正面观察一个球体来理解它的形状；你无法判断它是一个球还是一个扁平的圆盘。

当机器人在这种条件下仅尝试使用照片构建3D地图时，计算机就会产生困惑。它可能会认为一块平坦的岩石是一个深坑，或者认为远处的山就在漫游车旁边。这是因为这些“气球”（3D高斯）仅被要求去匹配照片中的颜色。如果颜色相似，计算机并不关心气球是否漂浮在错误的位置。作者认为，这种“仅靠光度”的方法在这些特定环境下从根本上就是行不通的。他们明确排除了“更好的相机或更多的照片本身就能解决问题”的观点；问题的核心在于缺乏几何（基于形状的）信息。

解决方案：教会地图去“感受”世界

为了解决这个问题，作者引入了一种“几何感知”的训练策略。想象一下，你被蒙着眼睛，试图用粘土建造一个房间的模型。如果有人只是告诉你：“让它看起来像照片里的样子”，你可能会做一个二维的平面图。但如果他们还说：“确保墙壁实际距离是10英尺，且地板是平坦的”，那么你就会建造出一个具有真实深度的结构。

论文结合了三种类型的“教学信号”来构建地图：

1. 照片（光度）： 标准指令，要求匹配图像中的颜色和图案。
2. 立体视觉（MVS）： 机器人利用其摄像头来猜测物体的深度，就像我们的双眼如何帮助我们判断距离一样。论文使用了名为MVSAnywhere的工具来提供这些猜测，这有助于平滑岩石的局部细节。
3. 激光扫描仪（LiDAR）： 这是最关键的一点。漫游车拥有一种激光器，可以通过反射物体来测量其精确距离。作者利用这些数据来强制“气球”停留在正确的物理位置。他们创建了一个特殊的数学规则（“倒角损失”，Chamfer loss），它就像一块磁铁，将漂浮的气球拉向实际的激光测量值。

论文明确指出，这是首次以这种方式结合这些特定方法。他们认为，仅仅依赖单一的深度来源（比如仅靠立体视觉）是不够的，因为当机器人直线运动时，立体视觉会产生噪声。通过结合激光数据与立体视觉，他们得到了两者的优势：激光提供了宏观的准确性，而立体视觉填充了局部纹理。有趣的是，虽然最初仅使用激光数据时，其定位成功率低于仅使用照片的方法，但论文强调，激光数据实际上是“几何保真度的主要驱动力”，这意味着它让3D地图的形状在物理上更加准确，即使即时的“定位”得分没有立即大幅跳升。

结果：从迷失到寻获

研究人员在名为“DLR S3LI Vulcano Dataset”的数据集上测试了他们的方法。这些数据采集自西西里岛的火神岛（Vulcano），那里的景观看起来非常像行星表面：充满了古老的火山口、灰色的岩石，且几乎没有任何独特的特征。机器人行驶了约1.5公里，拍摄了照片并进行了激光扫描。

当他们测试旧方法（仅照片）时，在宽松条件下，机器人只有6.25%的概率能正确找到位置。它基本上是在瞎猜。当他们仅加入激光数据时，定位成功率反而下降到了2.10%，这表明仅靠激光数据不足以解决局部纹理问题。

然而，当他们使用完整的“几何感知”方法时，结果发生了剧变。在宽松条件下，机器人的重新定位能力跃升至43.20%，在严格条件下为6.80%。这是一个巨大的进步。论文指出，这不仅仅是运气好，他们构建的地图在物理上更加准确。与原始方法相比，“倒角距离”（衡量地图与实际激光数据偏差的指标）下降了约74%。

作者还将他们的方法与一种经典的机器人导航技术——PnP进行了对比，PnP依赖于匹配图像之间的特定点。在这些单调、乏味的灰色环境中，该方法几乎完全失效，在严格条件下成功率为0%。这证明了当世界看起来过于相似时，旧的方法根本行不通。

这为什么重要

论文总结道，对于探索极端环境的机器人而言，“几何一致性”比“光度保真度”更重要。换句话说，地图看起来是否像一张高清照片并不重要；重要的是地图是否知道岩石在3D空间中的实际位置。如果地图拥有正确的形状，即使图像看起来有些模糊或奇怪，机器人也能确定自己的位置。

作者也谨慎地表示，这并不能解决所有问题。即便使用了这种新方法，机器人在面对某些极难情况时仍然表现挣扎，且成功率并未达到100%。但从6%到43%的提升是一个巨大的飞跃。这表明，如果我们希望机器人能够可靠地探索火星或月球，我们需要停止将它们视为单纯的照相机，而要将它们视为需要理解世界形状而非仅仅是颜色的3D扫描仪。

论文最后提到，这种方法可能是实现未来长期机器人自主性的关键拼图之一。通过构建结构稳固的地图，机器人可以实现“闭环”（意识到自己曾经来过某处）并停止偏离航线，这对于任何需要在没有GPS的环境下进行的长期任务都是至关重要的。他们公开了该方法的代码，邀请科学界基于这种全新的“观察世界”的方式进行深入研究。