Robust Global Structure-from-Motion via View Graph Pruning
本文提出了一种鲁棒的全局运动恢复结构（Structure-from-Motion）框架，该框架通过将视图图划分为一致的子图来识别并剔除错误边，从而在挑战性条件下增强重建精度，进而提升相机位姿估计与新视角合成的效果。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，试图从一堆散乱的照片中重建一个三维世界。这是被称为“运动恢复结构”（Structure-from-Motion）的计算机视觉技术所面临的核心挑战。其目标是弄清楚每张照片拍摄时相机的精确位置，并利用这些位置来构建场景的数字3D模型。多年来，研究人员一直依赖两种主要方法来解决这个谜题。一种被称为“增量式”（incremental）的方法，它通过逐一添加照片来逐步构建模型，并不断调整整个结构以使其契合。虽然这种方法很精确，但速度较慢，且在处理大规模数据集时表现不佳。另一种被称为“全局式”（global）的方法，试图一次性求解所有相机的位置。这种方法更快，且能更好地扩展到海量图像集合，但它有一个显著的弱点：容易被视觉陷阱所迷惑。如果场景中包含重复的图案，例如一堵长满相同窗户的墙或一排相似的柱子，计算机可能会错误地将一张照片中的一个窗户与另一张照片中的另一个窗户进行匹配。这些错误的连接就像错误的指令，会导致全局法构建出扭曲或坍塌的模型。
一组研究人员开发了一种新策略，旨在帮助全局法在这些令人困惑的环境中导航。他们的研究方法详述于最近的一项研究中，重点在于在最终构建3D模型之前，清理图像之间的连接图谱。研究人员并没有试图强行对整个混乱的图像集合寻求单一解，而是首先将问题分解成更小、更易处理的组。他们寻找那些明确属于彼此且内部一致的图像簇，这意味着组内的照片对于所描绘物体的形状和位置达成了一致。通过隔离这些可靠的组，系统可以为场景的每个部分建立一个坚实的局部基础。
一旦确定了这些较小的、值得信赖的组，研究人员就开始处理它们之间棘手的连接。这正是视觉歧义通常引发麻烦的地方。该团队使用一种严格的测试过程来检查不同组之间的链接。他们会检查在一个组中观察到的相机相对位置，从相邻组的视角来看是否合理。如果某个连接暗示相机处于一个与周围照片几何关系相矛盾的位置，那么该连接就会被标记为不可靠。系统随后会移除这些可疑的连接，有效地修剪掉图像关系树上的坏枝。这个过程是迭代进行的，以确保只有最一致且在几何上合理的连接得以保留。
该方法的成果令人瞩目，尤其是在那些历史上令其他算法束手无策的场景中。在针对具有重复结构的数据集（如书架上的书、摆放着相似物品的桌面或具有对称图案的杯子）进行测试时，这种新方法成功重建了以往方法失败或产生扭曲结果的场景。在一个涉及杯子的特定测试中，旧的全局法因为杯子的前后两面看起来非常相似，错误地将它们连接在一起，导致模型破碎。而新方法避免了这一错误，正确地区分了不同的侧面。研究人员根据已知的地面真值（ground truth）测量了相机位置的准确度，发现该技术显著优于现有的最先进方法，在许多情况下达到了近乎完美的准确度。
除了准确获取相机位置外，该研究还考察了最终3D模型的质量。通过使用一种能从3D数据生成逼真图像的现代渲染技术，研究人员展示了更清晰的相机估计如何带来了更高质量的新视角。当他们生成原始照片中不存在的角度图像时，结果比其他方法生成的图像更加锐利且连贯。这表明，修复底层数据结构直接提升了视觉输出质量。团队还指出，虽然与最快的全局法相比，他们的方法增加了一小部分额外的处理时间，但它仍然明显快于传统的逐一构建法，在速度和可靠性之间取得了良好的平衡。
研究人员承认，他们的方法并非适用于所有可能场景的完美方案。如果场景中包含极其庞大、过于密集或广泛的重复图案区域，系统可能仍会遇到困难。此外，该方法依赖于一些需要调优的参数设置，团队建议未来的工作可以引入基于学习的技术，使过程更加稳健。然而，对于绝大多数带有重复结构的挑战性场景，这种基于子图引导的修剪策略提供了一个强大的新工具。它让计算机能够看穿视觉上的混乱，将信号从噪声中分离出来，从而从简单的照片中构建出准确、稳定且精细的三维世界。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。