M2Depth: Unifying Monocular Depth Foundation Priors with Multi-View Stereo
该论文提出了 M2Depth，这是一个通过双向相互细化策略和先验引导的代价体积优化，将单目深度基础先验与多视图立体视觉相统一的新颖框架，在稠密和稀疏视图设置下均实现了卓越的深度图完整性、泛化性和准确性。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，仅凭一张照片就试图构建一个详细的房间3D模型。你可以猜测墙壁的位置以及家具的距离，但如果不通过第二个视角进行对比，你就无法得知确切的距离。这就是从平面图像重建三维世界的根本挑战。几十年来，科学家们一直依赖一种被称为“多视图立体视觉”（multi-view stereo）的技术，该技术通过将从不同角度拍摄的多张照片拼接起来以计算深度。虽然这种方法功能强大，但在场景复杂、物体部分被遮挡或可用照片极少时，往往会遇到困难。在这些困难点上，计算机难以在图像之间找到匹配点，从而导致最终模型出现空隙或形状扭曲。
与此同时，新一代人工智能已经出现，它们能够观察单张图像并推测每个像素的深度。这些系统通过海量图像库进行训练，非常擅长理解场景的总体形状，即使是面对从未见过的场景也是如此。然而，由于它们仅依赖一张照片，往往会在尺度（scale）上出错；一辆汽车可能形状正确，但看起来像个玩具；或者一座建筑看起来很正常，却显得远在千里之外。多年来，研究人员一直试图结合这两种方法：多视图立体的几何精确性和单幅图像AI的直觉形状识别能力。以往的尝试只是简单地将AI的猜测粘贴到多视图系统中，或者反之亦然。这种单向的过程往往以失败告终，因为一侧产生的误差会直接拖累另一侧，导致最终模型要么不完整，要么几何对齐失准。
现在，一组研究人员提出了一种全新的桥接方式，创建了一个让这两种方法不断进行对话以修正彼此错误的方法。该框架并非将单幅图像AI视为静态指南，而是允许多视图系统与单幅图像AI在持续的循环中相互优化。多视图系统利用其对相机移动轨迹的认知来修正AI猜测的尺度和对齐；作为回报，AI则提供强大的整体结构感，帮助多视图系统填补照片缺失或视线受阻处的空白。这种往复式的修正发生在过程的每一个阶段，从最初的粗略草图到最终的精细模型。
研究人员在包含复杂场景（包括室内房间和室外景观）的标准数据集上测试了这种方法。他们发现，与之前的尖端技术相比，该方法生成的3D重建模型明显更加清晰且完整。在旧方法会出现空洞（遮挡区域）或表面扭曲的地方，这个新系统保持了锐利的边界和准确的几何形状。这种改进在挑战性条件下尤为显著，例如当系统仅获得三张从不利角度拍摄的照片时，而传统方法在这种情况下通常会失效。即使没有针对此类困难任务进行专门训练，该系统也表现出了良好的泛化能力，能够重建出细节和精度足以媲美专为稀疏数据设计的方法的场景。
成功的关键在于系统如何处理不确定性。当多视图系统无法在图像间找到明确匹配时，它不会盲目猜测，而是向单幅图像AI寻求结构线索。反之，当AI的深度估计存在歧义或缺乏特定尺度时，多视图系统会用精确的几何数据将其锚定。这种相互优化的过程确保了最终输出不仅仅是两个不完美猜测的混合体，而是一个统一的结构，其中一方的优势补偿了另一方的弱点。其结果是一个鲁棒的工具，即使面对有限或困难的视觉数据，也能生成高质量的3D模型，这标志着机器感知和重建物理世界的方式迈出了重要一步。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。