Unified Panoramic Geometry Estimation via Multi-View Foundation Models
本文介绍了 PaGeR，这是一个统一的框架，它将预训练的基于透视的 3D 基础模型进行适配，以同时从透视图像和全景图像中估计尺度不变深度、度量深度、表面法线和天空掩码，从而在 360 度场景重建中实现了最先进的零样本性能。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象你有一台能拍摄标准照片的普通相机。它像人眼一样观察世界：一个视野有限的矩形画框。现在，想象一台特殊的 360 度相机，它能像鱼眼镜头一样，在单次拍摄中捕捉你周围从地板到天花板、环绕四周的整个世界。
问题在于，大多数“智能”计算机视觉模型（即理解 3D 形状的 AI 大脑）仅是在那些标准的矩形照片上进行训练的。如果你向它们输入一张 360 度照片，它们会感到困惑，因为图像被拉伸和扭曲了，尤其是在顶部和底部（就像一张拉伸了极地的世界地图）。
这就是 PaGeR（全景几何重建）登场的时候。
将 PaGeR 想象成一位通用翻译官，它教导这些智能 AI 模型如何理解 360 度照片而不丧失其智能。其工作原理可分解为以下简单概念：
1. “立方体”技巧（储藏室类比）
PaGeR 不直接尝试修复被拉伸和扭曲的 360 度图像，而是使用了一个巧妙的技巧。想象你有一个巨大的球形房间（即 360 度视野）。PaGeR 不是同时观察整个球体，而是将球体切割成六个方形碎片，并将它们粘贴到立方体的六个面上。
- 为什么要这样做？ 标准照片只是一个方形视图。通过将 360 度世界转换为六个方形的“透视”照片（分别对应前、后、左、右、上、下），PaGeR 可以将它们输入到那些已经精通理解方形照片的 AI 模型中。
- 好处： AI 无需学习一门新语言；它只需查看六张熟悉的方形图片，而不是一张奇怪且被拉伸的图片。
2. “无缝拼接”（被子类比）
当你尝试将六张方形照片粘合在一起重新组成一个球体时，通常会在边缘相接处出现难看的接缝或裂缝。这就像试图缝制一床图案无法对齐的被子。
PaGeR 通过教导 AI 观察邻居来解决这个问题。当 AI 查看立方体的“右侧”面时，它也会秘密地窥视“前”面和“后”面，以确保墙壁和地板完美对齐。这确保了在构建最终的 3D 模型时，几何结构中没有裂缝或跳跃。这是一个无缝、连续的 3D 世界。
3. “瑞士军刀”（多任务工具类比）
大多数 AI 工具仅设计用于做一件事：也许是猜测物体的距离（深度），或者是猜测墙壁朝向的方向（法线）。
PaGeR 就像一把瑞士军刀。在瞬间（一次“前向传播”）中，它同时完成所有任务：
- 深度： 它告诉你物体确切有多远（以米为单位）。
- 表面法线： 它告诉你每个表面的角度（那面墙是倾斜的吗？那个地板是平坦的吗？）。
- 天空分割： 它知道图像的哪些部分是天空（天空没有“距离”，因为它是无限的），这样它就不会被云层或地平线搞糊涂。
4. “混合训练”（学生类比）
为了实现这一目标，研究人员并没有仅使用虚假的计算机生成 360 度图片来训练 AI。他们采用了一种混合饮食：
- 真实透视照片： 以保持 AI 对现实世界外观的原始“常识”。
- 合成 360 度照片： 以教导它如何处理 360 度格式。
这防止了 AI 在教授其新 360 度技能的同时忘记它已经掌握的知识（这被称为“灾难性遗忘”问题）。
他们取得了什么成就？
该论文声称，PaGeR 目前是该领域最出色的。
- 它适用于室内场景（如客厅）和室外场景（如城市街道）。
- 它能从单张照片中创建高度详细的 3D 地图。
- 它表现优异，甚至超越了以往的方法，即使在作者创建的新数据集ZüriPano上也是如此（这是来自瑞士苏黎世的一系列真实世界室外 360 度扫描集合，因为现有数据不足以用于测试）。
简而言之： PaGeR 利用了我们为普通照片拥有的最佳 3D“大脑”，赋予它们特殊的“立方体”镜头以观察 360 度世界，并教导它们将这些视图完美地拼接在一起，同时还能同时执行多项任务。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。