Joint Learning of Depth, Pose, and Local Radiance Field for Large Scale Monocular 3D Reconstruction
本文提出了一种联合学习框架，该框架集成了度量尺度视觉 Transformer 深度估计、用于无漂移位姿精细化的多尺度特征束调整，以及用于增量式局部辐射场层级结构的构建，旨在从未经校准的视频中实现大规模、照片级真实的单目 3D 重建。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你正拿着一部智能手机，走在一条巨大的城市街区中，拍摄着你所看到的一切。你想把这段视频变成一个你刚刚走过的世界的完美 3D 数字孪生体。
问题在于，仅凭单目相机（单摄像头）来完成这项工作，就像是试图仅凭一张模糊的草图和一个不断原地打转的指南针来盖房子。以往的尝试通常会以三种方式失败：
- “幽灵”问题： 计算机不知道物体的真实大小，因此一辆车看起来可能像玩具，或者一座建筑看起来像个娃娃屋。
- “漂移”问题： 随着你走得越来越远，计算机会对你的位置产生困惑，导致 3D 地图发生扭曲和滑动，脱离对齐状态（就像一个慢慢偏离道路的 GPS）。
- “内存崩溃”问题： 试图记住整个城市的每一个细节并将其放入一个巨大的 3D 模型中，就像试图把一整座图书馆塞进一个单只鞋盒里；计算机最终会耗尽内存并崩溃。
这篇论文介绍了一种全新的系统，它通过同时教给计算机三件事来解决这三个问题：物体有多深、相机在哪里以及场景长什么样。
以下是他们的解决方案是如何运作的，使用了简单的类比：
1. “现实世界的尺子”（度量深度）
系统不再靠猜测物体距离有多远，而是使用了一个特殊的 AI 大脑（视觉 Transformer），这个大脑已经被教授了关于现实世界物体的“平均尺寸”。
- 类比： 想象你在看一张人的照片。即使你不知道距离，你也知道一个人大约 6 英尺高。这个系统使用了同样的逻辑。如果它看到一个人，它会假设那个人大约 1.7 米高。这就像一把“尺子”，强制要求 3D 地图按照正确的、现实世界的比例进行构建，从而防止出现建筑物漂浮或缩小的“幽灵”几何现象。
2. “特征侦探”（无漂移位姿）
旧系统试图通过寻找特定的点（比如窗户的角）来追踪相机的运动。如果窗户模糊或光线改变，系统就会迷失方向。
- 类比： 这个新系统不寻找单个点，而是观察整个场景的“纹理”和“氛围”，就像侦探通过街道和树木的模式来识别一个社区，而不是仅仅通过某一个特定的邮箱。它不断地根据看到的视觉模式来检查自己的工作，并即时修正路径。这阻止了“漂移”，使得即使在你走了 100 米之后，地图依然保持完美的对齐。
3. “模块化乐高城市”（增量局部辐射场）
与其尝试构建一个覆盖整个城市的巨大 3D 模型（这会导致计算机崩溃），该系统将地图构建成一个个小巧、易于管理的块。
- 类比： 想象你正在墙上画一幅壁画。你不是试图一次性画完整面墙，而是先画好一平方英尺，完成它，然后将其“冻结”使其不再改变。然后你再移动到下一个平方英尺并开始绘画。
- 当你行走时，系统会创建一个新的 3D 数据“块”。
- 一旦你走过了那个块，系统就会将其锁定在原处（冻结）以节省内存。
- 接着，它会为即将进入的新区域生成一个新的块。
- 这使得系统可以使用一台普通笔记本电脑的内存来绘制整个城市街区，而永远不会耗尽空间。
结果
通过将这三个技巧组合成一个连续的循环，该系统可以将普通的随手拍摄视频转化为一个 3D 模型，该模型具有以下特性：
- 精确到米级： 100 米的步行会被测量为精确的 100 米，而不是 90 米或 110 米。
- 无漂移： 随着你的移动，墙壁不会发生晃动或重叠。
- 高质量： 它可以生成看起来具有照片级真实感的场景新视角。
作者在复杂的室内外数据集（如“Tanks & Temples”基准测试）上测试了该系统。他们发现，在追踪相机路径方面，该方法比之前的顶尖方法准确度高出多达 18 倍，并且在不需要任何特殊预校准设备的情况下，能生成更清晰、更锐利的 3D 图像。
简而言之，他们找到了如何通过给计算机一把尺子、一种更好的方向感以及一种用小块构建地图的方法，从而将一段简单的视频转化为精确的大规模 3D 地图。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。