🤖 人工智能

MapAnything: Universal Feed-Forward Metric 3D Reconstruction

MapAnything 是一个统一的前馈 Transformer 模型，它能够直接从一张或多张图像结合可选的几何输入中回归出度量 3D 场景几何结构和相机位姿，从而有效地将多种 3D 视觉任务统一到一个单一且高效的框架中，其性能超越或匹配了专门的模型。

原作者： Nikhil Keetha, Norman Müller, Johannes Schönberger, Lorenzo Porzi, Yuchen Zhang, Tobias Fischer, Arno Knapitsch, Duncan Zauss, Ethan Weber, Nelson Antunes, Jonathon Luiten, Manuel Lopez-Antequera, Sam

发布于 2026-01-26

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Nikhil Keetha, Norman Müller, Johannes Schönberger, Lorenzo Porzi, Yuchen Zhang, Tobias Fischer, Arno Knapitsch, Duncan Zauss, Ethan Weber, Nelson Antunes, Jonathon Luiten, Manuel Lopez-Antequera, Samuel Rota Bulò, Christian Richardt, Deva Ramanan, Sebastian Scherer, Peter Kontschieder

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你有一堆从不同角度拍摄的照片，有些带有 GPS 标签，有些画面中带有比例尺，还有些则没有任何额外信息。你的目标是构建一个完美的、具有真实世界尺寸的场景 3D 模型，并精确确定每张照片拍摄时的相机位置。

传统上，完成这项工作就像雇佣一个由不同专家组成的团队：一个人负责寻找照片中的匹配点，另一个人负责推测相机角度，第三个人负责校准镜头，第四个人负责计算深度。他们会以一种缓慢且复杂的链式过程，将笔记在彼此之间传递。

MapAnything 是一个全新的“超级有机体”，它只需一次单次的、闪电般的“注视”，就能完成所有这些工作。

以下是它的工作原理，我们使用简单的类比：

1. “瑞士军刀”模型

把之前的 AI 模型想象成专门的工具：螺丝刀对付螺丝，锤子对付钉子。如果你想盖一座房子，你需要一整套工具箱。
MapAnything 就像一把瑞士军刀，你可以根据递给它的东西，让它变成螺丝刀、锤子、开罐器或放大镜。

输入： 你可以只喂给它图像。或者图像加上相机设置。或者图像加上 GPS 坐标。或者图像加上部分深度图。这都不重要，它能够自我适应。
输出： 无论你给它什么，它都会吐出一个度量 3D 重建（metric 3D reconstruction）。这意味着它不仅仅是在猜测形状，它还知道实际的尺寸（例如，“那扇门有 2 米高”，而不仅仅是“那扇门看起来很大”）。

2. “因子化”秘诀

它是如何处理这么多不同任务而不感到混乱的呢？论文指出它使用了**“因子化表示”（factored representation）**。

想象你正在通过电话向朋友描述一栋建筑。

旧方法： 你试图在一个巨大的、混乱的列表中描述每一块砖的位置。如果你漏掉了一个，整个描述就会崩溃。
MapAnything 的方法： 它将描述分解成独立的、易于管理的各个部分（因子）：
1. 方向： 相机看向哪里？（射线方向）
2. 距离： 在那个方向上，墙壁有多远？（射线深度）
3. 位置： 相机站在哪里？（位姿/Pose）
4. 尺度： 这是一个娃娃屋还是摩天大楼？（度量尺度/Metric Scale）

通过分离这些部分，模型可以进行混合与匹配。如果你给了它“方向”和“位置”，但没有“距离”，它仍然可以确定形状，只是暂时无法确定精确的大小。如果你稍后给了它一个“尺度”因子，它会瞬间将一切对齐到正确的现实世界尺寸。

3. “通用翻译官”训练法

通常，要训练一个能做 12 种不同工作的 AI，你需要 12 个不同的训练阶段和 12 个不同的数据集。
作者在 13 个不同的数据集（涵盖从室内房间到室外景观）上同时训练了 MapAnything。他们教会了它接受“可选”信息。

类比： 想象教一名学生开车。与其分别开设“如何开汽车”、“如何开卡车”和“如何开船”的课程，不如直接教他车辆控制的通用规则。
如果学生看到了方向盘（相机位姿），他就会使用它。如果他看到了速度计（深度图），他也会使用它。如果两者都没有，他就会用眼睛观察（仅靠图像）。最终的结果是，这位驾驶员可以应对任何车辆、任何道路以及任何天气条件。

4. 它的能力（“魔术表演”）

由于其极高的灵活性，MapAnything 可以执行超过 12 种不同的 3D 视觉任务，包括：

运动恢复结构 (SfM)： 在不知道照片拍摄位置的情况下，将一堆杂乱的照片转化为 3D 地图。
相机定位 (Camera Localization)： 通过一张照片说出：“这张照片是在第五大道与主街交汇处拍摄的。”
深度补全 (Depth Completion)： 将模糊或不完整的深度图填补完整，使其成为完美的 3D 表面。
多视图立体视觉 (Multi-View Stereo)： 从多张重叠的照片中创建 3D 模型。

5. 结果

论文声称，这种“一站式”模型实际上比那些专门的专家模型更好。

速度： 它通过一次“前馈”（feed-forward）过程完成所有工作（即快速看一眼），而旧方法需要缓慢的、分步骤的计算。
质量： 它的表现能达到甚至超越那些专为单一任务设计的模型的水平。
灵活性： 即使你给它一些奇特的组合数据（例如，50 张照片，其中 2 张带有 GPS，10 张带有深度数据），它依然能正常工作。

总结

MapAnything 是一个通用的 3D 重建引擎。研究人员并没有为每种类型的 3D 问题构建不同的机器，而是构建了一台聪明的机器，它如此深刻地理解了 3D 几何的“语言”，以至于它可以瞬间、准确地解决你抛给它的几乎任何 3D 谜题——无论你给它的是一套完整的工具，还是仅仅一张照片。

技术摘要：MapAnything

问题陈述

传统的基于图像的 3D 重建依赖于将问题分解为不同的、顺序执行的任务，如特征检测、匹配、位姿估计、相机标定、平差（Bundle Adjustment）和多视图立体视觉（MVS）。虽然近期的前馈式方法统一了其中一些任务，但它们通常仍受限于特定的输入配置（例如，固定的视图数量、仅图像输入），或者需要昂贵的后处理来恢复度量尺度和相机位姿。目前缺乏一种统一的、端到端的模型，能够处理多样化的 3D 重建任务——从未标定的运动恢复结构（SfM）到已标定的 MVS 和深度补全——同时能有效利用包括相机内参、位姿和深度图在内的异构输入。

方法论：MapAnything

MapAnything 是一个统一的、基于 Transformer 的前馈模型，旨在直接从 $N$ 张输入图像及可选的几何输入中回归度量 3D 场景几何与相机位姿。

1. 分解场景表示（Factored Scene Representation）

MapAnything 的核心洞察是使用了多视图场景几何的分解表示。该模型并未预测耦合的点图（其中几何与相机参数相互纠缠），而是将输出分解为：

局部射线方向 ( $R_i$ )： 代表每个像素射线方向的归一化向量。
射线深度 ( $\tilde{D}_i$ )： “至多比例”（up-to-scale）空间中沿射线的深度值。
相机位姿 ( $\tilde{P}_i$ )： 表示为相对于第一视图的单位四元数 ( $Q_i$ ) 和至多比例的平移向量 ( $\tilde{T}_i$ )。
度量尺度因子 ( $m$ )： 一个全局标量，用于将局部、至多比例的重建升级为全局一致的度量坐标系。

最终的度量 3D 点图 $X^{metric}_i$ 计算公式为 $m \cdot (O_i \cdot (R_i \cdot \tilde{D}_i) + \tilde{T}_i)$ ，其中 $O_i$ 是由四元数导出的旋转矩阵。

2. 架构

输入编码： 模型接受 $N$ 张 RGB 图像和可选的几何输入（射线方向、位姿、深度图）。图像使用 DINOv2 (ViT-G) 进行编码。几何输入通过浅层卷积编码器（针对射线/深度等密集输入）或 MLP（针对旋转/平移尺度等全局量）进行分解并编码。
多视图 Transformer： 编码后的特征被展平为 Token。一个可学习的尺度 Token 被附加到 $N$ 个视图 Token 集合中。一个固定的参考视图嵌入被添加到第一视图中以示区分。这些 Token 由一个 16 层的交替注意力 Transformer（初始化自 DINOv2 层）处理，以实现跨视图的信息融合。
解码头：
- DPT 头： 将 $N$ 个视图 Token 解码为密集的逐视图输出：射线方向、至多比例的射线深度、置信度掩码以及点图置信度图。
- 位姿头： 通过基于平均池化的卷积头预测所有视图的单位四元数和至多比例的平移。
- 尺度头： 一个 MLP 处理尺度 Token，以预测全局度量尺度因子 $m$ 。

3. 训练策略

MapAnything 在包含 13 个数据集（涵盖室内、室外、合成数据）的多元聚合数据上进行端到端训练，覆盖了 12 种不同的问题配置。

灵活的输入增强： 在训练期间，几何输入（内参、位姿、深度）以不同的概率提供（例如，每个因子为 0.5），以模拟现实世界中数据可能部分缺失或不完整的各种场景。
损失函数： 模型使用复合损失函数，包括：
- 用于射线、旋转和平移的回归损失。
- 用于射线深度、点图和度量尺度因子的对数空间损失，以处理巨大的动态范围。
- 置信度加权点图损失和二元交叉熵损失。
- 法线和多尺度梯度匹配损失（应用于合成数据）。
尺度处理： 为了防止尺度损失的梯度破坏几何结构，度量尺度因子使用分离的（detached）至多比例范数缩放因子进行计算（ $z_{metric} = m \cdot \text{sg}(\tilde{z})$ ）。

核心贡献

统一的前馈模型： MapAnything 在单个模型中支持超过 12 种不同的 3D 重建问题配置（例如，未标定的 SfM、已标定的 MVS、单目深度、相机定位），其表现优于或等同于专门的专家模型。
分解场景表示： 通过将局部几何（射线/深度）与全局位姿和度量尺度解耦，该模型实现了灵活的输入和高效的预测，无需昂贵的后处理或冗余预测。
最先进的性能： 该模型相比于其他前馈基准模型（如 DUSt3R、VGGT、MASt3R）取得了卓越的结果，并达到或超过了针对特定任务设计的专家模型。
开源发布： 作者发布了用于数据处理、推理和训练的代码，以及采用宽松许可协议（Apache 2.0 和 CC BY-NC 4.0）的预训练模型。

结果

论文在多个任务和输入配置下对 MapAnything 进行了基准测试：

多视图密集重建： 在 ETH3D、ScanNet++ v2 和 TartanAirV2-WB 上，MapAnything 仅使用图像输入即可在点图、位姿、深度和射线方向估计方面达到最先进水平。当提供辅助几何输入（内参、位姿、深度）时，其表现显著优于基准模型。
两视图重建： MapAnything 在所有输入配置下均超越了 Pow3R（唯一使用先验知识的另一款两视图前馈方法）以及仅图像输入的基准模型。
单视图标定： 尽管并非专门针对单张图像进行训练，MapAnything 在 ETH3D、ScanNet++ v2 和 TartanAir 上仍实现了最先进的透视标定精度。
深度估计： 在 Robust-MVD 基准测试中，MapAnything 在多视图度量深度估计方面优于 MASt3R 和 MUSt3R 等专门模型。配合辅助输入，它能提供与任务特定模型竞争力的结果。
效率： 消融实验（表 5）表明，尽管计算成本仅相当于两个定制模型的水平，但一个通用的训练模型表现得与多个针对特定配置训练的定制模型同样出色甚至更好。

重要性与主张

作者将 MapAnything 定位为迈向通用 3D 重建骨干网络的一步。通过将多样化的任务和输入模态统一到一个单一的前馈过程中，该模型消除了许多场景下对特定任务调优和复杂优化流程（如平差）的需求。分解表示使模型能够有效地利用部分标注和异构输入，使其在“野外”应用中具有鲁棒性。论文声称，这种方法为未来研究 3D/4D 基础模型铺平了道路，尽管作者也承认了在处理动态运动、显式不确定性量化以及扩展到极大规模场景方面的局限性。