🤖 AI

MetricAnything: Scaling Metric Depth Pretraining with Noisy Heterogeneous Sources

MetricAnything 引入了一种可扩展的预训练框架，该框架利用一种新颖的“稀疏度量提示”（Sparse Metric Prompt）从 2000 万个嘈杂且异构的 3D 数据源中学习度量深度，确立了度量深度领域首个清晰的缩放趋势，并在包括单目估计、3D 重建以及多模态模型中的空间智能在内的多种任务中实现了最先进的性能。

原作者： Baorui Ma, Jiahui Yang, Donglin Di, Xuancheng Zhang, Jianxun Cui, Hao Li, Yan Xie, Wei Chen

发布于 2026-07-07

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Baorui Ma, Jiahui Yang, Donglin Di, Xuancheng Zhang, Jianxun Cui, Hao Li, Yan Xie, Wei Chen

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是使用简单语言和创意类比对论文 "Metric Anything" 进行的解释。

核心问题：“嘈杂的厨房”

想象一下，你想教机器人如何理解现实世界的 3D 空间——具体来说，就是物体距离有多远（度量深度）。为了做到这一点，你通常需要一个庞大的“教科书库”（数据集），其中包含图片及其精确的 3D 距离。

问题在于，这些教科书非常混乱。

有些是由 LiDAR（激光雷达）编写的，它们很棒，但存在噪声且稀疏（就像只有零星点位的素描）。
有些是通过计算机从视频中重建出来的，在反光或模糊区域可能会出现奇怪的误差。
有些是渲染出来的（计算机生成的），虽然完美但看起来很假。
它们还来自数千种不同的相机，每种相机都有自己的特性和偏差。

以往试图用这种“嘈杂厨房”中的数据来教机器人的尝试都失败了，因为噪声会让 AI 感到困惑。他们曾试图为每种类型的噪声构建复杂的自定义规则，但这无法规模化。这就像是在用手刷洗每一个盘子，而不是使用洗碗机来清理一个乱七八糟的厨房。

解决方案：“Metric Anything”

作者创建了一个名为 Metric Anything 的新系统。把它想象成一个通用的“洗碗机”，它可以处理任何种类的脏盘子（数据源），而不需要为每种盘子设置专门的模式。

它是如何工作的，分为三个简单的步骤：

1. “稀疏提示”（神奇的暗示）

他们没有一次性向 AI 展示整个 3D 世界的图像（这太嘈杂了），而是给了它一个 稀疏度量提示 (Sparse Metric Prompt)。

类比： 想象你在尝试猜一个隐藏在盒子里的物体的形状。与其让你看到整个盒子，不如有人给了你几个随机的“提示”（点），这些点告诉了你几个特定点的精确距离。
实现方式： 他们拿走一个 3D 地图，随机隐藏掉大部分内容，只给 AI 展示一些带有精确距离的零散点。
为什么有效： 这迫使 AI 去学习空间的“逻辑”（物体之间是如何相互关联的），而不是去死记硬背某个相机的特定噪声模式。它将“空间推理”与“传感器偏差”解耦了。

2. “老师”（预训练模型）

他们为这个系统喂入了海量的数据：来自超过 10,000 种不同相机模型 的 2,000 万对图像-深度对。

类比： 这就像雇佣了一位天才导师，他读遍了图书馆里的每一本书，无论这些书是用英语、法语还是某种虚构的语言写的。
结果： 这个“老师”模型学会了观察一张图片和一些随机的距离提示，然后补全剩下的整个 3D 世界。它会随着给予的数据量增加而变得越来越强（一种“缩放趋势”），而这在以前被认为在处理此类任务时是不可能的。

3. “学生”（蒸馏模型）

“老师”很厉害，但工作时需要那些“提示”（prompt）。对于许多现实世界的任务（比如自动驾驶汽车或机器人），你无法获得这些提示。

类比： 老师是一位需要看菜谱才能下厨的大厨。学生则是大厨的学徒。老师拿着菜谱烹饪了无数顿饭，而学徒在一旁仔细观察，学习其中的“技法”，而不需要菜谱。
结果： 他们创建了一个从“老师”那里学习的“学生”模型。现在，学生只需看一张普通的照片，就能瞬间知道精确的 3D 距离，完全不需要任何提示或输入。

它能做什么？（“超能力”）

由于这个系统是从如此多样且嘈杂的数据中学习的，它具有极强的鲁棒性。论文显示它在以下方面表现出色：

填补空白： 如果你给它一个模糊或低分辨率的深度图，它可以进行“超分辨率”处理，使其变得清晰且细节丰富。
传感器融合： 它可以接收来自 雷达 (Radar) 的非常稀疏、多噪的信号（雷达比 LiDAR 稀疏得多），并将其与相机融合，从而创建一个完美的 3D 地图。
修复相机： 它可以通过理解场景的几何结构，仅凭一张照片就推测出相机的设置（焦距）。
机器人与 AI： 当他们把这个“空间大脑”交给机器人（VLA）或大型多模态模型（MLLM）时，机器人变得更擅长在房间里导航、估计杯子的距离以及规划路径。它不再是靠猜，而是靠测量。

核心总结

这篇论文证明了：更多的数据 + 处理噪声的简单智能方法 = 更强大的 3D 大脑。

他们不需要构建复杂的自定义硬件，也不需要为每种相机编写特殊的规则。他们只需要一个简单的“基于提示”的训练方法和一个庞大的、混乱的数据集。其结果是一个能够理解 3D 世界的模型，其表现甚至优于（或至少等同于）之前的任何系统，并且它无处不在——从雨中的街道到卡通世界，再到机器人的厨房。

简而言之： 他们通过向 AI 展示一百万张带有少量随机线索的混乱图片，教会了它如何理解距离，现在它比以往任何时候都更能看清 3D 世界。

技术总结：Metric Anything

问题陈述

虽然规模化驱动了视觉基础模型的显著进步，但将这一范式扩展到度量深度估计（metric depth estimation）仍然具有挑战性。与学习序数关系的相对深度（不同步依赖合成数据和伪标签蒸馏）不同，度量深度需要学习绝对的、具有物理意义的距离。该领域一直受到数据源异质性的制约。现实世界的 3D 注释源自多样化的传感器（LiDAR、RGB-D、立体视觉）和重建算法（SfM、MVS、SLAM），每种来源都引入了独特的噪声模式、硬件伪影和相机依赖性偏差。这种异质性造成了显著的领域差异、噪声监督和度量歧义，导致“数据汤（data soup）”规模化策略在度量深度领域无法成功。以往通过基于提示（prompt-based）的方法来解决此类问题的尝试，仅限于特定任务、小型数据集以及复杂的、人工设计的提示流水线，这引入了过强的先验知识。

方法论

作者引入了 Metric Anything，这是一个极简的预训练框架，旨在从嘈ig、多样化的 3D 数据源中学习度量深度，而无需任务特定的架构或人工设计的提示。

1. 多源数据收集

作者聚合了一个包含约 2000 万对图像-深度对 的数据集，涵盖超过 10,000 种相机模型。数据分为三类来源：

重建 3D 数据： 来自 SfM、SLAM、MVS 和立体视觉技术的深度图，通常包含伪影和缺失区域。
采集 3D 数据： 来自 LiDAR、ToF 和 RGB-D 传感器的点云，由于传感器限制和环境因素，这些数据通常是稀疏且多噪的。
渲染 3D 数据： 来自虚拟引擎的合成深度图，提供无噪声的几何监督。
所有样本都被标准化为带有有效性掩码（validity masks）的逐像素度量深度图。

2. 通过稀疏度量提示进行预训练

其核心创新是 稀疏度量提示（Sparse Metric Prompt），这是一个能够解耦空间推理与传感器偏差的通用接口。

提示生成： 不同于复杂的模拟，提示是通过从地面真值（ground truth）深度图中随机遮蔽有效像素（采样 2,000–40,000 个像素）来创建的。
提示准备： 为了处理原始提示的异质性，作者应用了像素级深度尺度对齐（PDSA）和全局度量深度恢复（GMDR），利用预训练的深度模型来填充缺失区域并对齐尺度，从而创建一个统一的中间表示。
架构： 模型使用标准的 ViT 主干网络和 DPT 解码器。提示通过一个**条件 DPT 头（conditioned DPT head）**注入（仅增加约 5% 的参数），而不是修改主干网络。这种设计避免了定制化的架构改动，使模型能够直接从数据中学习结构和度量理解。
损失函数： 训练目标结合了平均绝对误差（MAE）和尺度与偏移不变的平均绝对梯度误差（SSI-MAGE）。对于现实世界数据，使用鲁棒的 MAE，通过丢弃前 20% 的最大误差来减轻噪声影响。

3. 无提示模型蒸馏

为了在没有提示的情况下实现部署，作者将预训练的“教师”模型蒸馏为一个无提示的学生（prompt-free student）。

伪标签生成： 教师模型在以稀疏提示为条件的条件下，为整个数据集生成高保真、稠密的度量深度图。这些伪标签覆盖了广泛的深度范围（从近到远），不同于许多偏向短距离范围的现实世界数据集。
学生架构： 学生模型移除了提示注入层。至关重要的是，作者反转了标准的跳跃连接方案：深层的、高层级的 ViT 特征被注入到更深的解码层中，而浅层特征则馈送到较浅的层。这利用了教师伪标签的高语义一致性。
损失函数： 引入了距离平衡的反深度损失（Distance-Balanced Inverse-Depth Loss）。通过在对数空间内操作（ $D_{log} = 1 - \ln(D)/\ln(C)$ ），该损失在保持近距离区域精细敏感性的同时，将有效的监督延伸到了远距离区域，解决了标准反深度损失的局限性。

核心贡献

Metric Anything 框架： 一种极简、可扩展的预训练范式，使用稀疏度量提示从异质、多噪的 3D 数据源中学习度量深度，无需人工设计的提示或特定任务的架构。
展示了规模化趋势： 聚合 2000 万对多样化图像-深度对的实验表明，度量深度估计中存在明显的规模化趋势（scaling trend），这在这一领域此前从未见过。随着训练数据规模的增加，性能持续提升。
通用泛化能力： 预训练模型和蒸馏后的无提示学生模型在十个下游任务上均实现了最先进（SOTA）的性能，且无需任务特定工程。这些任务包括：
- 基于提示的任务：深度补全（depth completion）、超分辨率（super-resolution）和雷达-相机融合（Radar-camera fusion）。
- 无提示的任务：单目深度估计、相机内参恢复、多视图 3D 重建和 VLA 规划。
- MLLM 增强：显著提升了多模态大语言模型（MLLM）的空间推理能力。

结果

规模化趋势： 实验表明，随着训练数据从 200 万对扩展到 2000 万对，Middlebury 上的零样本 $\delta_1$ 准确率呈现出一致的增长。
基于提示的任务： 该模型在 NYUv2、ETH3D 和 KITTI 上的深度超分辨率和深度补全任务中实现了 SOTA 零样本性能，超越了以往依赖合成提示模拟的方法。在 nuScenes 的雷达-相机深度估计任务中，微调后的模型准确率几乎是其从头开始训练版本的两倍，并超越了所有先前的融合方法。
无提示任务： 蒸馏后的学生模型在六个不同的单目深度估计基准测试（ETH3D、NuScenes、Sun-RGBD 等）中，在严格的零样本设置下排名第 1 或第 2。它还在相机内参恢复和多视图 3D 重建方面取得了 SOTA 结果。
空间智能： 当作为 MLLM 的视觉编码器时，该模型显著提升了其在 VSI-Bench 上的表现，特别是在涉及物体尺寸估计、绝对距离测量和路径规划的任务中。
鲁棒性： 模型展示了对未见传感器配置（如不同的 LiDAR-相机设置）、极端环境条件（夜晚、雨、雾）以及未见视觉领域（鱼眼、全景、卡通）的强大泛化能力。

意义与主张

本文认为，度量深度估计可以受益于驱动现代 NLP 和 2D 视觉基础模型的同类规模化法则（scaling laws）。通过最小化提示中的人工先验设计，并依赖于从异质数据源中进行数据驱动的学习，Metric Anything 为可扩展且高效的现实世界度量感知开辟了一条新路径。

作者将他们的发现与“苦涩的教训（The Bitter Lesson）”联系起来，认为通用的、数据驱动的方法系统性地优于手工设计的方案。他们声称通过有效地利用噪声、异质的数据源，解决了度量深度中的“数据稀缺”问题，从而解锁了涌现能力和鲁棒的泛化能力。这项工作表明，未来的研究重点应从特定任务的工程设计转向能够适应多种传感器和场景的通用预训练范式。作者开源了该框架以支持社区研究。