💻 computer science

Unlocking Dense Metric Depth Estimation in VLMs

本文介绍了 DepthVLM，这是一个通过轻量级深度头与统一训练将单一视觉 - 语言模型转化为原生、高效稠密度量深度预测器的框架，在显著超越现有模型于三维几何重建与空间推理能力的同时，保留了多模态能力。

原作者： Hanxun Yu, Xuan Qu, Yuxin Wang, Jianke Zhu, Lei ke

发布于 2026-05-18

📖 1 分钟阅读☕ 轻松阅读

原作者： Hanxun Yu, Xuan Qu, Yuxin Wang, Jianke Zhu, Lei ke

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你拥有一个非常聪明的机器人助手（一种视觉 - 语言模型，或称 VLM），它擅长观察图片并为你讲述关于图片的故事，或者回答诸如“那辆车是什么颜色？”或“那只狗开心吗？”之类的问题。

然而，这个机器人有一个盲点：它并不真正理解深度。它看到的是一张平面图片，而非三维世界。它无法准确告诉你一把椅子距离你有多少米，或者一棵树是否位于一栋建筑的前方。

这篇论文介绍了一个名为DepthVLM的新系统，它在修复这一盲点的同时，并未破坏机器人聊天和理解图像的能力。以下是他们如何利用简单的类比来实现这一点的：

1. 问题所在：“仅文本”机器人

大多数当前的智能机器人就像只通过读书学习的学生一样接受训练。它们能看到图像，但仅以“文本”形式“说话”。

问题：如果你问它们“那个杯子有多远？”，它们必须猜测并写出一句话。它们实际上并没有为图像中的每一个像素计算距离。
旧有的修复方案：之前的尝试试图将一个独立的“深度计算器”拼接到机器人身上。但这就像雇佣了第二个笨拙的实习生来做数学题。主机器人将图像传递给实习生，实习生会犯错，然后将答案传回。错误层层累积，而且速度非常慢。

2. 解决方案：赋予机器人“深度感”

作者 Hanxun Yu 及其团队提出了一个简单的问题：我们能否利用机器人用来交谈的同一个“大脑”，直接教会它感知深度？

他们通过向机器人现有的“大脑”添加一个微小的、轻量级的“深度头”（一种特殊工具）构建了DepthVLM。

类比：将机器人的大脑想象成一位已经精通烹饪（理解图像）和交谈（生成文本）的大厨。与其雇佣一位单独的副厨来测量食材，他们只是给这位大厨提供了一把新的高科技卷尺。现在，大厨可以在切菜的同时测量它们，而无需减慢速度。

3. 工作原理：两步训练法

你不能仅仅把新工具交给一位大厨，就指望他们能立即完美地使用它。这篇论文采用了一种两阶段训练策略：

第一阶段（特训）：他们冻结了大厨的大脑（以防其忘记如何烹饪），仅训练新的卷尺。这教会了机器人如何在不扰乱其现有知识的情况下猜测距离。
第二阶段（实战）：他们解冻了大脑，让机器人在交谈的同时练习使用卷尺。这帮助机器人学会了如何将“感知深度”与“理解场景”无缝结合。

4. 魔法技巧：一次通过，即时结果

之前的方法极其缓慢。

旧方法（DepthLM）：为了测量整个房间的距离，旧机器人必须依次询问：“像素 1 有多远？”然后是“像素 2 有多远？”，一直问到第 100,000 个像素。这需要数小时（在某些测试中长达 13 小时！）。
新方法（DepthVLM）：新机器人只需看一次整张图片，就能在不到半秒（0.42 秒）的时间内瞬间输出一份完整、详细的房间 3D 地图。这就像从一颗一颗地数沙滩上的每一粒沙子，变成了拍摄一张整个沙滩的照片。

5. 结果：胜过专家

团队在大量不同的场景（室内房间、户外街道、驾驶场景）中测试了 DepthVLM。

击败聊天机器人：它在猜测距离方面彻底碾压了其他智能机器人（如 GPT-5.5）。当其他机器人胡乱猜测时，DepthVLM 却非常准确。
击败专家：令人惊讶的是，这个“全能型”机器人在测量深度方面，甚至比那些仅为测量深度而构建的机器人（专用视觉模型）做得更好。
保持个性：至关重要的是，增加这种深度感并没有让机器人在其他任务上变得“愚蠢”。它仍然能像以前一样写诗、回答问题并理解复杂的场景。

6. 为何这很重要（根据论文所述）

论文声称，这是迈向统一基础模型的一步。

类比：想象一把瑞士军刀。以前，你有专门的切割工具、专门的螺丝刀工具和专门的测量工具。它们都是分离的。DepthVLM 就像是一个单一的工具，能同时完美地完成这三项任务。
益处：它允许机器人不仅能“看到”三维世界，还能对其进行“推理”。例如，它可以看着一张照片说：“垃圾桶比水槽更近，”或者“洗衣机大约 1 米高”，所有这些信息一次性得出。

总结：
这篇论文提出了一种方法，通过向机器人的大脑添加一个微小、高效的深度传感器，将标准的“聊天机器人”转变为“具备 3D 感知能力的机器人”。它学会了瞬间以 3D 方式测量世界，无需第二个机器人协助，也不会忘记如何交谈。它比任何之前的技术都更快、更准确、更通用。

技术摘要：DepthVLM

问题陈述

视觉 - 语言模型（VLM）在视觉定位和图像描述等二维任务中取得了显著成功，但在三维理解方面仍存在根本性局限。主要瓶颈在于普遍存在的纯文本监督范式，即视觉输入被消耗以生成自回归文本输出。这种设计本质上对细粒度视觉感知约束不足，并阻碍了对稠密场景几何的显式建模。

现有弥合这一差距的方法存在显著缺陷：

知识蒸馏流程：从外部预训练三维模型注入几何信号（如深度图）的方法依赖于误差累积，且缺乏原生集成。
低效的直接预测：近期尝试使 VLM 直接预测几何的方法面临效率或质量的权衡。例如，DepthLM 虽然实现了高精度，但需要逐像素查询，导致推理速度慢得无法接受（$O(HW)$）。Youtu-VL 支持单次前向传播进行全图预测，但生成的是粗糙的 token 级输出，需要事后插值。此外，许多此类方法由于文本主导的监督或从头训练的要求，削弱了 VLM 的通用多模态能力。

本文解决的核心挑战是：VLM 能否在最小化架构变更的同时，作为原生稠密几何预测器，并保留其通用多模态能力？

方法论：DepthVLM

作者提出了 DepthVLM，这是一个将单一 VLM 骨干网络转化为统一基础模型的框架，能够单次前向传播同时生成稠密度量深度图和语言响应。

1. 统一架构

DepthVLM 通过在大型语言模型（LLM）骨干网络上附加一个轻量级深度头，扩展了标准 VLM 架构。

特征提取：模型不再仅依赖最终的 LLM 隐藏状态，而是提取多尺度特征金字塔。这包括来自视觉 Transformer（ViT）编码器的三个中间层，以及 LLM 在图像 token 位置处的最终隐藏状态。
深度头设计：受 DPT（用于稠密预测的视觉 Transformer）启发，该深度头处理这些多尺度特征。关键在于，由于 VLM 视觉 token 已经通过 patch 合并器进行了下采样，作者避免了进一步下采样。相反，他们通过上采样构建自底向上的金字塔，将更高的空间分辨率分配给较早的 ViT 层。
输出：融合后的特征被解码为稠密、全分辨率的度量深度图（ $\hat{D} \in \mathbb{R}^{H \times W}$ ）以及文本响应（ $\hat{T}$ ）。Softplus 激活函数确保深度值严格为正。

2. 两阶段训练策略

为了在不损害 VLM 预训练多模态理解的前提下引入稠密几何预测，作者采用了两阶段训练计划：

阶段 1（深度头初始化）：冻结 VLM 骨干网络。仅使用度量深度数据上的尺度不变对数损失（SILog）训练新添加的深度头。这在不破坏预训练知识的情况下建立了初始深度预测能力。
阶段 2（端到端微调）：解冻 LLM 骨干网络，并在指令遵循数据的混合集上对整个模型进行端到端微调。目标函数结合了标准自回归语言建模损失（ $L_{text}$ ）和深度损失（ $L_{depth}$ ），并通过系数 $\alpha$ 进行平衡。

3. 数据整理与归一化

焦距归一化：为了减轻异构数据集（室内与室外、不同传感器）中由相机引起的尺度模糊，所有图像均被重缩放至统一的规范焦距（ $f_c$ ）。这对齐了投影几何并强制实现了像素到度量映射的一致性。
DepthVLM-Bench：作者引入了一个统一基准，汇总了 8 个训练数据集（涵盖室内和室外场景）和 9 个评估数据集。这使得 VLM 与专用纯视觉模型能够在一致的协议下进行公平比较。

主要贡献

原生稠密预测：本文证明 VLM 可以作为原生稠密几何预测器。通过附加轻量级头，DepthVLM 在不改变文本生成路径的情况下实现了稠密的像素级深度估计。
效率与能力保留：与那些削弱通用能力或推理缓慢的先前方法不同，DepthVLM 实现了 $O(1)$ 的推理成本（单次前向传播即可生成全分辨率结果），并通过两阶段训练策略保留了 VLM 的原始多模态性能。
统一基准：DepthVLM-Bench 的引入使得 VLM 与专用纯视觉模型在度量深度估计任务上的有效训练和直接、公平的比较成为可能。

实验结果

跨多种数据集（Waymo、NuScenes、ETH3D、sunRGBD 等）的广泛实验凸显了以下结果：

优于 VLM：DepthVLM 显著优于现有 VLM，包括通用模型（如 GPT-5.5、Qwen3-VL）和空间增强型 VLM。虽然 GPT-5.5 的平均 $\delta_1$ 准确率仅为约 0.41，但 DepthVLM-4B 达到了 0.868。
超越纯视觉模型：尽管是一个统一模型，DepthVLM 仍超越了最先进的专用纯视觉模型。例如，它优于 DepthAnythingV3（0.877 vs. 0.884 平均 $\delta_1$ ）和 Metric3Dv2（0.812 vs. 0.884）。
推理效率：DepthVLM 比之前的基于 VLM 的方法快得多。它生成 256×192 深度图仅需 0.42 秒，而 Youtu-VL 需要 2.48 秒，DepthLM 则需要 13 小时（由于逐像素查询）。
多模态能力：在通用视觉基准（MMBench、OCRBench、POPE）上的评估显示，DepthVLM 与其基础 VLM 骨干网络持平或略有提升，证实了添加深度头并未削弱通用多模态理解。
三维空间推理：该模型在复杂的下游三维任务（如点深度估计、三维物体尺寸估计和深度顺序排序）上表现出改进的性能，表明原生稠密几何预测为高级空间推理奠定了坚实基础。

意义与主张

本文主张 DepthVLM 代表了迈向真正统一基础模型的一步，该模型在低级稠密几何预测和高级多模态理解方面均表现卓越。

范式转变：它挑战了稠密几何预测需要独立的专用视觉模型或低效的基于查询的 VLM 的观念。相反，它表明几何可以在单一 VLM 骨干网络中原生涌现。
实用性：通过以最小的架构变更实现高精度并保留通用能力，DepthVLM 为将三维感知集成到现有 VLM 生态系统中提供了一套实用方案。
局限性：作者谦逊地指出，当前工作专门关注稠密度量深度估计。更广泛的三维感知任务，如目标检测和姿态估计，仍是未来的工作方向。

总之，DepthVLM 为解锁 VLM 中的稠密度量深度估计提供了一种轻量级、高效且有效的解决方案，弥合了二维多模态理解与三维空间智能之间的差距。