💻 computer science

DrivingDepth: Sparse-Prompted Pixel-wise Scale Correction for Driving Depth Estimation

DrivingDepth 提出了一种用于自动驾驶深度估计的新颖框架，该框架通过仅将稀疏 LiDAR 数据用作提示来学习逐像素尺度校正，从而在不从头开始重新生成深度的情况下，保持了基础模型的几何连贯性，并实现了最先进的度量精度和结构一致性。

原作者： Chi Huang, Wenhao Zhang, Hang Yin, YuAn Wang, Hao Li, Bosheng Wang, Xun Sun, Liang Wang

发布于 2026-07-01

📖 1 分钟阅读☕ 轻松阅读

原作者： Chi Huang, Wenhao Zhang, Hang Yin, YuAn Wang, Hao Li, Bosheng Wang, Xun Sun, Liang Wang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

核心问题：“地图”与“尺子”的冲突

想象一下，你正在为一辆自动驾驶汽车构建一个城市的 3D 模型。你有两种工具，但它们单独使用时都不完美：

摄像头（艺术家）： 这个工具非常擅长描绘事物的“形状”。它准确地知道汽车边缘在哪里、道路如何弯曲、树木在哪里停止。它创造了一幅精美、细腻且连续的图像。然而，它不知道事物实际距离有多“远”。这就像一位画家可以画出一座完美的山，却不知道这座山是 10 英尺高还是 10 英里高。
激光雷达 LiDAR（测量员）： 这个工具利用激光来测量精确的距离。它给了你一把完美的“尺子”。然而，它的数据非常稀疏。想象一下，测量员只是向墙上投掷了几个飞镖来测量墙面。你会得到一些准确的点，但点与点之间有巨大的间隙。此外，有时这些飞镖会落在错误的位置（噪声），或者与绘画无法完美对齐。

冲突点：
如果你试图将测量员那零星的几个点强行套用到艺术家的画作上，往往会毁掉这幅画。测量员的点可能会有轻微偏差，如果你强迫画作为了适应这些点而发生形变，就会产生奇怪的空洞、破碎的表面或 3D 模型中的“漂浮物”。这就是几何-尺度冲突（Geometry-Scale Conflict）：你拥有完美的形状但没有尺度，或者拥有完美的尺度但形状破碎。

旧方法：“推倒重来”

以往的方法试图通过这种方式解决问题：拿走测量员的点，然后告诉计算机：“忽略艺术家的画作；让我们利用这些点从头开始重建整个 3D 世界。”

结果： 计算机得到了正确的尺度，但因为它忽略了艺术家原本平滑的线条，导致结果看起来充满了瑕疵，出现了破碎的表面和伪影。

新方案：DrivingDepth（“微调者”）

本文的作者提出了 DrivingDepth，他们想出了一个更聪明的办法。他们意识到艺术家（一个强大的 AI 模型，名为 DepthAnything3）已经画好了世界的完美“形状”。缺失的仅仅是“大小”。

他们并没有决定重建整幅画，而是决定在现有的画作之上添加一个“微调层”。

工作原理（类比）

把 AI 的深度图想象成一张橡胶片，上面已经画好了城市完美的褶皱和纹理。

冻结的艺术家： 他们保持原始橡胶片完全不变。他们不让计算机重新绘制褶皱。
稀疏的提示： 测量员的点（LiDAR）被视为放置在橡胶片特定位置的便利贴。
微调者（尺度校正）： 新的 AI 会观察这些便利贴。它会问：“好吧，在这个便利贴的位置，橡胶片显示汽车距离 10 个单位，但测量员说它是 20 个单位。”
神奇之处： AI 不会撕裂橡胶片，它只是在那个位置局部地拉伸或收缩橡胶片，以匹配测量员的数据。它会对每一个像素都进行这样的操作，从而为整幅图像创建一个独特的“拉伸图”（即尺度因子）。

该方法的关键特性：

最小干预： 计算机不学习如何绘制世界，它只学习如何通过“拉伸”现有的绘画来符合测量值。
置信度： AI 非常聪明，知道什么时候测量员的点是错误的（噪声）。如果一个点看起来很可疑，AI 会忽略它，转而信任艺术家的平滑形状。
平滑性： 它确保在便利贴之间，橡胶片不会变得凹凸不平或破裂。它保持了表面的平滑，就像原始绘画一样。

为什么它更好

论文表明，这种方法兼顾了两者的优点：

正确的尺度： 距离是准确的（得益于测量员的点）。
完美的形状： 汽车和道路的边缘清晰且与摄像头图像对齐（得益于艺术家的原始绘画）。

在测试中，其他尝试“推倒重来”的方法会产生带有空洞的破碎 3D 模型。而 DrivingDepth 在保持模型坚实和平滑的同时，依然能获得正确的距离。即使测量员提供的通常数据只有 10%（非常稀疏的点），DrivingDepth 的表现仍然优于那些拥有 100% 数据的其他方法。

总结

DrivingDepth 就像一位高级裁缝，他拿到一件剪裁完美的西装（视觉几何），然后仅仅通过调整纽扣和缝线（尺度）来适配特定的人的身材，而不是试图从头开始缝制一件全新的西装。这确保了西装既好看，又穿着合身。

技术摘要：DrivingDepth

问题陈述：几何与尺度的冲突

自动驾驶需要同时具备稠密性、像素对齐性和度量一致性的深度估计。然而，现有的感知模态和模型面临着一个被称为**“几何–尺度冲突”**的基本张力：

视觉基础模型（如 DepthAnything3、Depth Pro）能产生稠密的、像素对齐的视觉几何结构，具有极强的边界一致性，但缺乏可靠的度量尺度。它们在单张图像上进行独立推理，或依赖于视觉对应关系，却缺乏绝对距离锚点。
投影 LiDAR 提供了度量锚点，但本质上是稀疏、多噪、分布不均的，且由于标定漂移和表面反射，往往与图像结构不对齐。

现有方法的局限性： 现有的稀疏提示方法（如 MapAnything、PriorDA）试图通过从头开始重新生成深度或融合特征来预测绝对深度，从而引入 LiDAR 信息。这种方法往往会覆盖基础模型中连贯的几何先验，导致在视觉连续的对象上出现结构性伪影（如空洞、破碎的表面），而这些对象处的 LiDAR 证据非常稀疏。相反，全局后验对齐虽然可以调整平均尺度，但无法修正不同表面间空间变化的度量误差。

方法论：DrivingDepth

DrivingDepth 提出了一个最小干预框架，通过将稀疏 LiDAR 不视为稠密监督目标，而是将其视为几何提示（geometric prompts），用于残差像素级尺度校正，从而解决这一冲突。其核心洞察在于：基础模型已经捕捉到了连贯的相对几何结构；模型只需要学习逐像素的尺度因子，将这种相对几何映射到度量坐标系中。

架构

该框架构建在冻结的 DepthAnything3 (DA3) 主干网络之上，并在两个互补的层级上运行：

几何保持特征适配器 (GPFA)：
- 功能： 在不覆盖主干网络几何结构的前提下，将稀疏深度线索注入冻结的 DA3 表示中。
- 机制： 一个轻量级 CNN 将多分辨率 LiDAR 提示编码为稀疏深度 Token。这些 Token 通过**交叉注意力机制（cross-attention）**对图像 Token 进行调节。
- 约束传播： 为了尊重环视摄像头的物理设置，自注意力被限制在**共视模式（co-visible patterns）**内：即同一时刻的相邻摄像头，以及同一摄像头在连续帧中的表现。这防止了来自无关视图的几何噪声干扰。
- 输出： 深度感知特征与原始主干特征进行拼接，确保尺度头能够直接访问未修改的几何先验。
稀疏感知像素尺度头 (Sparse-Aware Pixel-Scale Head)：
- 功能： 预测稠密的逐像素尺度图 ( $S_{pix}$ ) 和置信度图 ( $C$ )。
- 输入： 将来自适配器的深度感知特征与多分辨率 LiDAR 提示（通过对稀疏深度进行下采样，以增加在低分辨率解码阶段的有效密度）相结合。
- 初始化： 该头部采用中性初始化（零初始化卷积，尺度初始化为 1），使得模型在训练开始时能够复现原始的 DA3 预测结果。
- 输出： 最终的度量深度 $\hat{D}_c$ 计算为 $D_{prior} \odot S_{pix} \cdot s_g$ ，其中 $s_g$ 是通过鲁棒离群值排除（ROE）对齐得到的全局剪切级标量，以确保跨视图一致性。

训练目标

损失函数在度量锚定与几何保持之间取得平衡：

稀疏深度对齐 ( $L_{depth}$ )： 结合多分辨率监督与置信度加权回归。学习到的置信度图会自动降低不可靠 LiDAR 投影（例如，对齐偏差的点）的权重。
表面法线正则化 ( $L_{norm}$ )： 惩罚校正后的深度与 DA3 先验之间表面法线的角度偏差。这防止了模型为了拟合噪声点而破坏表面连续性。
尺度正则化 ( $L_{scale}$ )： 鼓励尺度图保持平滑且接近于 1，以防止对稀疏噪声的过拟合。

核心贡献

问题形式化： 识别了驾驶场景中存在的几何–尺度冲突，并提出通过对冻结的基础模型先验进行残差像素级尺度校正（而非重新生成深度）来解决该问题。
最小干预架构： 采用双层设计，包括一个几何保持特征适配器（通过约束注意力注入线索）和一个稀疏感知像素尺度头（预测带有学习置信度的校正值）。
训练策略： 使用包含置信度加权对齐、表面法线正则化和尺度平滑性的平衡目标，以调和稀疏度量锚定与稠密几何保持之间的关系。
实证验证： 证明了在保持优异几何一致性的同时，具备竞争力的度量精度。

实验结果

实验在 nuScenes 和 DDAD 数据集上使用 4 帧环视输入进行。

度量精度 vs. 一致性： DrivingDepth 在 nuScenes 上实现了 AbsRel 11.19 和 EdgeCR 5.741。
- 它优于 MapAnything（AbsRel 11.99, EdgeCR 1.914），后者为了追求度量精度而牺牲了边界对齐。
- 它显著提升了 DepthAnything3（AbsRel 15.88）的表现，后者缺乏度量尺度。
- 它避免了 PriorDA（EdgeCR 2.524）中出现的结构性伪影，后者因过度拟合稀疏 LiDAR 点而产生了深度不连续的幻觉。
对稀疏数据的鲁棒性： 在 10% LiDAR 密度下，DrivingDepth 仍能保持高性能（EdgeCR > 5.7），而 MapAnything 的性能大幅下降（EdgeCR 降至 ~1.9）。这验证了将 LiDAR 作为几何提示而非稠密监督的有效性。
定性分析： 可视化结果显示，DrivingDepth 在校正尺度误差的同时，保留了清晰的物体边界和连贯的 3D 结构（如移动卡车、建筑立面），而其他方法要么缺乏尺度，要么引入了几何畸变。

重要性与主张

论文声称，DrivingDepth 通过分解问题成功弥合了稠密视觉几何与可靠度量尺度之间的鸿沟：即承认基础模型已经提供了必要的表面结构，而只有尺度映射过程需要学习。

效率： 通过冻结主干网络并仅学习轻量级尺度头和适配器，该模型可以在单个 8-GPU 节点上完成训练，避免了端到端重训的高昂成本。
设计原则： “最小干预”原则确保了稠密视觉几何在构造上得以保持，从而防止了那些尝试从头生成深度的常见方法所产生的结构性伪影。
局限性： 作者坦诚地指出，该方法依赖于冻结的基础模型所具备的几何结构在根本上是正确的。如果基础模型在处理高度反光或透明表面时无法捕捉到结构，则尺度校正也无法恢复缺失的几何信息。