🤖 AI

Vanishing Depth: Training Generalized Depth Adapters with Sinusoidal Depth Preprocessing for Pretrained RGB Encoders

本文提出了一种自监督方法，通过使用正弦深度编码适配器来扩展预训练的 RGB 编码器，以实现广义、鲁棒的度量深度理解，并在无需微调的情况下，在各种 RGB-D 下游任务中取得卓越性能。

原作者： Paul Koch, Jörg Krüger

发布于 2026-06-15

📖 1 分钟阅读☕ 轻松阅读

原作者： Paul Koch, Jörg Krüger

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你拥有一个非常聪明、训练有素的机器人眼睛（一个“预训练 RGB 编码器”），它在识别二维照片中的物体、颜色和形状方面表现卓越。它知道“椅子”长什么样，但它完全不知道那把椅子离它有多远。它看到的是一个平面的世界。

为了让机器人能够真正执行任务——比如拿起一个杯子或在房间里导航——它需要理解深度（即物体在三维空间中距离有多远）。通常情况下，要赋予机器人这项技能，你必须从头开始重新训练它的整个大脑，这既缓慢又昂贵，而且往往会破坏它已经学到的关于形状和颜色的精妙知识。

这篇论文介绍了一种巧妙的“插件式”解决方案，称为 Vanishing Depth（消失深度） 和 Sinusoidal Depth Preprocessing（正弦深度预处理）。以下是其工作原理，使用了简单的类比：

1. “深度适配器”（通用翻译官）

把机器人的现有大脑想象成一位精通烹饪各种二维食物照片的大厨。作者构建了一个小巧、可拆卸的适配器（“深度适配器”），将其插进这位大厨的厨房里。

它的作用： 它将大厨原有的二维知识与新的三维深度信息混合在一起。
神奇之处： 它并不会强迫大厨忘记如何烹饪。相反，它教会了大厨如何同时理解距离。原始大脑保持原样（未受损），但现在它能以三维的方式观察世界。
优势： 你不需要重新训练整个大厨。你只需插上适配器，机器人就能准备好处理各种新任务，如分割（抠出物体）、位姿估计（确定物体位置）或填充缺失的深度数据。

2. “Vanishing Depth”训练（蒙眼游戏）

如何教这个适配器理解深度，而不是仅仅死记硬背特定的图片？作者使用了一个名为**“Vanishing Depth（消失深度）”**的游戏。

想象一下，你正在教一个人识别山脉。与其给他们看一张完美的照片，不如你：

遮住照片的一部分： 用一个盲布（随机噪声）遮住山脉的 50%。
改变比例： 随机放大或缩小，让山脉看起来巨大或微小。
移动位置： 将山脉向左或向右移动。
目标： 学生（AI）必须通过观察可见的部分和山的形状，来猜出被遮住的部分看起来是什么样的。

通过对成千上万种不同的深度图进行这样的训练，AI 学到了真实的深度结构，而不仅仅是记住了特定的图像。它学会了处理缺失的数据、有噪声的传感器以及不同的距离，这使得它具有极强的鲁棒性（稳健性）。

3. “Sinusoidal Depth Preprocessing”（带有无限刻度的尺子）

教 AI 关于深度的标准方法，就像使用一把只有 1 米、2 米和 3 米刻度的尺子。如果你展示一个 1.5 米处的东西，它就会感到困惑。

作者发明了一种新的深度测量方式，称为正弦深度预处理（Sinusoidal Depth Preprocessing, SDP）。

类比： 想象一把尺子，它不仅有直线刻度，还有一个不断重复的平滑波浪图案（类似于正弦波）。
为什么更好： 这种波浪图案允许 AI 将深度理解为一个平滑且连续的流动，而不是在固定的数值之间跳跃。它可以轻松处理微小的差异（如 1.001 米）和巨大的差异（如 500 米）。
结果： 这使得 AI 更加精确和稳定，尤其是在深度数据杂乱或稀疏（例如激光扫描仪漏掉了一些点）的情况下。

他们证明了什么？

作者在各种任务上测试了这个“适配器”，结果显示它在几乎所有现有方法中表现都更为出色，而且**无需任何额外的训练（微调）**即可胜任这些特定任务。

分割（Segmentation）： 当被要求识别并勾勒出房间内的物体时，他们的系统达到了顶尖水平（在 SUN-RGBD 数据集上达到 56.05 mIoU），击败了其他复杂的、多模态的系统。
位姿估计（Pose Estimation）： 当被要求精确判断一个物体在三维空间中的旋转角度时，他们的系统显著优于以往的方法。
鲁棒性（Robustness）： 即使在深度数据存在噪声、缺失或发生奇怪畸变的情况下，他们的系统依然能正常工作，而其他系统则会崩溃或给出错误的答案。

核心结论

这篇论文提出了一种“通用深度插件”。它将一个聪明的、具备二维感知能力的 AI 瞬间升级为具备三维感知能力的 AI。它通过“填空游戏”（Vanishing Depth）来教授 AI 理解深度，并通过使用一种超精确的、波浪状的测量工具（Sinusoidal Preprocessing）来实现。其结果是一个准确、稳健且能够立即投入工作的机器人视觉系统，无需从头开始重新训练。

技术摘要：消失的深度：通过正弦深度预处理为预训练 RGB 编码器训练泛化深度适配器

问题陈述

当前最先进（SOTA）的视觉基础模型，特别是基于自监督学习（SSL，如 DINOv2）的模型，在提取 RGB 图像的泛化特征方面表现出色。然而，它们缺乏内在的**度量深度理解（metric depth understanding）**能力，而这种能力对于需要绝对 3D 位置信息的下游任务（如机器人技术、姿态估计和深度补全）至关重要。现有的集成深度的方法通常依赖于：

特定任务的微调： 这可能会破坏预训练期间学习到的泛化特征。
随机初始化的深度编码器： 导致在不同数据集之间的泛化能力不足。
多模态预训练： 诸如 OmniVec 或 MultiMAE 等方法虽然对齐了模态，但往往无法强制执行像素级的度量深度精度，而是侧重于用于分类或分割的通用上下文。

因此，文献中存在一个空白，即如何构建一个泛化 RGBD 编码器，能够在不需要针对特定任务进行微调的情况下，将度量深度整合到预训练的 RGB 潜空间中，同时对深度密度、分布和噪声的变化保持鲁棒性。

方法论

作者提出了一个由两个主要部分组成的框架：深度适配器（Depth Adapter, DA）和正弦深度预处理（Sinusoidal Depth Preprocessing, SDP），通过**“消失的深度”（Vanishing Depth）**流水线进行训练。

1. 深度适配器 (DA) 架构

基座： 该方法通过添加一个并行的深度编码器分支来扩展现有的预训练 RGB 编码器（例如基于 DINOv2 的 ViT-B）。
融合： 它采用一种“跳跃与嵌入”（Skip & Embed, S&E）机制，在特定的中间层（例如第 3、6、9、12 层）融合 RGB 和深度信号。这使得深度编码器能够利用冻结的 RGB 编码器的泛化语义特征。
训练策略： 预训练的 RGB 编码器是冻结的，以保留其泛化特征。只有深度适配器和解码器头会被训练。这确保了模型不会“遗忘”鲁棒的 RGB 表示。
解码器： 一个轻量级的 U-Net 解码器，带有四个特征金字塔网络（FPN）头，用于执行多尺度解码以进行稠密度量深度预测。

2. 正弦深度预处理 (SDP)

动机： 标准的深度归一化（例如缩放到 [0,1] 或使用视差图）在面对变化的深度分布、密度和扰动时表现不佳。
机制： SDP 将连续的深度值 $d_j$ 编码为一组正弦特征：
$SDP(d_j, 2i) = \sin(l/T^{2i/c}), \quad SDP(d_j, 2i+1) = \cos(l/T^{2i/c})$
其中 $l = 2\pi(d_j / \max(d))$ 。
归一化： 它支持全局最大深度（GSDP）和局部最大深度（LSDP）。对于 LSDP，最大深度值被编码为一个向量并添加到 CLS token 中，使模型能够动态地解码度量深度。
优势： 与旨在进行 token 定位的经典位置编码不同，这种方法无论输入深度分布或绝对尺度如何，都能在 [-1, 1] 范围内提供稳定的特征提取。

3. 消失的深度训练流水线
为了确保模型学习到深度密度和分布不变性的表示，训练流水线采用了受图像修复（inpainting）启发的“消失深度”策略：

数据增强： 通过 Perlin 噪声和随机调整大小的噪声来操纵深度图，以移除不同比例（1%–99%）的深度像素。
分布不变性： 对深度样本应用随机偏移、缩放和平移，以防止模型仅依赖来自 RGB 的单目深度线索。
损失函数： 使用多尺度平衡尺度不变（SI）损失。它平衡了现有深度像素的重建与缺失（掩码）深度像素的预测，确保模型在处理稠密和稀疏输入时均能表现良好。

核心贡献

泛化深度适配器： 一种扩展预训练 RGB 编码器以处理度量深度的有效方法，无需对基础编码器进行微调，从而实现对各种 RGBD 任务的“开箱即用”式适配。
正弦深度预处理 (SDP)： 一种新型预处理技术，在处理多样化的深度分布、密度和噪声水平方面优于标准归一化。
消失的深度训练： 一种自监督流水线，通过模拟训练过程中的稀疏和噪声深度输入，训练适配器对缺失数据和分布偏移具有鲁棒性。
零微调适配性： 生成的模型可以仅使用冻结的编码器和轻量级解码器头，应用于下游任务（分割、姿态估计、深度补全），避免了全量微调的计算成本和过拟合风险。

实验结果

作者在包括 SUN-RGBD、NYU-v2、KITTI、Void、YCBV 在内的多个数据集上，针对分割、深度补全和 6D 物体姿态估计任务评估了其方法。

分割： 所提出的方法在 SUN-RGBD 数据集上实现了 56.05 mIoU，超越了最先进的深度感知和多模态编码器（如 OmniSegmentor、DFormerV2），并显著优于 RGB 基准（DINOv2）。它还展示了在通过单目估计合成深度的 RGB 仅数据集上的有效性。
深度补全： 在稀疏深度补全任务（KITTI、Void）中，基于 SDP 的适配器显示出比基于归一化的深度编码和其他 SOTA 方法更高的精度，特别是在处理稀疏输入方面。
姿态估计： 在 6D 物体姿态估计（YCBV、HomeBrew、LM-O）中，深度适配器显著提升了冻结 RGB 编码器的性能（例如，在 YCBV 上，DINOv2 + DA 达到了 84.1 AUC，而仅 DINOv2 为 72.5）。该方法优于 Omnivore 和 MultiMAE 等多模态基准，后者在引入深度后性能往往会下降。
鲁棒性： 消融研究证实，SDP 比标准归一化对噪声和稀疏性更具韧性。当面对随机噪声和缺失深度时，基于归一化的方法表现挣扎，而 SDP 则保持了稳定性。

意义与主张

论文声称这项工作弥合了通用基础模型与度量深度理解之间的差距。通过避免特定任务的微调，该方法为需要快速适应新环境的机器人技术和多智能体系统提供了一种模块化且高效的解决方案。

泛化性： 该方法不受特定数据集的限制；它可以在变化的深度密度和分布之间进行泛化。
效率： 它允许复用大型预训练 RGB 编码器，减少了从头开始训练大规模多模态模型的需求。
机器人相关性： 作者强调了其在视觉-语言-动作（VLA）和机器人策略学习中的潜力，在这些领域，预训练编码器是有益的，但往往需要微调，而微调会导致过拟合。该方法提供了一种在不损害基础编码器泛化能力的情况下引入深度感知的方法。

作者也谦虚地指出，由于缺乏标准化的“开箱即用”比较框架，他们避开了 VLA 和策略学习基准测试，但该架构旨在支持这些应用。他们还承认，对于极端深度范围（例如 >15m），需要进行缩放或调整最大深度参数，尽管在这种情况下 SDP 的频率密度可能会被拉伸。