One Scene, Two Depths: Probing Geometric Ambiguity in Monocular Foundation Models

问题陈述

单目深度估计（MDE）基础模型通常在“单深度”范式下运行，即将单张 RGB 图像映射为每个像素的一个标量深度值。这种假设对于不透明场景成立，但在分层 3D 场景（例如透明玻璃）中会失效，因为在这些场景中，单条相机射线会与多个几何有效的表面相交（一个前景玻璃平面和一个背景物体）。

本文认为，目前的监督训练将这种多层几何结构坍缩为一种“由数据集决定的标量目标”。由此产生的深度标签并非场景的内在真相，而是一种由标注选择、传感器限制（如 LiDAR 与超声波）以及训练数据偏差所决定的约定。因此，冻结的基础模型并没有学习到“无层级”的几何结构；相反，它们学习到了一种深度层偏好（depth-layer preference）——即在存在歧义时，倾向于报告近端（前景）或远端（背景）层的偏差。标准的评估指标由于奖励与单一真值的符合度，会惩罚其他有效的替代解释，从而掩盖了模型的真实几何推理能力。

方法论

1. MultiDepth-3k (MD-3k) 基准测试
为了在不需要难以获得的、中性的密集度量真值（对于透明层而言很难获得）的情况下测量这种偏好，作者引入了 MD-3k，这是一个稀疏的序数（ordinal）基准。

• 数据： 包含 3,161 张源自 GDD 数据集的 RGB 图像，其中含有透明物体。
• 标注： 并非提供密集的深度图，而是为歧义区域中的每个图像标注了一对稀疏点。至关重要的是，该标注提供了两个序数标签：透明前景层的相对深度顺序和可见背景层的相对深度顺序。
• 子集： 数据集分为“相同（Same）”子集（前景和背景的深度顺序一致）和“反转（Reverse）”子集（两者发生冲突）。“反转”子集是关键的测试用例，因为在此情况下，单输出模型无法同时满足两个层级的要求。

2. 拉普拉斯视觉提示 (Laplacian Visual Prompting, LVP)
作者提出了一种无需训练的方法，用于探测冻结模型的深度层偏好是否可以通过改变输入表示来进行调节。

• 机制： LVP 对输入的 RGB 图像应用离散拉普拉斯核（一种高频谱变换）。生成的带符号残差经过归一化后被映射回模型的输入范围（例如 0–255）。
• 假设： 通过强调高频边缘，LVP 作为一个谱探测器，可能在不重新训练或修改权重的情况下，引导冻结模型转向另一种有效的深度假设（例如，从前景偏好切换为背景偏好）。

3. 评估指标

• 空间关系准确率 (Spatial Relationship Accuracy, SRA)： 衡量预测的深度顺序与特定层的地面真值相匹配的点对比例。
• 深度层偏好 ($\alpha$)： 定义为 $SRA(2) - SRA(1)$。正值$\alpha$ 表示背景偏好；负值表示前景偏好。
• 多层空间关系准确率 (Multi-Layer Spatial Relationship Accuracy, ML-SRA)： 评估一对假设（例如 RGB 输出和 LVP 输出）。它检查这一对假设在被最优分配给两个层级时，是否能同时满足两个层的序数约束。

核心贡献

1. 刻画深度层偏好： 本文首次系统地刻画了各种单目深度基础模型（包括 Depth Anything v1/v2, DPT, Marigold 等）在标准 RGB 输入下表现出的不同且具有模型特性的前景或背景层偏好。
2. MD-3k 基准测试： 引入了一个真实的基准测试，通过稀疏的序数关系使深度层偏好变得可测量，从而绕过了无法获得密集多层度量真值的难题。
3. 基于输入的调节： 证明了拉普拉斯视觉提示 (LVP) 可以显著改变冻结模型所表达的深度层偏好。对于某些模型，LVP 作为一个“开关”，可以揭示互补的几何假设，使得单输出模型在通过不同的查询时，能够有效地覆盖多种有效的解释。

结果

• 多样化的偏差： 在标准 RGB 输入下，模型表现出强烈但并不一致的偏差。例如，针对室内优化的 Depth Anything v2 变体倾向于偏向前景（玻璃），而针对室外优化的变体和生成式模型（如 Marigold）通常偏向背景。
• LVP 的有效性： LVP 能引起特定模型偏好的显著偏移（例如 DPT, Depth Pro, 和 DAv2-L），但对其他模型（如 DAv1 或某些生成式模型）影响微乎其微。
  • DAv2-L 案例： 最典型的例子是 DAv2-L。在 RGB 输入下，它具有前景偏好（$\alpha \approx -30.6$）。在 LVP 下，它转变为背景偏好（$\alpha \approx +68.2$）。
• ML-SRA 性能：
  • 一个“坍缩”基线（通过复制单个深度图）在 MD-3k 的“反转”子集上只能达到 56.4% 的严格上限，因为它无法满足冲突的序数约束。
  • 使用 DAv2-L 的 RGB/LVP 对 实现了 75.5% 的整体 ML-SRA 以及 52.2% 的“反转”子集表现。这相对于单假设上限有了显著提升，证明了当输入表示发生变化时，冻结模型可以表达互补的序数关系。
• 消融实验： 该效应是特定于高频提示的；低通高斯提示无法调节层级偏好。该效应并非拉普拉斯算子所独有，而是可以推广到其他高频变换（如 Sobel, Fourier），尽管 LVP 是一个更稳健的默认选择。

意义与主张

本文声称，标准的 RGB 推理仅捕捉了丰富的几何后验分布中的一个切片。通过将歧义视为一种可测量的几何结构而非噪声，作者证明了：

1. 歧义是内在的： 深度基础模型编码了多个有效的几何假设，但标准的训练和评估迫使它们将这些假设坍缩为单一的、带有偏差的约定。
2. 调节是可能的： 简单的、无需训练的谱输入变换（LVP）可以解锁冻结模型中这些潜在的、互补的假设。
3. 重新思考评估： 未来的深度系统应该根据其表示和保留多种有效 3D 解释的能力进行评估，而不是强迫输出单一的标量。

承认的局限性：

• LVP 是依赖于模型的，并非通用的层级提取器；在频率特征纠缠的半透明表面上，其效果有限。
• 该基准测试是稀疏的且专注于透明度；它不提供密集的度量验证。
• LVP 通常会降低非歧义场景下的标准单深度准确率，这表明它是一个诊断/探测工具，而非在清晰场景下替代标准推理的工具。

作者邀请社区采用一种“歧义感知”的视角来进行深度监督和评估，在这种视角下，多种有效的 3D 解释被视为可以被测量和表达的几何结构。