技术摘要：建模深度歧义性 (MDA)

问题陈述

尽管单目和多视图深度估计取得了显著进展，但一种被称为“飞点”（flying points）的持续性失效模式仍然广泛存在。这些是预测在前景与背景表面之间空隙处的伪 3D 点，特别是在物体边界附近。作者认为，这种人工痕迹源于一个根本性的建模局限：标准的深度估计器为每个像素分配一个单一的深度假设（单峰分布）。

在物体边界处，单个像素往往跨越遮挡边缘，同时包含来自前景和背景表面的视觉线索。当模型被迫为一个具有此类歧义性的像素预测单一深度值时，训练目标（通常是最小化 $\ell_1$ 或 $\ell_2$ 损失）会将预测值拉向两个有效表面之间的中间折中值。这个中间值位于空旷空间中，表现为飞点，从而破坏重建的几何结构并阻碍下游任务（如新视角合成和机器人操作）。作者指出，即使使用更强的骨干网络和更大的数据集，这一问题依然存在，这表明这是一个建模问题，而非规模化问题。

方法论：建模深度歧义性 (MDA)

本文提出了建模深度歧义性 (MDA)，这是一种显式建模边界附近深度歧义性的混合密度表示法。

核心概念

MDA 不再为每个像素预测单一的深度值，而是预测 $K$ 个深度假设及其相关的概率（混合权重）和尺度参数。

• 表示形式： 对于每个像素，模型输出 $K$ 个深度假设 $\{\hat{D}_k\}$、尺度 $\{b_k\}$ 和混合权重 $\{\pi_k\}$（其中 $\sum \pi_k = 1$）。
• 分布： 深度分布被建模为拉普拉斯（或高斯）分布的混合：
  $$p(D | \{\hat{D}_k, b_k, \pi_k\}) = \sum_{k=1}^K \pi_k \cdot \frac{1}{2b_k} \exp\left(-\frac{|\hat{D}_k - D|}{b_k}\right)$$
• 行为： 在平滑且无歧义的表面上，所有假设都会收敛到相同的深度。在边界处，不同的假设会专门代表不同的表面（例如，一个代表前景，一个代表背景）。

训练目标

模型使用混合密度的负对数似然 (NLL) 进行训练。

• 损失函数由混合 NLL 推导而来，它可以简化为各分量损失的加权和。
• 与强制进行单一预测的传统单峰损失不同，该目标允许网络学习多模态分布，使不同的分量能够锚定在有效的表面上。

解码策略

在推理阶段，系统不会对假设进行平均（因为这会重新产生飞点问题），而是选择可能性最大的假设：

1. 对于每个候选深度 $\hat{D}_k$，模型评估其在学习到的混合分布下的密度。
2. 选择得分最高的组件作为最终的深度预测。
3. 这确保了输出深度位于其中一个候选表面上，而不是位于两个候选表面之间的空旷空间中。

架构与扩展

• 极低开销： MDA 仅修改现有骨干网络（如 DA3, VGGT）的最终预测层。它增加了一个轻量级头部，输出 $3K+1$ 个通道（每个分量的深度、置信度和 logit）。
• 透明物体： 为了处理光线穿过多个表面的透明物体，作者使用独立的 sigmoid 权重 替换了 softmax 混合权重。这允许多个分量同时处于激活状态，从而实现对共存深度层的恢复（例如，玻璃表面和背景）。
• 天空区域： 添加了一个带有固定大深度参数的专用组件来建模天空。该组件吸收具有无限深度的像素，防止有限深度分量在天际线处产生飞点，并实现了无需阈值的天空分割。

核心贡献

1. 识别原因： 作者指出，飞点是由于强制深度估计器在具有歧义的边界像素处预测单一值，而非由于网络容量或数据量的不足所导致的。
2. 混合密度表示： 他们提出了一种轻量级的 $K$ 分量混合密度表示法，可预测多个深度假设和概率。这使得边界像素能够“选择”前景或背景表面，而不是在两者之间取平均值。
3. 泛化性： 该框架被证明能有效地应用于不同的骨干网络（DA3 和 VGGG），并能自然地扩展到处理其他形式的深度歧义性，特别是透明物体和天空区域，且都在同一个预测头内完成。

实验结果

作者在边界质量、视频深度估计和对输入模糊的鲁棒性方面对 MDA 进行了评估。

• 边界质量： 在包括 NRGBD、7Scenes 和 HiRoom 在内的数据集上，与基准模型相比，MDA 大幅降低了边界误差（Chamfer Distance 和 Accuracy）。
  • 消除飞点： 定性结果显示，虽然包括基于扩散的细化方法（如 PPD/PPVD）在基准模型中仍留有可见的飞点，但 MDA 产生了与实际表面对齐的清晰边界。
  • 速度： MDA 的运行速度与基准前馈模型相当（例如，约 33-34 FPS），增加的开销微乎其微。相比之下，基于扩散的细化方法要慢约 80 倍。
• 对模糊的鲁棒性： 在严重的输入模糊（通过降采样模拟）下，MDA 的性能退化比单峰基准模型更为平缓。因为混合机制即使在图像证据较弱时也能保持前景和背景的活跃模态，从而避免了单假设模型中出现的离群值累积。
• 消融实验： 实验证实，性能提升主要由混合密度表示驱动，而非仅仅通过增加网络头数量。将单峰损失替换为混合 NLL 解释了大部分的改进。
• 扩展应用：
  • 透明物体： Sigmoid 加权变体成功恢复了透明物体上的多层深度，能够同时预测可见表面和被遮挡的背景。
  • 天空： 专用天空组件消除了天际线处的飞点，并提供了准确的天空分割，无需额外的网络。

意义与主张

论文声称 MDA 为飞点问题提供了一个根本性的解决方案，因为它将建模假设与边界处深度歧义性的物理现实相统一。

• 高效性： 它在不使用迭代细化或扩散过程的高计算成本的情况下，实现了最先进的边界重建。
• 简洁性： 它仅需对现有最先进模型进行最终层修改，易于采用。
• 统一框架： 它提供了一个单一的框架，能够同时处理标准深度估计、透明物体和天空区域，解决了多种来源的深度歧义性。

作者强调，其方法并不声称解决了所有的深度估计挑战，而是专门针对由单峰建模引起的持续性人工痕迹（即飞点）进行处理，提供了一个具有理论依据且在实证上有效的替代方案。