A Calibration Audit of Confidence in Feed-Forward 3D Reconstruction

在计算机视觉领域，机器正在学习如何从扁平的照片中感知三维世界。它们通过一系列二维图像，在单次处理中重建出场景的三维地图，并在空间中放置点以代表墙壁、地板和物体。为了让这些系统在现实生活中发挥作用，例如引导机器人或辅助自动驾驶汽车，它们需要的不仅仅是对物体位置的一个猜测；它们还需要知道自己对这个猜测有多大的把握。这就是“置信度信号”（confidence signal）发挥作用的地方。每当模型预测空间中的一个点时，它也会同时输出一个代表其置信度的数值。下游系统（即实际使用这些三维数据的程序）会将这个数值视为可靠性信号。如果置信度高，系统就会信任该点并使用它；如果置信度低，系统则会忽略它或谨慎对待它。多年来，这种置信度信号一直被视为一种简单的排序工具：一种将像素按可靠程度从高到低进行排序的方法。但一个关键问题始终悬而未决：这个数字本身是否真的能真实反映误差的大小？

慕尼黑工业大学及其他机构的研究团队决定对这种置信度信号进行一次“显微镜式”的审视。他们并没有构建新模型，也没有试图教导旧模型变得更好，而是对七个已经在科学界广泛使用的现有公开模型进行了严格的审计。他们在十三个不同的数据集上测试了这些模型，涵盖了从室内房间、城市街道到合成电子游戏等各种场景，涉及数十亿个像素点。他们的目标是观察这些模型产生的置б信度数值究竟是误差的准确测量值，还是仅仅擅长对误差进行排序而无法揭示误差的真实规模。

研究人员发现，这些模型非常擅长排序。如果一个模型说某个像素比另一个像素更具置信度，那么第一个像素确实更准确，这几乎总是正确的。然而，当他们观察实际的误差大小时，情况却大不相同。这些模型表现出了持续性的过度自信。它们声称的确定性远高于其实际水平。在测试的所有模型中，平均而言，预测的不确定度比实际情况低了 2.4 倍。这意味着，如果模型预测误差为 1 厘米，实际误差往往接近 2.4 厘米。当模型感到越自信时，问题就越严重。当模型表现得非常笃定时，它实际上错得最离谱，其误差估计的偏差在某些情况下高达 15 倍。

这种过度自信并非因为模型训练不足或停止学习过早。研究人员证明，即使他们拿出一个已发布的模型并用其自身的数据继续训练，该模型也会迅速达到数学极限，并在面对新的、未见过的图像时保持过度自信。问题不在于模型学得不够多，而在于它们被教导产生置信度数值的方式，与这些数值在现实世界中的应用方式有着本质的区别。在训练期间，模型学习最小化一个特定的数学损失函数，该函数优化了误差的排序，但并未保证置信度数值与新环境中的实际物理误差大小相匹配。

为了解决这个问题，研究人员开发了一种简单的后验校正（post-hoc correction）。他们发现，通过应用一种特定的数学调整——即根据模型和数据集对置信度数值进行缩放的幂律（power law）——可以使预测的不确定度更接近真相。这种校正并没有改变排序；模型仍然能够正确地对像素进行排序。但它修正了尺度。通过这种调整，预测的平均误差从偏离 2.4 倍降至仅偏离 1.35 倍。如果研究人员拥有少量来自特定数据集的有标签数据，他们可以进一步精细化这种校正，将误差降至预测值的 1.12 倍。

尽管取得了成功，研究人员也发现了一个简单的数字无法解决的硬性限制。虽然这种校正对平均情况有效，但它无法完美预测每一个场景的误差。一个适用于整个数据集的校正方法，在面对特定的房间或街道时往往会失效，因为场景中的误差取决于该场景独特的形状和结构，而不仅仅是全局性的数值偏移。这些模型缺乏对所观察场景深层几何结构的理解，任何程度的重缩放都无法完全补偿这种知识的缺失。

研究结论指出，虽然这些前馈式三维重建模型是强大的工具，能够提供优秀的可靠性排序，但它们的原始置信度数值不能被视为误差的直接测量值。它们是可靠的排序指南，但不是测量工具。研究人员已经发布了他们的审计协议以及针对每个测试模型和数据集的特定校正常数，以便其他科学家和工程师能够立即应用这些修复方案。这项工作提供了一条清晰的路径：用户现在可以采用这些强大的预训练模型，对其置信度信号进行简单的校正，并以此对其实际局限性有更清晰的认识。