Geometry Beats Estimated Depth: RGB-Only Multi-Camera 3D Tracking under Sim2Real

想象一下，你正试图仅凭安全摄像头拍摄的平面 2D 照片，来构建一部繁忙仓库的 3D 电影。这就是多摄像头 3D 感知的世界——在这个领域，计算机试图仅通过观察平面图像来理解三维的真实世界。通常情况下，为了完美实现这一点，机器人会使用特殊的传感器来直接测量距离，比如蝙蝠利用声呐，或者人类利用双眼来判断深度。但在这一特定挑战中，机器人对距离是“盲目”的；它们只有标准的 RGB 摄像头（就像你手机上的那种），并且拥有一套关于摄像头位置的规则。核心问题在于科学家们正在探讨：如果你无法直接测量距离，最好的猜测方法是什么？ 你应该尝试使用超级智能的 AI 来猜测每张图像中每个像素的深度（就像一个预言家在猜测一棵树的距离），还是应该依赖简单的、硬性的几何学——利用已知的摄像头角度来进行三角测量，从而确定物体在地面上的位置？

这篇由来自新奥尔良路易斯安那州立大学（LSU New Orleans）和 PinPark 的团队为 AI City Challenge 2026 撰写的论文，深入探讨了这场辩论。他们设置了一场关于追踪仓库中人员和机器人的两种截然不同的策略之间的“拔河比赛”。其中一队（作者方）押注于几何学：利用已知的地面地图和摄像头角度，将 2D 形状提升到 3D 空间。另一策略（他们作为基准测试的对象）则押注于估计深度：使用高级 AI 来猜测平面图像中每个像素的距离，从而将平面图像转化为 3D 点云（类似于数字点云地图），然后运行 3D 检测器。结果令人震惊且清晰：几何学团队以压倒性优势获胜，而“猜测深度”的团队则彻底溃败。论文表明，在这种特定的“Sim2Real”（机器人在模拟数据上训练，但在真实数据上测试）设定下，在所有摄像头之间拥有一个一致的、共享的地面理解，远比拥有一个完美的、像素级的物体深度猜测更为重要。

伟大的仓库劫案：两种 3D 视觉方式

故事始于一个巨大的、即将变得非常真实的模拟仓库。挑战在于，要仅通过多个摄像头的视频流来追踪移动物体——比如叉车、托盘车，甚至类人机器人。难点在于？这些摄像头没有深度传感器。它们只是普通的眼睛。AI 必须仅通过观察平面照片，就能弄清楚一切物体在 3D 空间中的位置（上下、左右、前后）。

作者设置了两个不同的“侦探”来破解此案。

侦探 A：几何优先团队
这个团队采取了一种非常逻辑化、“老派”的方法。他们并不试图猜测每个像素的深度。相反，他们说：“我们知道地面是平的，而且我们确切知道摄像头的朝向。”

1. 发现物体： 首先，他们使用了一个强大的检测器（称为 YOLO11x）在每个摄像头的视图中找到物体的 2D 方框。
2. 提升至世界： 他们利用数学方法（单应性变换，homography），将这些 2D 方框的底中点投影到已知的地面平面上。这就像是从摄像头发射一道手电筒光，穿过方框的底部照射到地面，看它落在哪里。
3. 融合与追踪： 由于同一辆叉车可能会被三个不同的摄像头看到，他们将这些“提升”后的点合并为一个单一的 3D 位置。然后，他们追踪物体在仓库地面上的移动过程。
4. 秘诀： 他们增加了最后一步，称为“离线缝合（offline stitching）”。想象一个侦探意识到：“等等，我丢掉了那个嫌疑人五秒钟，但他们就在这里重新出现了。这是同一个人！”他们将破碎的追踪片段连接起来，以修复身份。

侦探 B：伪激光雷达（Pseudo-LiDAR）团队
这个团队尝试了过去在有深度数据可用时行之有效的“现代”方法。他们试图伪造深度。

1. 猜测深度： 他们使用高级 AI 模型（如 D4RT 或 Metric3D）来观察平面图像，并猜测每个像素的距离。这把 2D 图像变成了 3D 点云，模仿了真实的 3D 传感器（激光雷达 LiDAR）。
2. 在 3D 中检测： 他们将这个“伪造”的 3D 点云输入到一个 3D 检测器（V-DETR）中来寻找物体。
3. 希望： 他们希望即使没有真实的深度，AI 也能通过猜测得出足够好的深度，从而构建出一个完美的 3D 地图。

令人震惊的结果：几何获胜，猜测失败

结果不仅是一场胜利，更是一场碾压。几何优先团队获得了 13.0 HOTA（衡量追踪和定位物体能力的指标）。而伪激光雷达团队，即“猜测”团队，得分跌至 0.12。这大约是差了 100 倍。

为什么猜测团队失败得如此惨重？论文指出，问题不在于他们的 AI 在单张图像上猜测深度的能力有多差。问题在于一致性。
想象你和三个朋友正根据各自拍的照片尝试绘制一张房间地图。

• 几何团队对地面的位置达成了一致。即使他们不完美，但他们都认同同一个地面平面。当他们合并地图时，地面是平坦的，叉车是直立的。
• 伪激光雷达团队则是各自独立进行深度猜测。一个朋友认为地面高度是 1 米，另一个认为高度是 2 米，第三个则认为地面悬浮在空中。当他们尝试合并地图时，地面变成了一个扭曲、锯齿状的混乱结构。叉车要么悬浮在空中，要么被埋在地下。

作者称之为**“跨视图不一致性（cross-view inconsistency）”**。即使 AI 正确猜测了单个像素的深度，如果它对不同摄像头视角下的同一地面给出了不同的猜测，3D 地图就会崩溃。论文表明，对于这项特定任务，拥有一个共享的、一致的几何结构（地面平面）比拥有一个完美的、像素级的深度猜测要重要得多。

什么方法不起作用（以及为什么）

作者不仅对比了两支队伍，还尝试用各种技巧来修复失败者并提升获胜者。他们测试了：

• 更好的检测器： 他们尝试将主检测器更换为更新、更高级的模型（如 RT-DETR）或进行组合。结果： 没有帮助。问题不在于检测器，而在于缺乏用于训练的真实世界数据。
• 切片检测（Sliced Detection）： 他们尝试将图像切成微小的碎片，以捕捉较小的物体（如远处的托盘车）。结果： 这反而让情况变得更糟。它找到了更多物体，但大多数都是假象（幽灵），干扰了追踪器。
• 学习提升（Learning to Lift）： 他们尝试用神经网络取代简单的“将方框提升到地面”的数学计算，让网络去“学习”如何操作。结果： 灾难。得分降到了接近零。简单的数学实际上比学习到的方法更可靠。
• 外观重识别（Appearance Re-ID）： 他们尝试通过物体的外观来识别物体（例如，“那是红色的叉车”）。结果： 这没有帮助，因为现实世界中的光照和角度变化太大。

唯一对几何团队有帮助的是离线缝合。通过在事后修复破碎的追踪路径（将同一个物体的“丢失”和“发现”片段连接起来），他们略微提高了得分。这告诉我们，主要的瓶颈是检测质量（首先要找到物体），而不是追踪逻辑。

核心启示

论文为任何想要构建在没有特殊传感器的情况下进行 3D 感知的机器人的开发者提出了一个明确的教训：如果可以使用几何学，就不要尝试去猜测深度。

在一个机器人是在模拟数据上训练、但在真实世界中测试的世界里，试图学习每个像素的深度会导致一个混乱、不一致的地图。相反，坚持遵循世界的既定规则（地面是平的，摄像头是固定的）并使用简单的显式数学将 2D 检测提升到 3D 空间，会更加可靠。深度猜测的“魔力”不足以克服现实世界的混乱。前进的最佳路径不是更好的深度猜测 AI，而是能够更清晰地“看见”物体的更好检测器。