BOP-Distrib++: Local Symmetry Discovery for 6D Pose Benchmarking Under Visual Ambiguities

机器人和增强现实系统依赖于一种基本能力：准确知道一个物体在空间中的位置以及它的朝向。这项被称为“六自由度姿态估计”（six-dimensional pose estimation）的任务，涉及计算一个物体相对于摄像机的三维位置及其三维朝向。它是让机械臂能够抓取工具，或让数字叠加层固定在移动部件上的背后逻辑。为了让这项技术发挥作用，计算机必须在拥有已知正确答案的海量图像库上进行训练。然而，在提供这些答案的方式中，存在着一个长期以来扭曲了算法评估的隐藏缺陷。问题在于，当一个物体从不同角度看去外观相同时，或者当它的部分被遮挡时，就会出现这种情况。在这些视觉模糊的时刻，并不存在唯一的正确答案，而是存在多种有效的可能性。

多年来，测试这些系统的标准方法将每个物体都视为只有一个真实位置，即使图像暗示并非如此。研究人员会采用一个单一的“地面真值”（ground-truth）位置，并应用一套固定的规则来处理对称性，假设这些规则同样适用于该物体的每一张照片。这种方法忽略了场景的现实情况。如果摄像机看到的只是一个杯子光滑圆润的一侧，计算机无法判断这个杯子是正放还是倒放。如果能看到一个孔洞，答案就会变得清晰。旧的方法未能区分这些情况，将一个令人困惑、具有歧义的视角与一个清晰、明确的视角混为一谈。这意味着用于对最佳算法进行排名的基准测试建立在一个不完美的基石之上，可能奖励了那些靠运气猜对的算法，同时惩罚了那些正确识别出多种可能性的算法。

来自巴黎-萨克雷大学（Université Paris-Saclay）及其他机构的一个研究小组现在通过一种称为 BOP-Distrib++ 的新方法纠正了这一疏忽。BOP-Distrib++ 不再为每张图像分配一个静态的单一答案，而是开发出一种能够根据每张照片中实际可见的内容，自动发现物体特定对称性的方法。他们首先通过分析物体的 3D 数字模型，来寻找其内在的对称性，例如旋转模式或从不同角度看去完全相同的平面。然后，针对数据集中的每一张图像，他们模拟摄像机的视角，以确定物体的哪些部分被遮挡，哪些部分是可见的。通过将物体的形状与特定的视角相结合，他们为那个精确的瞬间生成了一组独特的可能位置。这一过程将“地面真值”从一个点转变为一个可能性的分布，准确地反映了场景是清晰还是模糊。

研究人员将这种更精确的标注系统应用于用于测试世界领先姿态估计方法的标准数据集。当他们使用这些基于图像的特定分布重新评估顶尖算法时，结果发生了巨大变化。此前排名极高的算法，其得分大幅下降；而另一些算法的排名则上升了。这种转变发生的原因在于，旧的基准测试过于宽容——它们接受了一些在技术上对于物体的另一种视角是正确的答案，但对于当前显示的特定图像却是错误的。新的评估揭示了许多最先进的系统在面对部分视图或对称形状时，并不像之前认为的那样稳健。研究表明，当测试是公平的并考虑了特定的视觉语境时，这些技术的性能格局会完全不同。

除了修复单答案系统的排名外，这项工作还为评估新一代预测一组可能位置而非仅仅是一个猜测的方法打开了大门。直到现在，这些“多姿态”（multi-pose）方法只能在合成的计算机生成图像上进行测试，因为现实世界的数据库缺乏必要的注释。有了这种基于图像的分布，研究人员首次能够在真实照片上测试这些先进的系统。他们发现，虽然单姿态方法在视角清晰时更擅长精准定位，但多姿态方法在视角模糊时更擅长捕捉完整的可能性范围。这种识别并列出多个有效解的能力，对于现实世界的应用至关重要，因为机器人需要理解物体可能处于好几个位置之一，然后才尝试与其进行交互。

研究结论指出，我们衡量机器视觉成功的方式必须进化，以匹配现实世界的复杂性。通过放弃僵化的、一刀切的正确性定义，并拥抱视觉模糊的流动本质，研究人员现在可以构建并测试真正能够应对工厂、家庭和户外等不可预测环境的系统。这项工作并不声称已经解决了视觉模糊问题，但它提供了第一份准确的领域地图，让未来的创新能够以更高的精度和可靠性进行导航。