TinyDETR-Pose: Towards End-to-End Real-Time Single-Stage 6DoF Object Pose Estimation with Lightweight Transformers

想象一下工厂里的机器人手臂，或是用户脸上佩戴的增强现实眼镜。为了让这些机器与世界互动，它们不仅要能“看到”物体，还必须准确理解物体在三维空间中的确切位置以及它的旋转角度。这需要计算六个特定的数值：三个用于描述物体的位姿（左、右、上、下、前、后），以及三个用于描述其旋转（倾斜、翻滚或旋转）。这被称为六自由度（six-degree-of-freedom）位姿估计。虽然实验室里的强大计算机可以高精度地解决这个难题，但在小型电池驱动设备上实现这一点一直是一个棘手的挑战。传统方法通常依赖于复杂的多步骤过程，速度过慢，无法满足实时使用的需求；而较新的高精度系统则过于沉重，无法在驱动现代机器人技术和可穿戴技术的边缘设备上运行。

来自德国 Fraunhofer IGD 和荷兰 TU Delft 的研究团队推出了一种名为 TinyDETR-Pose 的新方法，旨在通过使整个过程轻量化和快速化来解决这一问题。该系统并没有将任务分解为多个阶段——先寻找物体，再计算其位置，最后优化答案——而是通过一个统一的单次处理过程完成所有步骤。可以将其想象成一台机器，它看一眼图片，就能瞬间知道不仅物体是什么，还能立刻得知它在空间中是如何摆放的，而无需停下来反复核实。这是通过使用一种专门的、精简版的 Transformer 架构实现的，这种人工智能模型类型以其高效处理视觉数据的能力而闻名。研究人员构建的系统是“端到端”的，这意味着计算机能够同时学习检测物体并估计其 3D 朝向，从而消除了旧系统中经常导致减速的中间步骤。

其创新的核心在于系统在后台处理数学运算的方式。以往的方法通常需要单独的计算来确定物体距离，或者使用无法被人工智能本身轻松训练的复杂几何求解器。TinyDETR-Pose 通过直接预测屏幕上的物体中心点及其深度，然后利用简单的几何关系来重建完整的 3D 位置，从而避开了这些障碍。它还处理了机器人领域的一个常见问题：即从不同角度看去外观相同的物体，例如易拉罐或对称的盒子。该系统并不需要针对每种物体制定特殊规则，而是使用一种统一的方法来判断其准确性，使其能够同时学习对称和非对称物体而不产生混淆。这种设计使得模型保持得极其精简，其可调节参数远少于其他类似的系统，这对于在有限硬件上运行至关重要。

在包含 21 种家用物品的标准数据集上进行测试时，该系统证明了高精度并不一定需要庞大的计算能力。它达到了与更大、更复杂的模型相当的精度水平，能够准确识别杂乱场景中物体的位置和朝向。更重要的是，该系统在名为 NVIDIA Jetson Nano 的小型节能计算芯片上证明了其速度优势，这种设备常用于无人机和便携式机器人。在这款硬件上，系统处理一张新图像仅需约 4.5 毫秒，这一速度足以跟上现实世界的运动。这一表现表明，长期以来限制小型设备部署先进 3D 视觉技术的“精度与速度之间的权衡”可以得到显著改善。

研究人员承认，尽管他们的系统效率极高，但并非完美。在物体被严重遮挡或部分隐藏的情况下，系统的准确性可能会下降，特别是对于形状不规则的物体。他们指出，目前的设计优先考虑速度和简洁性，而非追求那些需要更长计算时间才能达到的绝对最高精度。然而，通过证明紧凑的单阶段模型可以在边缘设备上实时运行，这项工作为在日常应用中部署复杂的 3D 视觉开辟了一条务实的路径。研究结果表明，机器人技术和增强现实的未来可能并不取决于构建更大、更强大的计算机，而在于设计更聪明、更精简、能以少胜多的系统。