Beyond Relative Geometry: Metric-Aware Geometry Perception for Robotics

在我们的世界中移动的机器人面临着一个根本性的难题：如何将它们所看到的转化为它们所能做的。多年来，人工智能系统在识别物体和理解场景方面已经变得非常出色，就像人类观察照片一样，能够从平面图像中理解物体。然而，看到一个杯子的图片与伸手去抓它有着本质的区别。为了与物理世界互动，机器需要的不仅仅是视觉地图；它需要确切地知道物体有多远以及到底有多大。如果没有这种精确的比例感，机器人可能会认为一个小玩具是一个大盒子，或者认为一扇门就在几英寸之外，而实际上它有几英尺远。这种“看见”与“知晓真实尺寸”之间的差距，长期以来一直是赋予机器人进行复杂任务（如整理房间或组装家具）所需的灵巧度的障碍。

一个研究小组开发了一种新方法来弥补这一差距，创建了一个让机器人能够以真实的、可测量的维度而非仅仅是相对形状来感知世界的方法。他们的这项工作被称为“度量感知几何感知”（Metric-Aware Geometry Perception，简称 MAGP），它教会了机器重建具有一致比例感的三维场景，确保无论机器人是从左侧、右侧还是正面观察一把椅子，它看起来的大小都是一致的。通过将机器人的视觉锚定到实际的物理测量值上，该系统实现了更可靠、更精确的运动，将模糊的空间猜测转变为具体的、可执行的数据。

长期以来，最好的计算机视觉模型只能构建场景的“相对”地图。想象一下看一张房间的照片，其中的家具看起来形状和位置都正确，但你无法知道沙发是两米长还是两厘米长。模型理解物体之间的关系——灯在桌子上，桌子在地上——但它无法为它们分配一个现实世界的尺寸。这对于识别房间里有什么东西来说没问题，但当机器人需要移动手臂时，它就会失效。如果机器人的内部地图显示一个间隙足够宽可以穿过，但这个测量值是基于猜测而非真实的尺子，机器人可能会撞到墙上。问题在于，标准摄像头捕捉的是透视关系，即远处的物体看起来较小，近处的物体看起来较大，这使得计算机如果仅依赖于图像本身，很容易在比例上出错。

研究人员发现，现有的方法往往忽略了告诉摄像头它移动了多远或场景有多深的特定线索。相反，它们倾向于根据物体的外观来猜测大小，例如假设一个咖啡杯是标准尺寸，因为它看起来像个杯子。这种方法是脆弱的；如果光照发生变化或机器人从奇怪的角度观察物体，猜测可能会出现巨大偏差。新的 MAGP 系统旨在停止猜测并开始测量。它通过强制计算机关注机器人传感器提供的物理数据来实现这一点，例如摄像头在两个快照之间移动了多远，或者来自激光扫描仪的深度信息。

为了训练系统依赖这些物理线索而非视觉猜测，研究人员使用了一种巧妙的训练技术。他们获取场景，并在保持图像完全相同的情况下，人为地改变距离测量和摄像头移动的比例。如果机器人的内部模型只是根据场景的外观进行猜测，它就会失败。但由于该系统经过训练以遵循变化的数值，它学会了每当物理数据发生变化时，就更新其对房间大小的精神地图。这个过程被称为“度量比例等变增强”（metric scale equivariant augmentation），它教会了模型：如果摄像头移动了两倍的距离，那么房间也必须大两倍，无论物体看起来是什么样。

结果是，机器人拥有了一把一致的尺子来观察世界。在利用真实世界的房间和物体数据集进行的测试中，新系统将距离测量的误差从超过两米降低到了仅七厘米。这是一个巨大的进步，将模糊、不确定的估计转变为清晰、可靠的测量。即使当机器人拥有不同类型的传感器或部分数据缺失时，该系统依然有效，能够适应可用信息来构建连贯的空间图像。

当这个新的感知系统被接入实际的机器人控制软件时，性能差异显而易见。在一组涉及移动物体的标准任务中，使用度量感知系统的机器人比使用旧方法的机器人成功率更高。在一次涉及两个手臂协同工作的机器人特定测试中，成功率提升了超过六个百分点。机器人能更好地知道精确的抓取位置和触及距离，从而减少了错误并使动作更加流畅。即使在机器人被测试从未见过的任务时，该系统也帮助它们快速适应，表明真实的尺度理解是通用智能的一个强大工具。

这项工作表明，为了让机器人真正掌握物理世界，它们必须停止将环境视为平面图像，而要将其视为一个可测量的空间。通过将它们的视觉植根于现实世界的维度，这些机器可以从仅仅识别物体转向以人类之手般的信心和精度与物体进行互动。研究人员已经证明，当机器人确切知道事物的大小如何时，它们能做的远不止是观察它们。