💻 computer science

Hydra: Marker-Free RGB-D Hand-Eye Calibration

本文介绍了 Hydra，一种利用基于李代数的迭代最近点算法的无标记 RGB-D 手眼标定方法，该方法与现有基准相比实现了显著更高的收敛率、更快的处理速度和更高的任务空间精度，同时提供了开源代码和 ROS 2 集成。

原作者： Martin Huber, Huanyu Tian, Christopher E. Mower, Lucas-Raphael Müller, Sébastien Ourselin, Christos Bergeles, Tom Vercauteren

发布于 2026-09-02

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Martin Huber, Huanyu Tian, Christopher E. Mower, Lucas-Raphael Müller, Sébastien Ourselin, Christos Bergeles, Tom Vercauteren

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

在科幻小说中，能够用手和眼睛活动的机器人是一个经典元素，但在现实世界中，让机器具备感知其手臂在空间中位置的能力，是一个出人意心地复杂的工程难题。这一挑战被称为“手眼标定”（hand-eye calibration），其过程是教会机器人如何将其摄像机获取的数据转化为其自身关节的语言。如果没有这种转换，机器人可能会清晰地看到一个物体，却抓向错误的位置，或者无法理解自身的运动如何改变了视觉画面。几十年来，解决这一问题的标准方案一直依赖于物理标记——即放置在机器人或环境中的特殊图案或贴纸，以便摄像机能够轻松识别。虽然这种方法很有效，但这些标记非常脆弱；如果它们被遮挡、损坏，或者仅仅是不在摄像机的视野范围内，标定就会失败。这种局限性使得在杂乱、不可预测的环境中部署机器人变得困难，因为在这些环境中无法保证始终能使用这些标记。

现在，一组研究人员开发出了一种无需任何标记即可解决此问题的新方法。他们将这种方法称为 Hydra，它允许机器人仅通过观察自己的手臂来进行自我标定。该系统不再依赖特殊的贴纸，而是利用摄像机捕捉机器人金属连杆和关节的形状，然后将该视觉形状与机器人的数字模型进行匹配。研究人员在三种不同类型的机械臂和两种不同的摄像机上测试了这种方法，发现该系统能够在几乎所有情况下成功实现机器人视觉与运动的对齐。值得注意的是，这种新方法仅需三个随机的机械臂位置即可完成，其精度足以媲美使用标记的方法，且速度比其他无标记尝试快了两个数量级。

Hydra 的核心思想是将机器人的手臂视为一个单一的、实心的 3D 物体，而不是一系列移动部件，并将其与摄像机捕捉到的点云进行匹配。过去，研究人员试图通过训练复杂的计算机程序来识别机器人上的特定点，或者使用沉重的计算技术来模拟光线如何在机器人表面反射。这些旧方法通常运行缓慢，且容易陷入局部误差，这意味着机器人会认为自己已经完成了标定，但实际上却存在偏差。Hydra 团队采取了一条不同的路径。他们使用一种现代图像分析工具，从视频流中分离出机器人并将其从背景中提取出来，从而创建一个干净的仅包含手臂的 3D 地图。然后，他们将这个地图与机器人已知的数字蓝图进行对比，通过相互滑动这两个形状，直到它们完美契合。

为了确保这种拟合过程具有鲁棒性（稳健性），研究人员制定了一种侧重于机器人表面而非仅仅是单个点的数学方法。想象一下尝试将两个拼图块组合在一起：如果拼图块略有磨损，仅仅观察角部可能会产生误导，但观察平坦边缘如何相互滑动则能提供更稳定的连接。团队的方法利用这种表面对齐的原理来寻找正确的位置。他们还建立了一种安全机制，可以忽略掉干扰数据点，例如阴影或反射，这些因素经常会让其他系统产生困惑。这使得机器人即使在摄像机视角不理想或处于杂乱空间时，也能找到正确的对齐位置。

实验结果令人瞩目。在对三种不同机械臂（一个大型医疗机器人、一个紧凑型桌面机械臂和一个轻型工业模型）进行测试时，该系统仅使用三个随机位置就在约 90% 的尝试中成功完成了标定。在速度方面，整个过程耗时不到一秒钟，这比其他无标记方法（可能需要超过两分钟）要快得多。标定的精度也令人印象深刻，机器人的手部落点与现实世界中的目标点误差在 5 毫米以内。相比于误差通常在 7 毫米或以上的旧有无标记技术，这是一个显著的进步。虽然使用物理标记的方法有时可能更精确一些，但这种新方法完全消除了对标记的需求，从而为那些不想在设备上粘贴贴纸的用户简化了流程。

这项工作最实用的特点之一是它不要求机器人属于特定的品牌或型号。由于该系统依赖于机器人的通用形状，而非其关节的预设知识，因此它可以应用于几乎任何串联操作器（serial manipulator，这是对具有一系列连接段的常见机械臂的专业术语）。研究人员向公众开放了他们的软件和实验数据，允许其他工程师进行测试和改进。他们还将该系统集成到了一个标准的机器人软件平台中，这意味着开发者现在可以以极小的代价将这一功能应用到自己的机器人中。

该研究确实存在一些局限性。目前该系统需要一台能够测量深度的摄像机，这意味着它无法仅靠标准的 2D 摄像机工作。此外，它仍依赖于人类在初始视频帧中短暂地指出机器人，尽管这种交互非常微小。再者，该方法是在静态环境下测试的，即在标定期间摄像机和机器人都不移动，因此它目前还不适用于时刻处于运动状态的机器人。尽管存在这些约束，这项工作仍代表了使机器人更加自主和易于部署的重要一步。通过消除对物理标记的依赖并大幅缩短设置时间，这种新方法让灵活、自标定机器人的愿景离现实更近了一步。研究人员表示，未来的工作将集中在如何将该方法应用于移动设置，并进一步提高精度以匹配最优秀的基于标记系统的水平。

技术摘要：Hydra：无标记 RGB-D 手眼标定

问题陈述
手眼标定是实现机器人自主性的基本要求，它能够将关节空间转换到笛卡尔参考坐标系中。虽然经典方法依赖于物理标记（如 AprilTags）来建立对应关系，但这些方法对可见性有严格的约束，并增加了用户复杂度。现有的无标记替代方案通常存在显著局限性：一些方法依赖于需要针对特定机器人进行专门建模的有监督学习，而另一些则利用可微渲染（DR），这会带来高昂的计算开销，并由于初始化未知而面临收敛至局部极小值的风险。目前需要一种在任务空间中准确、鲁棒、适用于任何串联机械臂，且无需标记且计算高效的标定方法。

方法论
所提出的方法 Hydra 通过直接将机器人网格（Mesh）与源自 RGB-D 图像的点云进行配准来解决这些挑战，从而绕过了对可微渲染或专用关键点检测器的需求。

数据采集与分割：
- 系统使用基于基础模型 SAM 2 的 RGB 图像实例分割来识别机器人。
- 为了降低对应关系的复杂性并有利于目标函数的表面滑动机制，对分割边界进行了腐蚀处理。
- 这些腐蚀后的掩码被应用于深度图以提取相关的点云，随后利用相机内参将其投影到相机坐标系中。
- 将多个机器人配置融合为一个组合点云，以增强优化景观（Optimization Landscape）。
优化框架（李代数 ICP）：
- Hydra 的核心是一种新型的 迭代最近点（ICP） 算法，该算法在 李代数 $se(3) $上进行构建，以确保变换$ \Theta $保持在特殊欧几里得群$ SE(3)$ 内。
- 目标函数： 该方法最小化一个鲁棒的 点到平面（Point-to-Plane, PTP） 目标函数。给定网格顶点（ $\tilde{m}_i$ ）与观测点（ $\tilde{o}_i$ ）之间的对应关系，算法通过最小化变换后的观测点与网格平面之间的距离来进行优化。
- 线性化： 通过对微小增量进行指数映射线性化，将优化转化为标准的最小二乘问题，可通过矩阵求逆来求解。
- 鲁棒性： 为了处理点云中的离群值，该方法采用了带有 Huber 损失函数的 迭代重加权最小二乘法（IRLS）。噪声标准差通过残差的 中位数绝对偏差（MAD） 进行动态估计。
初始化与执行：
- 通过使用 Kabsch-Umeyama 算法对齐每个配置下网格与点云的质心来计算初始估计。
- 算法通过一个外层循环（寻找对应关系）和一个内层循环（通过李群更新 $\Theta_{j+1} = \Theta_j \exp_{Lie}(\delta\theta)$ 来更新变换）进行迭代。

核心贡献

创新算法： 一种计算高效的 ICP 算法，结合了在李代数上构建的鲁棒 PTP 目标函数，适用于任何串联机械臂，无需针对特定机器人进行训练。
效率与鲁棒性： 该方法避免了可微渲染的运行时开销以及基于 DR 方法的初始化敏感性。
开放生态： 作者提供了开源实现（Apache 2.0 协议）、全面的基准测试数据集，以及带有机器人抽象功能的 ROS 2 集成，以实现无缝部署。

实验结果
该方法在三种串联机械臂（KUKA LBR Med 7, Mecademic Meca500, UFACTORY xArm 7）和两种 RGB-D 相机（Intel RealSense D435, Stereolabs ZED 2i）上进行了评估，共计 270 个独特样本。

收敛率： Hydra 仅使用三个随机选择的机器人配置即可实现约 90% 的成功标定率。与基于标记和无标记基准（包括 EasyHeC）相比，其收敛至全局最优解的速率提高了 2–3 倍。
计算速度： 对于 9 个机器人配置，该方法展示了 0.8 ± 0.4 秒 的收敛时间，比无标记的 EasyHeC 方法（132.7 ± 17.4 秒）快了 两个数量级。
精度： 在任务空间中，Hydra 达到了 5 mm 的精度，显著优于传统的基于标记的方法（7 mm）。虽然 PnP 方法（依赖已知的末端执行器变换）显示出更低的误差（例如 0.6–1.8 mm），但作者指出其在面对多变末端执行器时实用性较低。
重复性： 当机器人在足够多样的配置下被观察时，Hydra 保持了 100% 的成功率，而类似的无标记基准 EasyHeC*（经 SAM 2 改编后）在相同条件下成功率降至 33%。

意义与局限性
论文声称，Hydra 是首个证明利用基础模型的图像空间分割结合基于李代数的 PTP ICP，可以为多样化硬件提供可行的无标记手眼标定抽象的方法。它提供了一种比可微渲染更简单的替代方案，仅依赖于线性化目标函数的矩阵求逆。

作者指出了具体的局限性：

该方法依赖于 RGB-D 相机和 SAM 2，这需要有限的用户交互进行提示（Prompting）。
目前设计用于静态设置，不支持眼在手上（Eye-in-hand）配置或在不重新标定的情况下进行动态运动。
在 Meca500 机器人上的表现略有下降，这是由于网格数据稀疏以及有效相机分辨率较低，偶尔会导致陷入局部极小值。

尽管存在这些限制，这项工作仍将 Hydra 定位为使通用机器人手眼标定更加易用、鲁棒且可部署的重要进步。

技术摘要：Hydra：无标记 RGB-D 手眼标定

类似论文