🤖 machine learning

Bi-Manual Joint Camera Calibration and Scene Representation

本文介绍了 Bi-JCR，这是一个利用 3D 基础模型来实现双臂机器人摄像头的无标记联合标定，并直接从 RGB 图像构建统一且尺度一致的 3D 场景表示，从而促进下游双臂协调任务的框架。

原作者： Haozhan Tang, Tianyi Zhang, Matthew Johnson-Roberson, Weiming Zhi

发布于 2026-07-13

📖 1 分钟阅读☕ 轻松阅读

原作者： Haozhan Tang, Tianyi Zhang, Matthew Johnson-Roberson, Weiming Zhi

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下有两个机器人手臂，就像一对机械好朋友，正试图在桌子上协同工作。通常情况下，在它们能击掌或传递工具之前，它们需要准确知道自己的眼睛（摄像头）是如何安装在手上的，以及它们彼此之间的相对位置。传统上，获取这些信息是一项枯燥且繁琐的工作：你必须把一种特殊的棋盘格图案贴在墙上，移动机器人进行拍照，然后通过数学计算来确定角度。这就像是试图通过盯着一个额头上贴着尺子的镜子来学习跳舞一样。

这篇论文介绍了一种被称为 Bi-JCR（双臂联合标定与表示）的新技巧。Bi-JCR 不再使用那些烦人的棋盘格，而是让机器人直接观察摆满随机物品（如勺子、胶带卷、工具箱）的杂乱桌面，从而实现自主感知。

它是如何工作的：“神奇大脑”与拼图
其核心秘诀是一个“3D 基础模型”。你可以把它想象成一个超级聪明的、经过预训练的“大脑”，它见过数百万张图像，仅凭看平面照片就能猜出房间的 3D 形状。当机器人拍摄桌面照片时，这个大脑会构建出一个粗略的 3D 地图。但问题在于，这个大脑并不知道物体的真实尺寸（那把勺子是 5 英寸长还是 5 英尺长？），也不知道机器人的底座具体在哪里。

Bi-JCR 扮演着“侦探”的角色，负责将这些点连接起来。它提取机器人自身的运动日志（我们确切知道机器人手臂是如何移动的），并将这些日志与“神奇大脑”做出的“猜测”进行对比。通过解开一个巨大的数学谜题，它能同时确定三件事：

摄像头在手上的位置： 它将机器人的眼睛与手部对齐。
两个机器人的站位： 它计算出两个机器人底座之间的距离。
现实世界的比例尺： 它计算出一个“神奇数字”，将大脑模糊的 3D 猜测转化为真实的、具有度量比例的地图（这样勺子就是勺子，而不是巨人手中的勺子或微缩模型）。

论文强调的“并非答案”
作者非常明确地指出：他们没有使用棋盘格、AprilTags 或任何特殊的标记物。他们也没有依赖机器人拥有完美的深度传感器（如 LiDAR）或预先存在的物体 3D 模型。他们明确反对旧有的方法，即那种需要停止机器人、粘贴标记物，并分别对每个机械臂进行标定后再尝试将它们融合在一起的做法。他们的这种方法是在一次性完成所有工作，仅使用机器人自带的标准 RGB 摄像头。

他们有多确定？（证据）
团队不仅是凭空构想，还在现实世界中进行了测试。他们设置了两个真实的机械臂（AgileX Piper 6 自由度机械臂）并配备了廉价的 USB 网络摄像头。他们在三种不同的光照条件下，针对不同数量的物体（9 个或 10 个物品）进行了实验。

标定精度： 他们将自己的方法与其他流行工具（如 COLMAP 和 Ray Diffusion）进行了对比。结果显示，Bi-JCR 的一致性更高。当每个机器人仅使用 4 张图像时，他们的法仍然有效，而其他方法往往无法找到解。即使在使用更多图像（最多 9 张）的情况下，他们的误差率依然保持在较低水平。例如，“旋转误差”（即角度偏差）在 4 张图像时约为 0.0769，在 9 张图像时降至 0.0612。
比例尺精度： 他们测量了真实的物体，如勺子、茶盖和电池。仅使用每台机器人 8 张图像时，重建的 3D 模型就极其精确。他们观察到的最大误差为 2.98%（针对一个摇杆），而中值误差仅为 1.48%。这意味着如果一个真实的勺子是 10 英寸，机器人的地图显示它大约是 10.15 英寸。
“精细化”步骤： 他们测试了运行“梯度下降”（一种数学微调过程）是否会有帮助。他们发现，当图像稀缺时（仅有 4 个视角），这一步效果显著，能大幅降低误差。但当拥有充足图像（8 个视角）时，额外的步骤帮助微乎其微。
大脑的选择： 他们尝试了不同的“基础模型”（即神奇大脑）。他们发现名为 DUST3R 的模型表现最好，在几乎所有测试中都击败了 MASt3R 和 VGGT 等其他模型。

大结局：它们真的能干活吗？
最终的测试不仅仅是数字，而是行动。一旦机器人完成了标定，它们就会利用 3D 地图执行实际任务。

协同抓取： 它们共同抬起了沉重且笨拙的物体，如工具箱和电池组。
交接物品： 它们成功地在两个机器人之间传递了较小的物品（如扳手、勺子、胶带卷）。

论文得出结论：由于机器人准确掌握了自身位置和物体大小，它们可以无需人类帮助或特殊标记物即可完美协作。作者建议，未来可以利用 AI 大脑提供的“置信度”评分，来指导机器人拍摄哪些新的照片以进一步优化地图，但目前，他们已经证明了这种无标记、联合标定的方法在现实世界中是行之有效的。

技术摘要：双臂关节相机标定与场景表示 (Bi-JCR)

问题陈述
双臂机器人操作通常需要多个刚性安装在机器人末端执行器上的相机。在这些系统能够生成运动或构建环境表示之前，必须先进行标定，以确定相机相对于末端执行器的外参变换以及两个机械臂基座之间的相对位姿。传统的“手眼”标定依赖于使用外部标记（如棋盘格或 AprilTag）的离线程序，这既繁琐又容易在动态实验室环境中失效。将这些方法扩展到双臂系统并非易事，因为这需要融合两个独立的坐标系，通常需要第二个机械臂来持有标记物。本文解决了在无需任何外部标定标记的情况下，对带有腕部安装相机的双机械臂进行标定，并同时恢复共享工作空间内具有度量比例的 3D 表示的挑战。

方法论
所提出的框架——双臂关节标定与表示 (Bi-JCR)——利用 3D 基础模型进行无标记标定和场景重建。该过程包含以下关键步骤：

数据采集： 控制两个机械臂（主机械臂和从机械臂）经过一系列 $N$ 个不同的末端执行器位姿，并在每个位姿下捕获 RGB 图像。已知前向运动学（基座到末端执行器的变换），但相机到末端执行器的变换 ( $T^E_C$ )、两个机器人基座之间的相对位姿 ( $P^{b_1}_{b_2}$ ) 以及全局比例因子是未知的。
3D 基础模型推理： 将从两臂收集到的 RGB 图像集输入到预训练的 3D 基础模型（例如 DUSt3R）中。该模型输出：
- 在任意无比例坐标系中的相对相机位姿。
- 对应于场景几何结构的稠密 3D 点集。
- 重建点的置信度图。
联合优化公式化： Bi-JCR 构建了一个联合优化问题，以恢复未知的变换和比例因子 ( $\lambda$ $λ$ )。
- 初始解： 该问题被分解为：首先利用 $SO(3)$ 流形上的线性代数求解旋转分量（与比例无关），随后将问题视为相似度比例恢复问题 (SRP)，通过最小二乘法求解平移和比例因子。
- 精细化： 通过在变换矩阵的流形 ($SE(3)$) 上进行梯度下降来精细化初始估计值。代价函数旨在最小化观察到的末端执行器运动与从基础模型相机位姿中推断出的运动之间的差异，遵循经典的 hand-eye 标定方程 $AX = XB$。
度量比例重建： 一旦恢复了比例因子 $\lambda$ 以及从基础模型坐标系到机器人基座坐标系的变换，即可将无比例的点云进行缩放并变换到统一的、具有度量比例的坐标系（即主机械臂的基座坐标系）中。这产生了一个适用于碰撞检查和语义分割等下游任务的稠密 3D 表示。

核心贡献

Bi-JCR 框架： 一种新颖的方法，能够同时对双机械臂上的腕部安装相机进行标定，并构建统一的 3D 环境表示，且无需使用外部标记。
联合优化问题： 一种通过单组 RGB 图像恢复相机到末端执行器的变换、臂间相对位姿以及度量比例因子的公式化方法，在统一的优化过程中求解所有变换。
实证验证： 在现实世界的桌面环境中进行了严格评估，证明了该方法能够产生准确的标定和具有度量精度的 3D 重建，并经过了基准方法和真实值的验证。

实验结果
作者使用配备 USB 网络摄像头的两台 AgileX Piper 机械臂，在各种光照条件和物体密度下对 Bi-JCR 进行了评估。

标定精度： 与 COLOMP（在杂乱场景中难以处理对应关系）和 Ray Diffusion（在位姿回归方面存在不一致性）等基准方法相比，Bi-JCR 在旋转和平移方面始终实现了更低的残差误差。即使在输入图像较少（每臂仅 4 张）的情况下，该方法也表现出了鲁棒性。
比例恢复： 恢复的度量比例非常准确。在使用每台机械臂 8 张图像的情况下，重建物体尺寸的误差最大为 2.98%（中位数为 1.48%），证实了系统恢复现实世界度量单位的能力。
基础模型选择： 消融研究比较了不同的 3D 基础模型（DUSt3R, MASt3R, VGGT）。DUSt3R 在所有视图计数下均表现出最佳的标定残差，优于 MASt3R 和 VGGT。
梯度下降精细化： 通过梯度下降进行的精细化步骤显著提高了旋转精度，尤其是在稀疏视图（图像较少）的情况下，尽管其边际收益随着视图数量的增加而减小。
下游任务： 该框架成功实现了复杂的双臂任务，包括协调抓取重物（如工具箱）以及在两臂之间传递小物体（如勺子、扳手），展示了统一坐标系和稠密 3D 表示的实用价值。

意义与主张
本文声称 Bi-JCR 提供了一个统一的解决方案，消除了对繁琐的、基于标记的离线标定程序的依赖。通过利用 3D 基础模型，该框架能够实现跨双视角的视觉数据即时融合，从而促进抓取和物体传递等下游双臂协作任务。作者强调，其方法产生了一个位于共同坐标系中的稠密、尺寸准确的 3D 表示，直接支持碰撞检查和语义分割，而不依赖于外部深度传感器或标记。未来的工作建议利用来自基础模型的置信度掩码，以主动引导图像采集，并持续精细化场景重建与标定。

技术摘要：双臂关节相机标定与场景表示 (Bi-JCR)

类似论文