💻 computer science

G2G: Exploiting Intra-Group Geometry for Inter-Group Pose Estimation

该论文介绍了 G2G，这是一种轻量级的、基于冻结基础模型的方案，它通过三个可训练模块利用组内几何结构，在多种数据集之间实现了最先进的图像组间相对 6 自由度位姿估计。

原作者： Yufei Wei, Shuhao Ye, Chenxiao Hu, Yiyuan Pan, Dongyu Feng, Rong Xiong, Yue Wang, Yanmei Jiao

发布于 2026-06-09

📖 1 分钟阅读☕ 轻松阅读

原作者： Yufei Wei, Shuhao Ye, Chenxiao Hu, Yiyuan Pan, Dongyu Feng, Rong Xiong, Yue Wang, Yanmei Jiao

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在试图弄清楚两组不同的照片在 3D 空间中是如何相互关联的。

问题所在：“无序的混乱”
通常情况下，当计算机观察一组照片以理解它们所处的位置时，它们会将每一张照片仅仅视为庞大且混乱堆栈中的一个独立项。它们并不知道这些照片是否是作为一个序列（如视频剪辑）被拍摄的，或者是否是由机器人上的摄像机阵列在同一时刻拍摄的。

现有的 AI 模型在处理“单组”照片并理解房间形状或路径方面表现出色。但当你问它们：“好，那么这组照片是如何与那组照片连接起来的？”时，它们往往会迷失方向。它们试图直接匹配像素（就像是在尝试匹配冬天的叶子和夏天的叶子），而这种方式在季节变换或光照变化时会彻底失败。

解决方案：G2G (Group-to-Group)
该论文的作者构建了一个名为 G2G 的新系统。你可以把它想象成一个聪明的翻译官，它能在不重写书本的情况下，将两个独立的故事连接起来。

它是这样工作的，使用一个简单的类比：

1. 冻结的图书馆（基础模型）

想象一位极其聪明、博学多才的图书管理员（“基础模型”），他读过世界上所有的书。这位管理员只需通过看照片，就能精准地理解单个房间的几何结构或单条路径。

诀窍： G2G 团队决定不重新训练这位图书管理员。他们让管理员的大脑保持完全“冻结”状态。为什么要这样做？因为这位管理员已经具备了理解单组照片“内部逻辑”的专业能力（例如，知道在同一段视频中，照片 A 与照片 B 之间相距 5 米）。重新训练他们既昂贵，又可能让他们忘记已有的通用知识。

2. 新的助手们（可训练模块）

由于图书管理员擅长处理单组照片，却不擅长连接“两组”不同的照片，团队在图书管理员之上添加了三个小型、轻量级的助手。这些助手仅占整个系统规模的约 6%（仅占大脑能力的极小部分）。

总结者 (Perceiver Resampler)： 图书管理员会为助手们提供每张照片极其详尽的笔记。助手们会迅速将这些笔记总结成几个关键的“要点”（潜在标记/latent tokens），以免被过量的数据淹没。
桥梁搭建者 (Cross-Group Bridge)： 这是全场的明星。它获取 A 组和 B 组的要点，并将它们融合在一起。它使用特殊的“标签”来记住哪张照片属于哪一组，以及哪张照片是“锚点”（起始点）。然后，它利用一种巧妙的注意力机制来表达：“好的，A 组的几何结构显示我们在位置 A；B 组的几何结构显示我们在位置 B；让我们来确定它们之间的变换关系。”
计算器 (Pose Head)： 一旦桥梁连接了两组数据，这个最后的助手就会计算出对齐它们所需的精确 3D 位置和旋转角度。

3. 为什么它比旧方法更好

旧的方法试图将 A 组中的每一张照片与 B 组中的每一张照片进行匹配（就像试图通过将每个人的脸与人群中的每一个人进行对比，来寻找一个特定的面孔）。这不仅速度慢，而且如果季节发生变化（例如，树木在夏天有叶子，但在冬天是光秃秃的），这种方法就会失效。

G2G 的方法不同：

它首先信任每一组照片的“内部几何结构”。它知道：“在 A 组中，这些照片构成了一条连贯的路径。”
然后，它利用这种稳固的几何结构来架起通往 B 组的桥梁。
因为它依赖于由冻结的图书管理员提供的“形状”和“结构”，而非仅仅匹配像素颜色，所以即使在场景发生剧烈变化（如季节更替）或机器人在颠簸路径上行驶时，它依然能够保持有效。

结果

论文在四种场景下对其进行了测试：

室内模拟： 虚拟房间。
室外模拟： 虚拟地面机器人。
现实世界的季节变化： 机器人在冬季和夏季穿行于校园。
模拟到现实 (Sim-to-Real)： 在视频游戏中训练机器人，然后在真实机器人上进行测试。

在所有案例中，G2G 都是最准确的方法。它在处理“困难”任务时表现尤为出色：例如，当视觉外观完全不同（季节变化）或机器人的运动方式会让其他模型感到困惑时，依然能成功连接两组数据。

简而言之： G2G 利用了一个理解单组照片的超强预训练 AI，通过冻结它来保存其知识，并添加了一个微小的专门团队，来解决如何连接两组不同照片的问题。它快速、准确，并且不需要每次都从头开始重新训练。

技术摘要：G2G —— 利用组内几何结构进行组间位姿估计

1. 问题定义

本文研究的是组对组（Group-to-Group, G2G）位姿估计，这是机器人感知中的一项基础任务，涉及恢复两个不同图像组之间相对的六自由度（6-DoF）刚性变换。该任务支撑着两个关键应用：

跨序列视觉重定位： 对齐在不同遍历过程中捕获的单目序列段（时间组）。
多相机标架里程计： 确定来自多相机标架的同步观测之间的相对位姿（空间组）。

在这两种场景中，输入由两个图像组（ $G_A$ 和 $G_B$ ）组成，其中组内几何结构（每个组内的相对位姿）是已知的，但可能存在噪声（源自视觉里程计、SLAM 或标定）。目标是恢复未知的组间变换。现有方法在这些场景下往往表现不佳，因为它们要么将所有输入视图视为无结构的集合（忽略了已知的组内几何），要么依赖于对动态物体、季节变化和场景变化脆弱的迭代成对匹配。

2. 方法论：G2G 架构

作者提出了 G2G，一种“冻结并桥接（freeze-and-bridge）”架构，它利用预训练的多视图基础模型，且无需重新训练其核心权重。该系统由一个冻结的主干网络和三个轻量级的可训练模块组成。

2.1 冻结的基础主干

该方法采用 MapAnything [10] 作为每组的特征提取器。该主干网络保持完全冻结（约 5.39 亿参数）。

输入： 对于每一帧，它接收 RGB 图像、相机外参（分解为四元数和位移）以及由内参导出的逐像素射线方向。
功能： 它将已知的组内几何融合进视觉特征中，独立地为每个组生成几何增强的补丁特征（ $F_g$ ）。这使得模型能够利用基础模型已经学习到的将视觉 Token 锚定在相机几何中的“硬任务”。

2.2 可训练模块（总计约 3200 万参数）

在冻结的主干之上添加了三个模块来连接这两个组：

感知重采样器（Perceiver Resampler）： 将每帧的 $P$ 个补丁 Token 压缩为更小的一组 $L$ 个潜在 Token ( $Z_g$ )。这降低了序列长度，以管理后续桥接过程中的计算成本。
跨组桥接器（Cross-Group Bridge）： 通过**合并自注意力（merged self-attention）**连接两个组。
- 它将来自两个组的潜在 Token 进行拼接。
- 它使用三种可学习的嵌入来增强 Token：
  - 帧嵌入（Frame Embedding）： 编码一帧在其组内的位置（适用于时间组和空间组的共享语义）。
  - 组嵌入（Group Embedding）： 区分属于组 A 还是组 B 的 Token。
  - 锚点嵌入（Anchor Embedding）： 将锚点帧（ $A_0$ ）标记为全局参考。
- 两个自注意力层对这些 Token 进行精炼，从而实现统一方式下的跨组交换和组内上下文共享。
多帧位姿头（Multi-Frame Pose Head）： 在单次前向传播中预测每个目标帧相对于共享锚点 $A_0$ $A_{0}$ 的位姿。
- 它使用带有可学习位姿查询（旋转和平移）的共享交叉注意力层。
- 它将特征解码为 6D 连续旋转和 3D 平移，输出完整的位姿集 $\{T_{A_0 \leftarrow A_i}\} \cup \{T_{A_0 \leftarrow B_j}\}$ 。

2.3 训练策略

监督： 模型仅使用相对位姿作为监督信号进行训练。深度图仅在数据集构建期间用于评分视觉重叠度和选择训练对，而不作为损失信号。
课程学习（Curriculum Learning）： 一个三阶段调度方案逐渐引入更难的训练对（较低的视觉重叠度），以稳定收敛。
噪声增强： 在训练期间，输入的外参会受到 SE(3) 噪声的扰动，以提高对里程计漂移和标定误差的鲁棒性，从而教会模型进行去噪而非单纯复制输入。

3. 核心贡献

统一的问题表述： 本文将跨序列重定位和多相机标架里程计统一为具有共享输入-输出接口的单一 G2G 任务，使单个模型能够服务于多种下游应用。
“冻结并桥接”架构： 通过保持基础模型冻结并仅添加约 3200 万个可训练参数（不足全模型的 6%），该方法实现了高效的数据驱动训练，并保留了大模型预训练的泛化能力。
最先进的性能（SOTA）： 该方法在涵盖室内/室外模拟、真实世界跨季节采集以及零样本模拟到现实迁移的四个数据集（HM3D, TartanGround, NCLT, ZJH）上实现了卓越的准确度，超越了那些使用其原始完整监督（包括稠密深度）进行重训练的基准方法。

4. 实验结果

论文将 G2G 与经典流水线（LoMa）、学习型局部特征匹配器（CoViS-Net）以及前馈多视图模型（VGGT, Reloc3R, Rig3R, MapAnything 变体）进行了对比评估。

跨序列定位： G2G 在所有数据集上均实现了最佳的非 Oracle 平移和旋转误差。值得注意的是，在 NCLT 数据集（跨季节）上，G2G 保持了 $2.47^\circ$ 的旋转误差和 $5.43^\circ$ 的平移方向误差（RTA），而像 VGGT 和 Reloc3R 这样的基准方法由于依赖于在季节变化下失效的视觉对应关系，其性能显著下降（RTA > $40^\circ$ ）。
多相机标架里程计： G2G 超越了感知标架的基准方法（Rig3R）和多视图模型。在 TartanGround 数据集上，Rig3R 出现了过拟合现象（在留出场景上的旋转误差为 $37.9^\circ$ ），因为其全可训练解码器缺乏一个冻结的锚点来保留预训练的几何先验。而 G2G 保持了 $1.63^\circ$ 的误差。
模拟到现实的迁移（Sim-to-Real Transfer）： 在 ZJH 数据集上，完全在模拟数据上训练的模型实现了向真实世界人形机器人采集数据的零样本迁移，在无需微调的情况下保持了高精度（平移 $1.206 $m，旋转$ 3.46^\circ$）。
效率： G2G 在单次前向传播中生成所有目标位姿（<50 ms），而成对匹配方法需要进行 $N_A \times N_B$ 次推理（例如，对于 5 帧组需要 25 次推理），导致显著更高的延迟。

5. 重要性与主张

论文主张，当前多视图位姿估计的主要瓶颈在于缺乏尊重已知组内几何的跨组推理能力。

几何作为先验： 作者认为，基础模型已经学习了如何在组内融合内参和外参。缺失的部分是跨组进行推理的能力。通过冻结主干网络，G2G 保留了这种几何理解，而轻量级的桥接模块则提供了缺失的跨组逻辑。
对外观变化的鲁棒性： 该方法依赖于几何调节的特征而非纯粹的视觉匹配，因此在季节变化、光照变化和动态物体面前具有鲁棒性，而依赖视觉对应关系的方法（如 VGGT 或 Reloc3R）在这些情况下会失效。
数据效率： “冻结并桥接”的设计使模型能够泛化到新领域（模拟到现实），并在面对小型训练集（TartanGround）时不会出现过拟合，这是像 Rig3R 这样的全可训练基准方法所观察到的失败模式。

论文得出结论，G2G 提供了一种统一、高效且鲁棒的组间位姿估计解决方案，有效地弥合了基础模型能力与特定机器人感知任务之间的鸿沟。