COG: Confidence-aware Optimal Geometric Correspondence for Unsupervised Single-reference Novel Object Pose Estimation

本文提出了一种名为 COG 的无监督框架，通过将置信度感知点匹配建模为最优传输问题并结合视觉基础模型的语义先验，有效解决了单参考视图下新物体 6DoF 姿态估计中的遮挡与异常值挑战，实现了媲美甚至超越监督方法的性能。

要点

这篇论文介绍了一种名为 COG 的新方法，它的任务是：只给你一张物体的照片（参考图）和另一张不同角度的照片（查询图），让电脑自动算出这个物体在第二张照片里是怎么摆放的（位置和角度）。

而且，最厉害的是，它不需要提前告诉它这个物体长什么样（不需要 CAD 模型），也不需要给它看成千上万张标好答案的图（不需要人工标注的监督数据）。它是“自学成才”的。

为了让你更容易理解，我们可以把这个过程想象成两个侦探在拼一张破碎的地图。

1. 核心难题：拼图时的“指鹿为马”

想象一下，你手里有两张同一个物体（比如一个杯子）的照片，一张是正面，一张是侧面。

• 旧方法的问题：以前的电脑像是一个死板的侦探，它试图在两张图里找“一一对应”的点。比如，它强行把正面图上的“杯口左边缘”和侧面图上的“杯底右边缘”连在一起，因为它觉得这两个点颜色差不多。结果就是张冠李戴，算出来的位置全是错的。而且，它太依赖几个明显的特征点（比如杯把手），一旦这些点被挡住了（遮挡），它就彻底懵了。
• COG 的突破：COG 不像死板的侦探，它像一个聪明的老侦探。它知道：“嘿，这张图里有些点看得很清楚，有些点被挡住了或者太模糊了，我不该强行把它们连起来。”

2. 核心魔法：给每个点发“自信度”徽章

COG 的核心创新在于它给图像上的每一个点都发了一枚**“自信度徽章”（Confidence）**。

• 什么是自信度？

  • 如果一个点看得很清楚，而且能确定它在另一张图里对应哪里，COG 就给它发一个金色的“高自信”徽章（数值接近 1）。
  • 如果一个点被挡住了，或者太模糊，或者两张图里根本找不到对应的地方，COG 就给它发一个灰色的“低自信”徽章（数值接近 0）。

• 为什么要这么做？
  这就好比在拼拼图时，COG 会告诉系统：“那些拿灰色徽章的点，你们别硬凑，把它们忽略掉；只让那些拿金色徽章的点去互相握手。”
  这样，系统就不会被那些乱七八糟的干扰点（比如背景里的桌子、被遮挡的部分）带偏了。

3. 工作原理：最优运输（Optimal Transport）

论文里用了一个很数学的词叫“最优运输”，我们可以把它想象成**“最公平的物流调度”**。

• 传统做法：像发快递，不管包裹重不重要，每个点都要强行发一个快递到对面。这会导致很多没用的包裹（错误的匹配）把物流系统堵死。
• COG 的做法：它把“自信度”变成了**“货物重量”**。
  • 高自信的点（金色徽章）= 重货物，必须优先运输，必须找到对应的地方。
  • 低自信的点（灰色徽章）= 轻货物，甚至可以不用运。
  • 系统会计算一种**“全局最优”**的运输方案，让那些重要的点完美对齐，同时自动忽略那些不重要的点。

4. 它的“老师”是谁？（无监督学习）

既然没有老师（没有标准答案）教它怎么拼，它怎么知道自己做得对不对呢？

COG 用了一种**“自我反省”**的机制：

1. 先猜：它先猜一个位置，把两张图拼在一起。
2. 找茬：
   • 几何检查：拼好后，点是不是重合了？如果重合了，说明猜对了。
   • 语义检查：它用了像 DINO 这样的大模型（相当于一个见过世面的“艺术鉴赏家”），看看拼在一起的点是不是“同类”。比如，杯子的把手只能和杯子的把手拼，不能和杯底拼。
   • 循环检查：从图 A 到图 B，再从图 B 回到图 A，能不能回到原点？
3. 打分：如果拼得不好，那些“错误”的点就会得到低分（低自信）。
4. 学习：COG 根据这些分数，调整自己的策略：“下次遇到这种模糊的点，我就少给它点自信，别让它乱指挥。”

就这样，它在不断的“猜测 - 检查 - 自我修正”中，学会了如何精准地给物体定位。

5. 总结：COG 到底强在哪？

• 像人一样思考：它不像以前的程序那样死板地找点，而是懂得**“抓大放小”**，知道哪些点可信，哪些点该忽略。
• 不需要“教科书”：它不需要人类教它什么是杯子、什么是椅子，它自己就能从几何形状和视觉特征里学会怎么匹配。
• 抗干扰能力强：即使物体被挡住了一部分，或者背景很乱，只要它还能找到几个“高自信”的关键点，就能算出准确的位置。

一句话总结：
COG 就像一个拥有“火眼金睛”的拼图大师，它不需要别人告诉它答案，自己就能通过判断每个碎片的“靠谱程度”，在混乱的图像中精准地找到物体的位置，哪怕只有一张参考图也能搞定。

技术摘要

1. 研究背景与问题定义 (Problem)

核心任务：单参考视图下的新物体姿态估计（Novel Object Pose Estimation）。

• 输入：一个未知物体（Novel Object）的查询图像（Query）和一张参考图像（Reference），两者均为 RGB-D 图像。
• 目标：估计查询图像相对于参考图像的 6DoF 刚体变换（旋转和平移）。
• 挑战：
  1. 遮挡与视角变化：查询和参考视图之间可能存在严重的遮挡和巨大的视角差异，导致只有部分区域重叠。
  2. 对应关系寻找困难：现有方法多依赖离散的一对一匹配（如 argmax），这容易导致匹配坍塌到少数几个关键点，忽略大量有效点，且这种离散操作不可微，阻碍了无监督学习。
  3. 缺乏监督信号：在真实场景中，往往缺乏 CAD 模型、真值姿态或重叠区域标签，使得传统的监督学习方法难以直接应用。

2. 方法论 (Methodology)

作者提出了 COG (Confidence-aware Optimal Geometric Correspondence) 框架，这是一个端到端的无监督学习框架。其核心思想是将对应关系寻找建模为**带置信度的最优传输（Optimal Transport, OT）**问题。

2.1 整体流程

1. 预处理：
   • 使用分割模型（如 UnoSeg）从 RGB 图像中提取物体掩码。
   • 将深度图反投影生成 3D 点云。
   • 利用视觉基础模型（如 DINO）提取每点的语义特征，作为几何特征的补充。
2. 粗 - 精架构 (Coarse-to-Fine)：
   • 粗粒度阶段：对点云进行最远点采样（FPS），使用几何 Transformer 提取特征，预测初始姿态。
   • 细粒度阶段：使用全量点云和位置编码进行精细化对齐。
3. 核心模块：置信度感知的最优传输 (Confidence-aware OT)
   • 置信度预测：网络预测每个点的置信度分数 $c \in [0, 1]$，表示该点在另一视图找到有效匹配的可能性。
   • 边际约束 (Marginals)：将归一化后的置信度作为 OT 问题的目标边际（Target Marginals）。这与传统 OT 使用均匀边际不同，能够自动抑制非重叠区域和异常点。
   • 核函数 (Affinity Kernel)：结合几何特征相似度和去噪后的语义特征相似度构建亲和矩阵 $K$。
   • Sinkhorn 算法：求解 OT 问题，得到软对应矩阵（Soft Correspondence Matrix），实现点对点的概率化匹配，而非离散匹配。
4. 姿态估计：
   • 利用软对应矩阵将点云投影到对方空间（凸组合）。
   • 使用置信度加权的 SVD (Umeyama 算法) 求解刚体变换。
5. 无监督损失函数：
   • 循环一致性损失 (Cycle Consistency)：确保点 $P \to Q \to P$ 能还原。
   • 姿态对齐损失 (Pose Loss)：基于 Chamfer 距离的加权损失。
   • 语义一致性损失 (Semantic Loss)：利用 DINO 特征约束语义一致区域的匹配。
   • 置信度学习 (Confidence Learning)：由于缺乏真值置信度，利用上述几何、语义和循环一致性生成的伪标签（Pseudo Labels）来监督置信度分支的学习。

2.2 关键技术细节

• 语义去噪：原始 DINO 特征包含视图依赖的噪声，作者采用类似 STEGO 的策略对语义特征进行去噪，提高跨视图语义一致性。
• 伪置信度生成：通过高斯核函数将几何距离、语义距离和循环误差转化为软内点概率，作为置信度分支的自监督信号。

3. 主要贡献 (Key Contributions)

1. 置信度感知的最优传输公式：首次将点级置信度显式地作为 OT 的目标边际引入。相比均匀边际，该方法能生成全局平衡的软对应关系，自然抑制非重叠区域和异常点，解决了离散匹配导致的坍塌问题。
2. 端到端无监督框架：提出了一种无需 CAD 模型、真值姿态或重叠标签的端到端管道。通过联合学习物体姿态和点有效性置信度，实现了真正的无监督优化。
3. 性能突破：
   • 无监督设置：COG 在无监督设置下达到了与当前最先进（SOTA）的有监督方法相当的性能。
   • 有监督设置：当引入姿态监督时，COG 超越了所有现有的有监督方法，证明了其架构的优越性。

4. 实验结果 (Results)

• 数据集：在 Google Scanned Objects 和 ShapeNet 上训练，在 BOP 基准（LM-O, TUD-L, YCB-V）上测试。
• 定量表现：
  • 在 TUD-L（几何结构复杂物体）上，无监督 COG 比 SOTA 有监督方法 UnoPose 高出 2.8%。
  • 在 LM-O 和 YCB-V（遮挡严重、杂乱场景）上，无监督 COG 与 UnoPose 差距极小（平均差距仅 2.1%）。
  • 有监督版本的 COG 在所有基准测试中均取得 SOTA 成绩。
• 定性分析：
  • 重叠区域预测：COG 能准确区分重叠和非重叠区域，置信度图清晰反映了有效匹配区域。
  • 鲁棒性：在严重遮挡和视角变化下，仍能保持稳定的姿态估计。
• 消融实验：
  • 证明了“置信度边际 OT"优于“均匀边际 OT"和传统的 Argmax/Softmax 匹配。
  • 语义先验和循环一致性损失对提升几何对齐精度至关重要。
  • 仅需 1% 的训练数据即可达到显著优于纯语义基线的性能，展示了极高的数据效率。

5. 意义与影响 (Significance)

• 推动无监督学习：证明了在缺乏昂贵标注数据（CAD 模型、姿态真值）的情况下，通过设计合理的几何与语义约束，可以实现高质量的物体姿态估计。
• 解决对应关系难题：通过引入置信度作为 OT 边际，巧妙地解决了传统方法中“匹配坍塌”和“不可微”的问题，为点云配准和姿态估计提供了新的理论视角。
• 实际应用价值：该方法对未知物体（Novel Objects）具有极强的泛化能力，且不需要预先训练特定类别的模型，非常适合机器人抓取、增强现实（AR）等开放世界场景的部署。
• 未来方向：论文也指出了当前在分割错误传播和对称物体处理上的局限性，为后续研究（如联合分割 - 姿态优化、硬约束引入）指明了方向。

总结：COG 通过创新的“置信度感知最优传输”机制，成功将无监督学习引入单参考新物体姿态估计领域，在保持高泛化能力的同时，实现了与有监督方法媲美甚至超越的性能，是该领域的重要进展。