🔢 mathematics

HOT-POT: Optimal Transport for Sparse Stereo Matching

本文提出了 HOT-POT，一种无监督稀疏立体匹配框架，该框架利用结合了极线距离和 3D 射线距离的最优传输，以克服几何挑战并实现高效的特征与物体匹配，特别是在对齐不同的面部特征点约定方面。

原作者： Antonin Clerc, Michael Quellmalz, Moritz Piening, Philipp Flotho, Gregor Kornhardt, Gabriele Steidl

发布于 2026-08-25

📖 1 分钟阅读🧠 深度阅读

原作者： Antonin Clerc, Michael Quellmalz, Moritz Piening, Philipp Flotho, Gregor Kornhardt, Gabriele Steidl

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

在计算机视觉领域，赋予机器感知深度能力是一项根本性的挑战。正如人类的双眼通过比较同一场景的两个略微不同的视角来判断距离一样，成对的摄像机也可以通过重建三维世界来将平面图像转化为立体空间。这一过程被称为立体匹配（stereo matching），它是自动驾驶汽车障碍物检测以及用于安全或医疗分析的面部3D扫描背后的核心引擎。然而，现实世界是混乱的。光线会变化，物体会互相遮挡，且摄像机捕捉的信息类型也往往不同，例如可见光与热成像。当这些系统依赖于稀疏数据（即它们只追踪少数关键点，如眼睛的角落或鼻尖，而非每一个像素）时，这项任务会变得异常困难。定位一个点的微小误差都可能导致整个计算出错，从而产生扭曲或破碎的3D模型。

来自德国、法国、台湾和日本研究机构的一个团队开发了一种新的数学方法来解决这一特定问题。他们专注于这样一种场景：两台摄像机，一台捕捉标准的可见光，另一台捕捉热辐射，正在观察相同的面部。目标是将第一台摄像机看到的脸部特定点与第二台摄像机看到的对应点进行匹配，即使两台摄像机检测到的点数不同，或者面部的某些部分被遮挡时也是如此。为了实现这一点，研究人员转向了一个被称为“最优传输”（optimal transport）的概念。想象一下，试图以最小的代价将一堆沙子从一个位置移动到另一个位置；最优传输就是寻找这条最有效路径的数学框架。在这种情况下，“沙子”是脸部上的点集，而“代价”是计算机为了找到匹配点而认为需要移动点的距离。

研究人员意识到，衡量这些点之间距离的标准方式通常过于宽松。传统方法依赖于一个被称为“对极约束”（epipolar constraint）的几何规则，该规则本质上是说，从一个摄像机看到的点，在另一个摄像机的视角下必须位于一条特定的直线上。虽然这个规则在数学上是成立的，但研究人员发现，在充满噪声的现实条件下，许多不同的点都可能落在同一条线上，从而导致无法确定哪一个是真正的匹配点。为了解决这个问题，他们提出了一种基于从每个摄像机镜头向场景中发射的实际3D光线来测量距离的新方法。该方法不再仅仅检查一个点是否位于一条线上，而是计算从每个摄像机指向该点的两条不可见视线之间的最短距离。如果这两条线在摄像机前交叉或非常接近，则认为是一个良好的匹配。如果它们错开，或者在摄像机后方（即场景无法被观测到的区域）交叉，则该匹配会被拒绝。

为了使这一过程更加稳健，团队增加了一层深度调节机制。他们知道，在典型的房间里，物体不可能无限远，也不可能近得离谱。通过为匹配的点设置合理的距离限制，他们防止了计算机做出那些会导致脸部漂浮在深邃太空中或塌陷进摄像机镜头的疯狂猜测。他们使用计算机生成的3D面部和真实的人在房间内移动的视频，将这种新的“射线距离”法与传统方法进行了对比测试。在模拟添加随机噪声以模拟现实世界缺陷的情况下，新方法表现得始终优于旧方法。它显著减少了错误匹配的数量，使重建的3D形状更接近真实情况。

研究人员还解决了匹配整个物体（如整张脸）而非仅仅是单个点的问题。有时一台摄像机能清晰地看到一张脸，而另一台则只能看到部分被遮挡的脸，或者软件检测到的特征点数量在两侧并不一致。为了处理这个问题，他们构建了一个两步走的系统。首先，计算机在每一对脸部内部进行匹配，以观察它们之间的相似度。然后，它观察所有脸部的集合，并决定第一幅图像中的哪张脸对应第二幅图像中的哪张脸。这种层次化的处理方式证明了其卓越的稳定性。在利用三个人在房间内走动的真实视频进行测试时，新系统在每一帧中都能正确匹配每一张脸，而传统方法在近四分之一的情况下无法匹配正确的脸部。

这项研究表明，通过将光线的几何学与智能的匹配组织方式相结合，即使在数据稀疏或来自不同类型摄像机的情况下，计算机也能变得更加可靠地进行3D视觉感知。这在公共卫生筛查等领域具有实际应用意义，例如，识别具有升高体温的个体需要跨不同类型的摄像机准确匹配面部，以防止传染病的传播。这项工作表明，凭借正确的数学工具，即使在视野不完美的情况下，机器也能学会以媲美人类感知的清晰度来看待这个世界。

技术摘要：HOT-POT：用于稀疏立体匹配的最佳传输

问题陈述

图像间的立体匹配在自动驾驶、机器人技术和面部分析等实际应用中面临着重大挑战。这些挑战包括遮挡、运动、相机畸变以及辐射差异（例如，RGB 与热成像模态之间）。虽然存在稠密立体匹配方法，但它们通常依赖于像素级比较或学习到的特征表示，而这些方法在仅有稀疏特征（如面部关键点）可用时可能并不适用或不够鲁棒。

匹配稀疏特征本质上是一个病态问题，原因如下：

检测器噪声与遮挡： 稀疏点对噪声和局部遮挡高度敏感。
模态差异： 在跨模态场景（例如，RGB 与热成像）中，特征追踪器可能会产生具有不同基数和不同标记习惯的点集。
不稳定性： 当两视图之间的点数和位置差异显著时，传统的最近邻匹配是不稳定的。

本文旨在解决在这些条件下，利用相机标定和几何约束，实现一种无需训练、无监督且鲁棒的稀疏立体匹配及目标匹配（例如，人脸对人脸）的方法。

方法论

所提出的方法 HOT-POT 将立体匹配建模为一个最佳传输 (Optimal Transport, OT) 问题。其核心创新在于定义了源自对极几何的代价函数，用以量化投影点之间的匹配质量。

1. 几何代价函数

作者提出了两种距离度量作为 OT 公式中的代价函数 $c(x, y)$ ：

对极距离 ( $d_{epi}$ ): 基于经典的对极约束。它衡量一个图像中的点到另一图像中对应点所在的对极线的距离。虽然这是标准做法，但作者指出，当不同物体的点位于同一条对极线附近时，该方法会产生歧义。
3D 射线距离 ( $d_{ray}$ ): 一种源自从相机中心出发并穿过投影 2D 点的 3D 半直线（射线）之间距离的新型代价函数。
- 距离计算为 3D 空间中两条射线之间的最小距离。
- 深度正则化： 为了解决射线近乎平行（导致无限深度）或点位于相机后方时产生的不稳定性，作者引入了深度正则化射线距离 ( $d_{reg}$ )。它结合了对预期深度的软阈值 ( $\gamma_1, \gamma_2$ ) 以及一个惩罚不合理深度值的正则化参数 ( $\beta$ )，从而确保匹配发生在物理上合理的范围内。

2. 最佳传输公式

部分最佳传输 (Partial OT): 为了处理由于遮挡或特定模态检测限制导致的视图间点数不等 ( $N \neq M$ ) 的情况，作者利用了部分 OT。这允许进行“部分”分配，即丢弃多余的质量，而不是强制要求所有点进行一一映射。
层次化最佳传输 (Hierarchical Optimal Transport, HOT): 为了匹配由点集表示的整个物体（例如，人脸），作者提出了一个两步走的层次化策略：
1. 局部步骤： 基于其组成的点，计算每对源物体与目标物体（例如，人脸 $i$ 与人脸 $j$ ）之间的 POT 代价。
2. 全局步骤： 在物体层面求解第二个 POT 问题，以确定物体的最优分配。
- 当使用部分传输时，该框架被称为 HOT-POT。

3. 算法实现

该方法利用高效的求解器（例如，通过 Sinkhorn 算法或通过 PythonOT 库进行线性规划）来解决凸优化问题。对于二值匹配，软传输计划根据质量集中度被投影为二值矩阵。

核心贡献

用于稀疏立体的 OT 公式化： 本文将立体匹配问题表述为针对相机投影几何设置量身定制的典型最佳传输问题。
新型 3D 射线距离： 作者引入了 3D 射线距离作为代价函数。数值实验证明了其相对于经典对极距离的优越性，特别是在减少歧义和处理遮挡方面。
用于目标匹配的层次化 OT： 本文通过层次化最佳传输 (HOT) 公式将该方法扩展到物体匹配。这使得即使在底层点集是无序且具有不同基数的情况下，也能实现物体间的稳定对应。
深度正则化代价： 引入深度正则化稳定了射线距离，防止了在无限深度处的退化匹配，并提高了在噪声或跨模态场景下的鲁棒性。

实验结果

作者在合成和真实世界数据集上评估了其方法：

合成人脸数据集：
- 点匹配： 射线距离 ( $d_{ray}$ ) 显著优于对极距离 ( $d_{epi}$ )。对于包含 1872 个点的完整数据集，使用 $d_{ray}$ 的 OT 将误差从 809（标准）降低到了 264，而 $d_{epi}$ 仅将其降低至 681。
- 物体匹配： 当使用 HOT 时，两种距离下的物体级误匹配率均降至 0%，证明了层次化方法的有效性。
- 3D 重建： 深度正则化后的射线距离产生了最低的 Wasserstein-2 距离重建 3D 点云，表明其具有更高的几何精度。
合成球体模拟：
- 在不同水平的高斯噪声下，即使点级匹配发生退化，使用 $d_{ray}$ 的 HOT-POT 仍能保持稳定的物体级匹配（低误匹配率）。
- 深度正则化版本 ( $d_{reg}$ ) 进一步提升了噪声下的重建质量。
真实世界 RGB-热成像数据：
- 点匹配： 在匹配 RGB 和热成像关键点时（此时不存在地面真值对应关系），未经过正则化的射线距离由于无限深度匹配，无法正确重建面部形状。而深度正则化后的射线距离 ( $d_{reg}$ ) 成功重建了面部几何结构。
- 人脸匹配： 在包含多个移动人脸的视频序列中，使用 $d_{reg}$ 的 HOT-POT 实现了 0% 的误匹配率（20/20 帧正确匹配）。相比之下，对极距离导致了 24% 的误匹配率，而未正则化的射线距离则有 5% 的误匹配率。

重要性与主张

论文声称所提出的 HOT-POT 框架解决了立体视觉中的经典挑战，具体包括：

鲁棒性： 所提出的代价函数（尤其是深度正则化射线距离）通过限制可接受匹配的集合，增强了对噪声、歧义和遮挡的鲁棒性。
效率： OT 公式提供了一种高效且具有数学依据的方法，且不需要训练数据。
向物体扩展的可扩展性： HOT 框架成功地将稀疏点匹配扩展到了物体级匹配，这对于识别多人员场景中的特定个体至关重要。

作者将该方法定位为特别适用于跨模态场景（例如，RGB-热成像）以及需要匹配不同标记习惯的面部分析应用。他们指出该方法在公共卫生筛查中识别体温异常个体的潜在用途，但并未声称实现了完整的筛查系统，仅提出了匹配算法。

论文总结道，虽然点级匹配对噪声很敏感，但层次化方法 (HOT) 即使在存在大幅偏差和现实世界测量不确定性的情况下，也能提供稳定的物体级对应关系。未来的工作建议包括通过多边际 OT 进行三方匹配，以及将其集成到稠密立体网络中。