=== 要約 ===

技術要約：HOT-POT: 疎なステレオマッチングのための最適輸送

問題提起

画像のステレオマッチングは、自動運転、ロボティクス、顔分析などの実世界のアプリケーションにおいて、重大な課題に直面しています。これらの課題には、遮蔽（オクルージョン）、動き、カメラの歪み、および放射特性の違い（例：RGBとサーマルのモダリティ間）が含まれます。高密度なステレオマッチング手法は存在しますが、それらはピクセル単位の比較や学習された特徴表現に依存していることが多く、疎な特徴（顔のランドマークなど）のみが利用可能な場合には、適用性や堅牢性が損なわれる可能性があります。

疎な特徴のマッチングは、以下の理由により本質的に不良設定問題（ill-posed problem）です：

1. 検出器のノイズと遮蔽： 疎な点は、ノイズや部分的な遮蔽に対して非常に敏感です。
2. モダリティの違い： クロスモーダルなシナリオ（例：RGB対サーマル）では、特徴トラッカーが異なるカーディナリティ（集合の大きさ）や異なるランドマーク規則を持つ点の集合を生成する可能性があります。
3. 不安定性： ビュー間で点の数や位置が大きく異なる場合、従来の最近傍探索によるマッチングは不安定になります。

本論文は、カメラのキャリブレーションと幾何学的制約を活用し、これらの条件下で、堅牢な疎なステレオマッチングおよびオブジェクトマッチング（例：顔対顔）を実行するための、学習不要で教師なしの手法へのニーズに対処します。

手法

提案手法であるHOT-POTは、ステレオマッチングを**最適輸送（Optimal Transport: OT）**問題として定式化します。核心となる革新性は、投影された点間のマッチング品質を定量化するために、エピポーラ幾何から導出されたコスト関数を定義することにあります。

1. 幾何学的コスト関数

著者らは、OT定式化におけるコスト関数 $c(x, y)$ として機能する2つの距離指標を提案しています。

• エピポーラ距離 ($d_{epi}$): 古典的なエピポーラ制約に基づいています。これは、一方の画像におけるある点が、もう一方の画像の対応する点のエピポーラ線に対してどれだけ離れているかを測定します。これは標準的な手法ですが、異なるオブジェクトの点が同じエピポーラ線に近接している場合に曖昧さが生じ得ると著者は指摘しています。
• 3Dレイ距離 ($d_{ray}$): カメラの中心から投影された2D点を通過する3D半直線（レイ）間の距離から導出された新しいコスト関数です。
  • 距離は、3D空間における2つのレイ間の最小距離として計算されます。
  • 深度正則化: レイがほぼ平行である場合（無限の深度につながる）や、点がカメラの後方にある場合の不安定性に対処するため、著者らは深度正則化レイ距離 ($d_{reg}$) を導入しています。これは、期待される深度に対するソフト閾値 ($\gamma_1, \gamma_2$) と、非現実的な深度値をペナルティ化する正則化パラメータ ($\beta$) を組み込んでおり、マッチングが物理的に妥当な範囲内で行われるようにします。

2. 最適輸送の定式化

• 部分最適輸送 (Partial Optimal Transport: POT): 遮蔽やモダリティ固有の検出限界により、ビュー間で点の数が異なる場合 ($N \neq M$) に対処するため、著者らは部分OTを利用しています。これにより、すべての点に対して一対一の対応を強制するのではなく、「部分的な」割り当てを行い、余剰な質量を破棄することが可能になります。
• 階層的最適輸送 (Hierarchical Optimal Transport: HOT): 順序のない点の集合として表されるオブジェクト全体（例：顔）をマッチングするために、著者らは2段階の階層的戦略を提案しています。
  1. ローカルステップ: ソースオブジェクトとターゲットオブジェクトのあらゆるペア（例：顔 $i$ と顔 $j$）について、その構成要素である点に基づくPOTコストを計算します。
  2. グローバルステップ: オブジェクトレベルでの最適なオブジェクト割り当てを決定するために、第2のPOT問題を解きます。
  • 部分輸送を用いる場合、このフレームワークはHOT-POTと呼ばれます。

3. アルゴリズムの実装

本手法は、凸最適化問題を解くために、効率的なソルバー（例：SinkhornアルゴリズムやPythonOTライブラリによる線形計画法）を利用します。バイナリマッチングの場合、ソフトな輸送プランは質量集中に基づいてバイナリ行列へと投影されます。

主な貢献

1. 疎なステレオのためのOT定式化: 本論文は、カメラ投影の幾何学的設定に特化したコスト関数を用いて、ステレオマッチング問題を最適輸送問題の一例として定式化しました。
2. 新規の3Dレイ距離: 著者らは、コスト関数として3Dレイ距離を導入しました。数値実験により、エピポーラ距離 ($d_{epi}$) よりも、特に曖昧性の低減と遮蔽への対処において優れていることが示されました。
3. オブジェクトマッチングのための階層的OT: 階層的最適輸送（HOT）定式化を通じて、アプローチをオブジェクトマッチングへと拡張しました。これにより、基礎となる点集合が順序なしでカーディナリティが異なる場合でも、オブジェクト全体の安定した対応付けが可能になります。
4. 深度正則化コスト: 深度正則化の導入は、レイ距離を安定させ、無限の深度における退化的なマッチングを防ぎ、ノイズやクロスモーダルなシナリオにおける堅牢性を向上させます。

実験結果

著者らは、合成および実世界のデータセットの両方で手法を評価しました。

• 合成顔データセット:

  • 点のマッチング: レイ距離 ($d_{ray}$) は、エピポーラ距離 ($d_{epi}$) を大幅に上回りました。1872個の全データセットにおいて、OTと $d_{ray}$ の組み合わせは誤差を809（標準）から264に減少させたのに対し、$d_{epi}$ では681までしか減少させませんでした。
  • オブジェクトのマッチング: HOTを使用した場合、オブジェクト単位の不一致率は両方の距離で0%に低下し、階層的アプローチの有効性が示されました。
  • 3D再構成: 深度正則化レイ距離は、再構成された3D点群において最も低いワッサースタイン距離（Wasserstein-2 distance）を示し、優れた幾何学的精度を示しました。

• 合成球体シミュレーション:

  • 様々なレベルのガウスノイズの下で、HOT-POTはレイ距離を用いることで、点単位のマッチングが劣化しても、安定したオブジェクトレベルのマッチング（低い不一致率）を維持しました。
  • 深度正則化版 ($d_{reg}$) は、ノイズ下での再構成品質をさらに向上させました。

• 実世界のRGB-サーマルデータ:

  • 点のマッチング: RGBとサーマルのランドマークをマッチングする場合（グラウンドトゥルースの対応が存在しない状況）、非正則化のレイ距離は、無限の深度のマッチングにより顔の形状を正しく再構成できませんでした。一方、深度正則化レイ距離 ($d_{reg}$) は、顔の幾何学的形状の再構成に成功しました。
  • 顔のマッチング: 複数の動く顔を含むビデオシーケンスにおいて、$d_{reg}$ を使用したHOT-POTは、0%の不一致率（20/20フレームが正しくマッチング）を達成しました。対照的に、エピポーラ距離は24%の不一致率となり、非正則化のレイ距離は5%の不一致率となりました。

意義と主張

本論文は、提案されたHOT-POTフレームワークが、以下の古典的なステレオビジョンの課題に対処できると主張しています：

• 堅牢性: 提案されたコスト関数（特に深度正則化レイ距離）は、許容されるマッチングの集合を制限することで、ノイズ、曖昧さ、および遮蔽に対する堅牢性を高めます。
• 効率性: OT定式化は、学習データを必要としない、数学的に裏付けられた効率的なマッチング手法を提供します。
• オブジェクトへのスケーラビリティ: HOTフレームワークは、疎な点のマッチングをオブジェクトレベルのマッチングへと正常に拡張しており、これは複数人が存在するシーンでの特定の個人の識別といったアプリケーションにおいて重要です。

著者らは、本手法がクロスモーダルなシナリオ（例：RGB-サーマル）や、異なるランドマーク規則の照合が必要な顔分析において特に効果的であると位置付けています。彼らは、公衆衛生上のスクリーニングにおいて、体温の上昇した個人を特定するための潜在的な有用性を示唆していますが、フルスケールのスクリーニングシステムを実装したとは主張しておらず、あくまでマッチングアルゴリズムについて述べています。

結論として、点単位のマッチングはノイズに敏感ですが、階層的アプローチ（HOT）は、大きな偏差や実世界の測定誤差がある場合でも、安定したオブジェクトレベルの対応付けを提供します。今後の課題として、マルチマージナルOTによる三者間マッチングや、高密度ステレオネットワークへの統合が挙げられています。