技術的サマリー：Angle-I2P

問題定義

画像から点群への（I2P）登録は、ロボティクスにおける基本的なタスクであり、マニピュレーション、把持、局所化などの応用を可能にする。核心的な目的は、画像と点群間のアライメント変換 $T \in SE(3)$ を計算することである。既存の深層学習手法は、学習された表現空間で特徴を整合させることで有望な結果を達成しているが、初期対応関係集合にインライアの比率が低い場合、重大な課題に直面する。

限られた訓練データや顕著な点群ノイズが存在するシナリオでは、従来の Perspective-n-Points (PnP) 手法は、誤ったピクセルから点への対応関係の蔓延により、正確な結果を生成できなくなることが多い。既存のアウターリャー除去アプローチ、例えば線形分類器（GoMatch など）やグラフベースの手法（GraphI2P など）は、これらのミスマッチを効果的にフィルタリングすることに苦労している。具体的には、モノキュラー深度推定を用いてモダリティギャップを埋めようとする手法は、本質的なスケール曖昧性に悩まされ、これがインライアとアウターリャーを区別するために用いられる従来の空間的一貫性制約の性能を損なう。

手法

著者は、角度整合幾何制約と階層的アテンション機構を活用するように設計されたアウターリャー除去ネットワーク Angle-I2P を提案する。パイプラインは主に 3 つの段階で構成される。

1. 推定点群の生成とスケール整合

画像と点群間のモダリティギャップに対処するため、本手法は事前学習済みのモノキュラー深度推定器（Depth Anything V2）を用いて入力画像を点群に変換する。

• バックプロジェクション: 画像をカメラの内部パラメータを用いて 3 次元空間にバックプロジェクションする。
• スケール推定: モノキュラー深度推定がスケール曖昧性 ($s$) とバイアス ($t$) を導入することを認識し、ネットワークは、推定点群とターゲット点群におけるそれぞれの重心からの点までの距離を比較することで、グローバルな平均スケール因子 ($s_{est}$) を推定する。
• 再スケーリング: 推定点群をターゲット点群とグローバルに整合するように再スケーリングし、スケール誤差がその後の幾何学的計算に与える影響を軽減する。

2. 角度ベースの空間的一貫性

ユークリッド距離に基づく従来の空間的一貫性制約はスケール誤差に敏感である。Angle-I2P は、角度整合に基づくスケール不変な幾何制約を導入する。

• 重心変換: 点々をそれぞれの重心を中心とした座標系に変換し、並進の自由度を排除する。
• 角度指標: 任意の対応する点のペアに対して、重心から点へ向かうベクトル間の角度の余弦を計算する。
• スケール不変性: 著者は、これらのベクトル間の角度の余弦がスケール因子 $s$ に依存しないことを証明する。これにより、ネットワークはスケール誤差の影響を受けることなく、推定点群を用いて空間的一貫性 ($\theta_{ij}$) を計算できる。推定点群とターゲット点群間の角度差が小さい場合、そのペアはインライアである可能性が高く、そうでない場合はアウターリャーである。

3. 角度整合認識階層的アテンション

アウターリャーを効果的にフィルタリングするため、ネットワークはグローバルからローカルへの階層的アテンション機構を採用する。

• グラフ構築: 2 つのグラフを構築する。$k$-近傍法に基づくローカルグラフ ($G_L$) と、グローバルなシーン幾何を表すトップスコアキーポイントに基づくグローバルグラフ ($G_G$) である。
• 特徴統合: ネットワークは、自己アテンションとクロスアテンション機構を用いて特徴を洗練させる。グローバルおよびローカルの空間的一貫性スコア（角度ベースの指標から導出される）は、アテンションスコアを再重み付けするために使用される。
• 分類: グローバルおよびローカルの幾何学的文脈の両方を統合した洗練された特徴は、マルチレイヤーパーセプトロン（MLP）に渡され、インライア/アウターリャー分類のための信頼度スコアを生成する。

主要な貢献

1. スケール不変な幾何制約: 本論文は、ユークリッド距離ではなく角度指標を用いて空間的一貫性を計算する新規手法を提案する。これはモノキュラー深度推定に本質的なスケール曖昧性を明示的に解決し、剛体変換に対する堅牢な幾何制約を提供する。
2. 階層的アテンション機構: 著者は、グローバルおよびローカルの幾何学的情報を統合する角度整合認識階層的アテンションモジュールを設計する。これにより、モデルはローカルな文脈のみに依存する手法よりも、幾何学的に不一致なマッチングをより効果的にフィルタリングできる。
3. エンドツーエンドのアウターリャー除去フレームワーク: Angle-I2P は、I2P アウターリャー除去のための完全なパイプラインを提供し、問題を 3 次元空間に変換し、スケールを整合させ、幾何制約を適用することで、インライア比率（IR）と登録リコール（RR）を向上させる。

実験結果

本手法は、7Scenes、RGBD Scenes V2、および独自収集データセットの 3 つのベンチマークで評価された。

• 7Scenes: Angle-I2P は、インライア比率（IR）で 49.5% という最先端の結果を達成し、2 番目に優れた手法（GraphI2P）を 4.2% 上回った。また、登録リコール（RR）で 78.5% を達成し、GoMatch を 2.3% 上回った。
• RGBD Scenes V2: クロスシーン評価において、本手法は 2 番目に優れたベースライン（GraphI2P）に対して IR を 5.9%、RR を 0.9% 改善した。
• 独自収集データセット: 実用性を示すものとして、本手法は IR で 16.8%、RR で 47.8% を達成し、RR において GraphI2P を 6.6% 上回った。

アブレーション研究は、各コンポーネントの必要性を確認した。

• スケール整合を除去すると、IR と RR が低下した。
• 距離ベースの一貫性を角度ベースの一貫性に置き換えると性能が低下し、スケール不変性の重要性が浮き彫りになった。
• グローバルからローカルへのクロスアテンションまたは再重み付け機構を除去すると、モデルのインライアを区別する能力が大幅に低下し、特にグローバルな文脈が不可欠な剛体シナリオにおいて顕著であった。

意義と主張

本論文は、Angle-I2P が、初期マッチングに顕著なノイズやアウターリャーを含む現実世界のシナリオにおける実用的な展開の可能性を高めることを主張する。マッチング問題を 3 次元空間に変換し、角度整合制約を活用することで、本手法は効果的にモダリティギャップを最小化し、既存の深度ベースのアプローチを悩ませるスケール曖昧性の限界を克服する。

著者は、インライア比率が低い場合に画像から点群への誤ったマッチングを除去するという特定の課題に対する解決策として、自らの研究を位置づけている。彼らは、自らのアプローチが多様なベンチマークで最先端の性能を達成し、少数ショットおよびクロスシナリオ設定において優れた汎化性能を示すと主張している。本論文は、このフレームワークが画像 - 点群のミスマッチ除去の進展に寄与し、局所化やマニピュレーションなどのダウンストリームロボティクスタスクの堅牢性を向上させることを結論付けている。

著者は謙虚に限界を認め、スケール誤差の分析は比較的大まかなままであり、基盤となる特徴抽出器（2D3D-MATR）の粗から細へのマッチング戦略がクラスター化されたマッチングをもたらす可能性があると指摘している。これは IR を向上させるが、RR において常に比例した利益をもたらすとは限らない。彼らはこれらの領域を将来の調査のターゲットとして特定している。