GSVisLoc: Generalizable Visual Localization for Gaussian Splatting Scene Representations

技術要約: GSVisLoc

問題提起
視覚的ローカリゼーション（Visual localization）とは、単一のクエリ画像からカメラの位置と向き（ポーズ）を推定することである。古典的な構造ベースの手法は高い精度を実現するが、3D記述子の膨大なストレージや初期の画像検索ステップを必要とすることが多い。対照的に、エンドツーエンドの学習型アプローチ（例：Absolute Pose Regression）は、構造ベースの手法のような汎用性や精度に欠ける。近年、3D Gaussian Splatting (3DGS) が、高品質で高速な学習が可能な新規視点合成のためのシーン表現として台頭している。しかし、3DGSを用いた既存の視覚的ローカリゼーション手法には限界がある。あるものは初期ポーズの精緻化のみを行い、あるものは他の表現と比較して精度が低く、また、特定の3DGSモデルに追加の機能を加えて最適化する必要があるものもあり、「バニラ（標準的な）」3DGSモデルの使用を妨げている。

手法
著者らは、追加の再学習や3DGSモデルの変更、あるいは追加の参照画像を必要とせず、標準的な3DGSシーン表現上で直接視覚的ローカリゼーションを行うために設計されたディープラーニングベースの手法、GSVisLocを提案する。本アプローチは、以下の3段階のパイプラインを通じて、3Dガウス点と2D画像パッチ間の3D-2D対応関係を確立する。

1. 特徴量エンコーディング（Feature Encoding）:

   • 3Dエンコーディング: 3Dガウス点はまずフィルタリング（低不透明度のガウス点を除去）およびダウンサンプリングされる。KPConvベースのエンコーダ（KPFCNN）が残りのガウス点を処理し、近傍点の情報を組み込むことで、堅牢な3Dリージョン特徴量を作成する。
   • 2Dエンコーディング: 2D画像エンコーダは、2つのスケール（8倍ダウンサンプリングされた粗い特徴量と、2倍ダウンサンプリングされた細かい特徴量）でクエリ画像から特徴量を抽出する。
   • アライメント: ネットワークは、各ドメイン内の表現を精緻化し、3Dと2Dの特徴空間を整列させるために、インターリーブされた自己注意（self-attention）および相互注意（cross-attention）層を採用する。

2. マッチング戦略（Matching Strategy）:

   • 粗いマッチング（Coarse Matching）: システムは、粗い3D特徴量と2D特徴量の間のペアワイズ・コサイン類似度を計算する。マッチングは、スコア閾値と相互最近傍（MNN）基準に基づいて選択され、外れ値が除去される。
   • 細かいマッチング（Fine Matching）: 各粗いマッチングに対して、システムは対応関係をピクセルレベルまで精緻化する。粗いマッチング位置のローカルウィンドウ周囲における整列の確率分布を表すヒートマップを生成する。最終的な細粒度マッチングは、この分布の期待値を取ることによって決定される。

3. ポーズ推定および精緻化（Pose Estimation and Refinement）:

   • 確立された3D-2D対応関係は、初期カメラポーズを推定するために、RANSACを伴うPerspective-n-Point (PnP) ソルバーに入力される。
   • **ポーズ精緻化（Pose Refinement）**モジュール（GS-CPRから適応）が、精度をさらに向上させる。これは、推定されたポーズから3DGSモデルを用いて画像と深度マップをレンダリングし、MASt3Rを用いてクエリ画像とレンダリングされた画像間の高密度な2D-2D対応関係を確立し、それらを3Dへと持ち上げ、PnP+RANSACを用いて精緻化されたポーズを解出する。

学習レジーム（Training Regimes）
モデルは、既知のポーズを用いて3DGS点をクエリ画像に投影することで得られる正解（グランドトゥルース）のマッチングを用いて学習される。学習は以下の3つのシナリオの下で評価される：

• シングルシーン（Single-scene）: 同一のシーンで学習およびテストを行う。
• マルチシーン（Multi-scene）: シーンの集合体で学習し、その同一のセットでテストを行う。
• クロスシーン汎化（Cross-scene Generalization）: シーンの集合体で学習し、未知の新しいシーンでテストを行う。

主な貢献

1. GSVisLocネットワーク: 3D Gaussian Splatting表現上での視覚的ローカリゼーションのために特別に設計されたディープニューラルネットワーク。
2. 修正不要のデプロイメント（Zero-Modification Deployment）: 本手法は、シーン表現の再学習やガウス点への学習済み特徴の追加を必要とせず、バニラの3DGSモデル上で動作する。
3. 検索フリーの推論（Retrieval-Free Inference）: 多くの構造ベースまたはNeRFベースの手法とは異なり、GSVisLocは推論中の画像検索ステップを必要としないため、学習後に参照画像を破棄することができる。
4. 汎用性: 学習された3D-2Dマッチングを通じて、未知の新しいシーンに対しても汎用性を発揮し、単一シーン学習モデルに匹敵する精度を維持できることを示す。
5. パフォーマンス: 3DGSベースの手法の中で最先端（SOTA）の性能を達成し、標準的なベンチマークにおいて最先端のベースラインに対しても競争力のある結果を示す。

実験結果
著者らは、7-Scenes（屋内）およびCambridge Landmarks（屋外）のデータセット、ならびにクロスシーン汎化のためのScanNet++ V2データセットを用いてGSVisLocを評価した。

• 7-Scenes: GSVisLocは他の3DGSベースの手法（6DGS, GSplatLoc）を凌駕し、移動および回転の精度の両方においてAPRおよびNeRFベースの手法を上回った。SCR（Scene Coordinate Regression）手法と同等の性能を達成したが、トップの構造ベース手法（DVLAD+R2D2）にはわずかに及ばなかった。
• Cambridge Landmarks: 本手法はGSplatLocを回転精度で上回り、移動精度において同等の結果を得た。APR手法を大幅に上回ったが、階層的手法であるHLocには（特に移動精度において）及ばなかった。著者らは、この差の一因として、この特定の屋外データセットにおける3DGSのレンダリング品質の低さを挙げている。
• 汎用性: ScanNet++ V2におけるクロスシーン実験において、モデルは再学習なしで未知のシーンに効果的に汎化し、高い精度を維持した。

意義と主張
本論文は、GSVisLocが3DGSの高品質なレンダリングと正確なポーズ推定の必要性の間の溝を埋め、明示的な3DGSシーン表現を視覚的ローカリゼーションに活用することに成功したと主張している。画像検索の必要性を排除し、ローカリゼーションのための特定の3DGSモデルの最適化を回避することで、本手法はデプロイメントを簡素化する。著者らは、本アプローチが新しいシーンへ汎化できることを強調しており、標準的な3DGS再構成を用いて、動的な環境や未知の環境において堅牢なローカリゼーションを必要とするアプリケーションに対する実用的なソリューションとなる。