技術的サマリー：視覚的ローカライゼーションにおけるガウシアンスプラッティングベースのフィーチャフィールドでの 2D-3D 対応関係の曖昧さ解消

1. 問題定義

ガウシアンスプラッティングベースのフィーチャフィールド（GSFF）は視覚的ローカライゼーションの可能性を示しているが、著者は、光度最適化された GSFF と姿勢推定に使用される Perspective-n-Points（PnP）アルゴリズムの要件との間に、根本的な構造的ミスマッチが存在することを特定した。

標準的な GSFF を 2D-3D マッチングに直接適用するのを妨げる 2 つの主要な課題がある：

1. 体積的曖昧さ（多対一のマッピング）： 標準的な GSFF における各 3D ガウシアンは体積領域をカバーする。PnP 入力のためにガウシアンを単一の 3D 点（例えばその中心）として近似すると、クエリ画像からの複数の 2D ピクセルがその単一の点にマッピングされる可能性がある。この「多対一」の対応関係は幾何学的な不整合を導入し、再投影誤差を蓄積させることで、PnP の収束を不安定化させ、最適でない姿勢推定をもたらす。
2. 冗長性とマルチビュー整合性の欠如： 光度最適化は、ビュー依存効果を捉えるために多くの冗長なガウスを生成することが多い。これらのガウスはマルチビュー整合性を欠いており、新規のビューポイント下での 2D-3D マッチングには効果的ではない。さらに、STDLoc のような既存の手法は、高精度を達成するためにシーンごとの最適化に数時間を要し、さらにクエリ側の検出や高密度な 2D-2D 精細化を必要とするため、実用性が制限されている。

2. 手法

本論文は、シーンごとのトレーニングや反復的な姿勢精細化なしに、ローカライゼーションに特化した GSFF を構築するためのフレームワークであるSplitGS-Locを提案する。手法は 2 つの中核コンポーネントから構成される：PlugGS-Loc（フィーチャのリフティングとサンプリング用）とSplitGS-Loc（対応関係の曖昧さ解消用）。

2.1 PlugGS-Loc：フィーチャのリフティングとサンプリング

このモジュールは、ラスタライゼーションプロセスから導出された合成重みを利用することで、冗長なガウスとフィーチャのぼやけの問題に対処する。

• 重みの集約： ピクセルに寄与するすべてのガウスを保存する代わりに、合成重みの閾値（$\tau$）に基づいて、主にピクセルにラスタライズされたガウスを特定する。すべてのトレーニングビューにわたって各ガウスに対する最大寄与重み（$\tilde{w}$）を集約し、情報豊富な重みセット（$W_n$）を形成する。
• ガウスのサンプリング： 不要なガウスを剪定するために、シーンを局所領域に分割する。各領域内では、ガウスを複数のビューにわたるその重要性を反映する集約重み（$\psi(g_n)$）に基づいてスコアリングする。各領域で最高スコアを得たガウスのみを保持し、マルチビュー整合性のあるガウスのコンパクトなマップを確保する。
• フィーチャの登録： ぼやけを引き起こすレンダリング損失によるフィーチャの最適化の代わりに、フィーチャを直接リフティングする。選択された各ガウスに対して、特徴的なフィーチャベクトルを、トレーニングビューからのピクセルレベルのフィーチャの重み付き和として計算する。ここで重みは、前段階で特定された強力なピクセル - ガウス関連付けから導出される。これによりマルチビュー整合性が強制され、フィーチャのぼやけが防止される。

2.2 SplitGS-Loc：対応関係の曖昧さ解消

このモジュールは、体積ガウスと点ベースの PnP との間の構造的ミスマッチに対処する。

• ガウスの混合分割： 中核的な革新は、各 3D ガウスをその主要軸（最も曖昧さの大きい方向）に沿って分解することである。単一のガウスは 3 つのコンポーネントに分割される：中央コンポーネントと、主要軸に沿って対称的に配置された 2 つの側面コンポーネント。
• モーメント整合： 分割パラメータは、元の分布の最初の 4 つのモーメントを混合分布と整合させることで導出される。これにより、分割されたコンポーネントが元の体積を集合的に表現しつつ、主要軸に沿って空間的範囲を拡張することが保証される。
• 統合： 分割戦略は PlugGS-Loc と統合される。サンプリング段階では、空間カバレッジを維持するために、子ガウスを一時的に集約して親をスコアリングする。しかし、フィーチャ登録時には、各子ガウスが異なるピクセルフィーチャとペアリングされる。これにより、「多対一」のマッピングが、各分割されたガウスが一意のフィーチャを持つより微細な領域を表すようになるため、正確な「一対一」の対応関係に変換される。

3. 主要な貢献

• 構造的ミスマッチの特定： 光度最適化された GSFF は、体積的曖昧さと冗長なガウスにより、直接的な 2D-3D マッチングに本質的に不適切であることを論文は強調している。
• SplitGS-Loc フレームワーク： シーンごとのトレーニングなしに 2D-3D 対応関係の曖昧さを解消する新規構築フレームワーク。以下を組み合わせる：
  • ガウスの混合に基づく分割： 曖昧な多対一マッピングを正確な一対一対応関係に置き換える、決定論的かつフィーチャ非依存の分解。
  • 合成重みに基づくフィーチャリフティング： 顕著でマルチビュー整合性のあるガウスを選択し、強力なピクセル - ガウス関連付けを通じて判別性のあるフィーチャを割り当てるパイプライン。
• 効率性と性能： この手法は、ローカライゼーションベンチマーク（Cambridge Landmarks および 7Scenes）において、約 7 分（初期 3DGS トレーニングを含む）のマッピング時間で、反復的な姿勢精細化を必要とせずに最先端の性能を達成する。

4. 実験結果

著者は、古典的手法、深層学習ベースの回帰（SCR, APR）、NeRF ベースの手法、および他の GS ベースのアプローチと比較して、Cambridge Landmarks（屋外）および 7Scenes（屋内）データセット上で手法を評価した。

• 精度： SplitGS-Loc は、トレーニングフリーの手法の中で最良の中央値の並進および回転誤差を達成する。例えば、Cambridge Landmarks データセットでは、平均誤差が**8.7 cm / 0.15°**であり、STDLoc（11.1 cm / 0.19°）および他の GSFF ベースの手法を上回る。
• 安定性： PnP 収束の分析により、SplitGS-Loc が「多対一」入力の数を大幅に削減し（1 つのテストケースでは 313 から 199 に）、有効なインライアの数を増加させることが示された。これにより、他の手法が精度低下を被るような効率的な RANSAC 設定（少ない反復回数）であっても、安定した収束と頑健性がもたらされる。
• スケーラビリティ： マップサイズが増加すると性能が飽和する手法とは異なり、SplitGS-Loc はマップサイズが増加するにつれて持続的な精度向上を示し、より詳細を提供する分割戦略の有効性を検証する。
• アブレーション研究： 実験は以下のことを確認した：
  • 重み閾値（$\tau$）はフィーチャのぼやけと空間カバレッジのバランスを取る。
  • 分割係数（$\beta$）は、子ガウスの分離を増加させることで、実行可能な範囲内で単調に精度を向上させる。
  • ガウス属性（合成重み、体積分割）を幾何学的な代替手段に置き換えると性能が大幅に低下し、GS 属性を活用することの重要性を浮き彫りにする。

5. 意義と主張

本論文は、GSFF を網羅的な 3D マップから「展開可能」なマップへと再定義し、性能と実用性の間のバランスを回復すると主張している。主な意義は以下の点にある：

• シーンごとのトレーニングの排除： このフレームワークは、事前トレーニングされた RGB 3DGS とトレーニングビューからフィーチャフィールドを数分で直接構築し、従来の GSFF 手法が要求する数時間にわたる多段階最適化の必要性を排除する。
• 直接的な 2D-3D マッチング： 多対一の曖昧さを解消することで、この手法はクエリ側の検出や高密度な 2D-2D 精細化に依存することなく、安定した PnP ベースの姿勢推定を可能にする。
• 実用性： このアプローチは、以前のパイプラインよりも小さく、高速で、高精度な実世界の視覚的ローカライゼーションのための簡素化されたソリューションを提供し、迅速な展開を必要とするアプリケーションに対して GS ベースの表現を実用的にする。

著者は、このフレームワークが元の光度最適化されたガウスの品質に依存していることを控えめに指摘しており、したがって、激しい照明変化があるシーンや、GS が収束しない疎なトラジェクトリを持つシーンは依然として課題である。しかし、彼らは自身の研究を、効率的かつ高精度な視覚的ローカライゼーションのためにニューラルシーン表現を実用的にするための重要な一歩として位置づけている。