ProBA: 確率的バンドル調整 (Probabilistic Bundle Adjustment) の技術的サマリー

本論文は、従来の構造から運動 (SfM) やバンドル調整 (BA) が抱える「厳密な初期化依存性」と「密な対応点への耐性不足」という課題を解決するため、ProBA (Probabilistic Bundle Adjustment) という新しい確率的フレームワークを提案するものです。

以下に、問題定義、手法、主要な貢献、実験結果、および意義について詳細にまとめます。

---

1. 背景と問題定義

従来のバンドル調整 (BA) は、3D 復元とカメラ姿勢推定の核心技術ですが、以下の根本的な制限に直面しています。

• 厳密な初期化への依存: 高精度な初期カメラ姿勢や既知の内部パラメータ（焦点距離など）を前提としており、これらが不明な場合（コールドスタート）やノイズの多い環境では最適化が発散したり、局所解に陥ったりする。
• 密な対応点の扱いの難しさ: 現代の深層学習ベースのマッチング手法（DKM, RoMa など）は高品質な密な対応点を提供するが、従来の SfM パイプライン（COLMAP など）は「剛体なトラック（複数の画像で共通する点の連鎖）」を構築するヒューリスティックに依存している。密な対応点のノイズはこれらのヒューリスティックを崩壊させ、最適化を失敗させる。
• 鏡像曖昧性: 単眼 SfM において、シーンとその鏡像（深度反転）は数学的に同等な 2D 観測を生むため、初期化なしではどちらが真の幾何学か判別できない。

2. 手法 (Methodology)

ProBA は、離散的な点トラックを廃棄し、連続的な 3D ガウス分布と確率的な最適化を導入することで、これらの課題を克服します。

2.1 確率的ランドマーク表現 (3D Gaussians)

• 従来の「無限に正確な 3D 点」ではなく、3D ガウス分布としてランドマークをモデル化します。
• 各対応点は、最適化可能な深度 $d_i$ と等方性共分散 $\sigma_i^2 I$ を持つガウス分布 $G(p_i, \Sigma_i)$ として表現されます。
• 等方性 (Isotropic) の重要性: 初期姿勢が不正確な段階で、異方性 (Anisotropic) ガウスを使用すると、誤った姿勢に過剰適合 (Overfitting) して最適化が破綻します。ProBA は等方性ガウスを用いることで、初期段階での損失関数の谷を広げ、局所解への陥入を防ぎます。

2.2 統一された目的関数 (Unified Objective)

最適化は、以下の 2 つの損失を統合した負対数尤度 (NLL) を最小化します。

1. 2D 再投影誤差: 3D ガウスを 2D 画像平面に投影し、観測点との距離を計算。共分散 $\Sigma_{2D}$ が自然な正則化として機能し、不確実な対応点の影響を自動的に減衰させます。
2. ソフトな空間制約 (Soft Spatial Constraint): 異なるカメラから観測された対応する 3D ガウス間の重なりを最大化します。厳密な座標共有を強制するのではなく、中心を近づけるか、分散を広げて重なりを維持することで、外れ値や初期誤差を吸収します。

2.3 運動学的パラメータ化と適応的エッジ重み付け

• 最小全域木 (MST) 上の運動学的パラメータ化: カメラ姿勢を絶対座標系で直接最適化するのではなく、MST 上の相対変換（6-DOF ベクトル）としてパラメータ化します。これにより、最適化の安定性が向上し、勾配の伝播がスムーズになります。
• 適応的エッジ重み付け: 視覚グラフ内のエッジ（画像対）に対して、局所的な NLL 分布に基づいて信頼度スコアを動的に計算し、誤ったエッジの重みを低下させます。これにより、グローバルなドリフトを防ぎます。

2.4 鏡像対称正則化 (Mirror Symmetry Regularization)

• 初期化なしでは鏡像解と真の解の区別がつかない問題に対し、2 つの独立した仮説（真のワールドと鏡像ワールド）を並列に最適化します。
• 鏡像ワールドの姿勢を、鏡像変換行列 $M$ を用いて正則化しつつ、最終的に NLL が低い方の仮説を選択することで、鏡像曖昧性を解決します。

3. 主要な貢献 (Contributions)

1. 確率的ランドマーク表現: 脆弱な点トラックを 3D ガウスに置き換え、空間的不確実性を明示的にモデル化。これにより、ノイズの多い密な対応点を剛体なヒューリスティックなしで処理可能にしました。
2. 初期化不要の統一目的関数: 2D 再投影と 3D 整合性を統合した NLL 目的関数を導出。新しい双仮説正則化により、厳密なコールドスタートから鏡像曖昧性を解決します。
3. スケーラブルなビューグラフ最適化: 全ペアマッチング ($O(N^2)$) を回避し、スパースな運動学的ポーズグラフ上で最適化。適応的エッジ重み付けにより、誤ったトポロジーリンクを動的にフィルタリングします。
4. 効率的な CUDA 実装: 大規模な最適化を単一 GPU で実行可能なように最適化されたソルバーを開発しました。

4. 実験結果 (Results)

DTU, Mip-NeRF 360, ETH3D, IMC2021 などの標準ベンチマークで評価されました。

• 精度: 従来の COLMAP や深層学習ベースのモデル（VGGT, MASt3R-SfM）と比較して、特に相対回転精度 (RRA) と相対並進精度 (RTA) で高い性能を示しました。
  • 例：ETH3D において、RTA@5° は 91.4%（COLMAP は 65.5%、VGGT は 81.1%）。
  • IMC2021（野外・未較正）でも、COLMAP が失敗する複雑なシーンで安定した復元を実現しました。
• 3D 復元の質: ETH3D の LiDAR 比較において、ACC@5cm で 69.9%、COMP@5cm で 44.0% を達成し、古典的ベースラインを大幅に上回り、深層学習モデルと同等以上の完全性と精度を達成しました。
• 計算効率: 密なトラック構築によるボトルネックを回避し、大規模シーンでも予測可能な計算コストで収束します。
• アブレーション研究:
  • ソフト空間制約 (SSC) や適応的エッジ重み付け (AEW) を外すと精度が劇的に低下します。
  • 鏡像正則化 (MSR) は、テクスチャの少ない DTU データセットにおいて、鏡像解への収束を防ぎ、精度を 18.4% から 90.0% へ劇的に向上させます。
  • 等方性ガウスを使用しない場合（異方性）、初期姿勢の誤りに過剰適合し、最適化が完全に失敗します。

5. 意義と結論

ProBA は、古典的な幾何学的手法と深層学習の密なマッチング能力を、確率的な枠組みで統合した画期的なアプローチです。

• 初期化フリー: 事前の姿勢や内部パラメータなしで、厳密なコールドスタートから高品質な 3D 復元を実現します。
• 頑健性: 密な対応点に含まれるノイズや外れ値を、確率的な不確実性モデル（ガウスの分散拡大）によって自然に吸収・重み付けします。
• 汎用性: 構造化されていない野外環境（IMC2021）や、複雑な屋内シーンなど、従来の SfM が困難とする状況でも安定して動作します。

本手法は、SLAM やニューラルレンダリング（NeRF, 3D Gaussian Splatting）の前処理として、より頑健でスケーラブルな基盤を提供し、未構造化環境における 3D 再構築の信頼性を大幅に向上させる可能性があります。