3D Densification for Multi-Map Monocular VSLAM in Endoscopy

技術的概要：内視鏡におけるマルチマップ単眼 VSLAM のための 3 次元高密度化

問題定義
内視鏡に応用された単眼視覚同時位置推定と地図作成（VSLAM）は、CudaSIFT-SLAM などのマルチマップアプローチを使用することで、堅牢なカメラ追跡に有効であることが証明されている。これらのシステムは、モーションブラー、時間的遮蔽、器具との相互作用、または水流による頻発する追跡喪失後の追跡回復に成功している。しかし、得られる 3 次元表現は疎であり、ノイズが多く、不正確な点や外れ値の割合が高い。その結果、これらの疎な地図は、病変サイズの評価、完全な粘膜カバレッジの確保、または重要な領域を見逃すリスクの最小化など、高密度な環境表現を必要とする臨床応用には不十分である。さらに、標準的な特徴量ベースのシステムは、内視鏡環境で一般的に見られる低テクスチャ領域で苦労する一方、直接法は、追跡失敗からの回復に必要なループクロージャやマルチマッピング機能の欠如に悩まされることが多い。

手法
著者は、特徴量ベースの SLAM システムの堅牢なカメラ追跡と、単一ビュー自己教師ありネットワークによる高密度深度予測を統合する、ポストプロセッシングによる高密度化手法を提案する。システムは以下のように動作する。

1. 入力システム: パイプラインは、疎なマルチマップ（3 次元点とキーフレームによって定義されたサブマップ）を生成するためにCudaSIFT-SLAMを使用し、照度低下に基づく自己教師ありネットワークであるLightDepthを使用して、スケール付きの高密度深度マップを予測する。
2. スケール整合と外れ値フィルタリング: 単眼 SLAM はスケールの曖昧さに悩まされ、疎な点はノイズを含むため、本手法は**最小二乗中央値（LMedS）**を用いて、高密度深度予測を疎な 3 次元点群に整合させる。
   • 各キーフレームにおいて、システムは高密度深度マップを使用してピクセルを逆投影することにより、各疎な地図点に対してスケール提案を計算する。
   • LMedS は、頑健なスケールと、真の点と誤った外れ値を区別するための動的距離閾値を決定するために用いられる。これは、スケールが未知であり、3 次元点の誤差が深度に対して非線形に依存するため、RANSAC よりも好まれる。
   • 内点（inlier）が識別され、最終的なスケールは、頑健な影響関数を用いた非線形最適化によって精緻化される。
3. 高密度融合: 高密度深度マップがスケーリングされ、疎な地図点と整合した後、システムは**切断符号付き距離関数（TSDF）**を使用してスケーリングされた RGB-D 観測を融合する。
4. 表面抽出: 全球表面は、マーチングキューブアルゴリズムを用いて TSDF から明示的に抽出される。

主要な貢献

• 高密度 3 次元表面再構築: 本手法は、キーフレームあたり 200 ミリ秒未満で高密度再構築を達成し、リアルタイムアプリケーションに適している。
• 頑健な外れ値除去: LMedS を利用することで、システムは事前に定義された固定距離閾値を必要とすることなく、疎な SLAM 地図に固有の誤った点を効果的にフィルタリングする。
• ドメイン非依存性: システム構成要素が特定のドメイン仕様に依存しないため、このアプローチはドメイン適応の必要性を排除する。
• 検証: 本手法は、C3VD ファントム大腸データセット（短いシーケンスとスクリーニングシーケンスを含む）で実験的に検証され、Endomapper データセットからの実際の内視鏡検査記録で定性的にテストされた。

実験結果

• 精度: C3VD データセットにおいて、提案手法はRMS 精度 4.15 mm、中央値絶対誤差（MedA）2.60 mm を達成した。これは、MedA が 2.01 mm であるにもかかわらず RMS 精度が 99.07 mm（高い外れ値量を示す）であった生の CudaSIFT-SLAM 出力と比較して、著しい改善を表す。
• 密度: 高密度化プロセスは、元の疎な地図と比較して、地図点の数を 60 倍以上増加させる。
• 比較: 本手法は、最先端のニューラルレンダリング手法であるLightNeusと同等の精度を持つ地図を生成するが、計算コストはその一部であり、トレーニングや整合のための真のカメラ姿勢を必要としない。
• 性能: キーフレームあたりの総処理時間は約 186 ミリ秒（LightDepth 推論：22 ミリ秒、LMedS 整合：138 ミリ秒、TSDF 統合：26 ミリ秒、マーチングキューブ：117 ミリ秒）であり、利用可能な 200 ミリ秒の予算内に収まっている。
• 追跡: 頻繁な追跡失敗を伴うスクリーニングシーケンスにおいて、基盤となる CudaSIFT-SLAM は、カメラ軌道の RMS ATE を 3.09 mm に維持し、フレームの 83.32% を正常に位置特定した。

意義と主張
本論文は、CudaSIFT-SLAM と LightDepth の組み合わせが、誤った点から疎なマルチマップを清浄化し、それらを高密度化することに成功し、実際の内視鏡処置における堅牢なカメラ追跡を可能にすると主張している。著者は、自らのアプローチが、高密度予測を疎な地図の単一のスケールに頑健に整合させることで、単眼深度推定ネットワークに固有のスケール曖昧性に対処していると強調している。また、本手法は、リアルタイム制約内で動作し、追加の深度センシングハードウェアや明示的な真の深度注釈を必要とすることなく、最先端の技術と競争力のある精度を達成すると主張している。今後の課題として、これらの NN 深度推定値を、初期化、再位置特定、バンドル調整のために、逐次的なリアルタイム V-SLAM パイプラインに直接統合することが特定されている。