3D Consistency Optimization for Self-Supervised Monocular Video Depth Estimation

技術要約：自己教師あり単眼ビデオ深度推定のための3D一貫性最適化

問題提起
信頼性の高い単眼ビデオ深度推定は、内視鏡ナビゲーションにおける高密度再構成、ロボット支援ガイダンス、手術シーンの理解など、ダウンストリームの3D推論およびエンボディドAIにとって不可欠である。しかし、臨床現場への導入はハードウェアの制約によって阻まれている。標準的な内視鏡の多くは単眼であり、信頼できるカメラポーズの追跡機能を備えていない。既存の自己教師あり手法は、ビデオフレームを独立した実体として扱うか、弱い時間的正則化に依存している。これらの手法は、手術シーンの包括的な3D幾何学構造を捉えることができず、幾何学的な不整合、深刻なフレーム間のドリフト、および時間的なちらつき（フリッカ）を引き起こす。これらの誤差は、困難な内視鏡条件下で急速に蓄積し、ダウンストリームの3D再構成の信頼性を損なう。

手法
著者らは、逐次的なビデオ深度推定を、制約のない多視点3D再構成問題として再定義するというパラダイムシフトを提案する。フレームを個別に処理するのではなく、本手法は内視径ビデオを、共有された3Dシーンに固定されたマルチビュー観測の集合として扱う。このアプローチは、真のカメラポーズを必要とせずに、最新の3D基盤モデルの幾何学的事前分布を活用する。

フレームワークは主に2つのステージで構成される：

1. 3D幾何学理解ネットワーク:

   • アーキテクチャ: ネットワークは、空間・時間的一貫性を強制するために、フレームレベルのイントラビュー・アテンションとグローバルなインタービュー・アテンションを交互に組み合わせた「Alternating-Attention Transformer」を利用する。入力画像はDINOv2特徴量を用いてトークン化される。
   • シーン表現: 基盤となるシーンは、3D中心、不透明度、異方性共分散、および球面調和係数によってパラメータ化された一連の3Dガウス・プリミティブ（$P$）によって表現される。
   • ヘッド: ネットワークは3つの特化したヘッドを備えている：
     • カメラ・ヘッド: 各フレームの外部パラメータ（$T_t$）および内部パラメータ（$K$）を予測する。
     • 深度ヘッド: 初期の一層のピクセル単位深度マップ（$D^{init}_t$）を予測する。これは、画像ピクセルを3D空間へ逆投影し、ガウス中心の初期化を行うためだけに用いられる。
     • ガウス・ヘッド: トランスフォーマーの特徴量と浅いCNNの外観特徴量を融合させ、残りのガウス属性を予測する。
   • レンダリング: 微分可能なガウス・スプラッティング機構により、3Dガウスおよび予測されたカメラパラメータから、期待されるRGB画像（$\hat{I}_t$）および深度マップ（$\hat{D}_t$）をレンダリングする。

2. 3D一貫性最適化フレームワーク:
   ネットワークは、レンダリングされた出力に対して3つの相乗的な制約を課すことで、深度マップとカメラポーズを共同で最適化する自己教師あり目的関数を通じて訓練される：

   • 画像レベルのフォトメトリック一貫性（$L_{rgb}$）: 入力フレーム $I_t$ とレンダリングされた画像 $\hat{I}_t$ の間の $L_1$ 差を最小化し、外観と構造の一貫性を確保する。
   • 世界座標系における幾何学的アライメント（$L_{3D}$）: これがドリフトを排除するための核となるメカニズムである。フレーム $t$ からレンダリングされた深度点を統一された世界座標系へと逆投影し、隣接するフレーム（$t'$）へと再投影する。再投影された深度とターゲットフレームのレンダリングされた深度との間で一貫性損失を計算する。この際、オクルージョンや範囲外の投影を処理するため、有効なピクセルセットに対して厳密に行われる。動的な組織の動きや外れ値の影響を軽減するために、ロバストなフーバー・ペナルティが適用される。
   • マルチスケール時間的勾配一貫性（$L_{temp}$）: 幾何学的な不連続性を保持しつつ、時間的なちらつきを抑制するために、隣接するフレーム間における空間勾配の絶対的な不一致を複数のスケールでペナルティとして課す。

最終的な訓練目的関数は、これら3つの損失の加重和である。極めて重要な点は、この最適化は厳密に訓練時の目的関数であることである。推ference（推論）時には、モデルはテスト時の最適化を行うことなく、単一のフィードフォワード・パスで深度を予測する。

主な貢献

1. 新しいパラダイム: 著者らは、単眼ビデオ深度推定を、ポーズフリーなマルチビュー3D一貫性最適化問題へと再定式化することで、臨床内視鏡における3D基盤モデルの可能性を解き放つ自己教師ありフレームワークを導入した。
2. 統合された最適化戦略: 明示的な世界座標アライメントとマルチスケール時間的勾配制約を備えた戦略を提案した。これにより、逐次フレームをグローバルに一貫した幾何学構造に固定し、フレーム間の3Dドリフトを効果的に排除する。
3. 最先端の性能: 本手法は公開ベンチマークにおいて優れた精度を達成し、制約のない臨床環境への堅牢なゼロショット汎化能力を示した。

結果
フレームワークは、2つの公開手術データセット、SCARED（真の深度およびポーズを含む）と Hamlyn（複雑な生体内手技、ゼロショット評価に使用）を用いて評価された。

• 定量的性能: SCAREDデータセットにおいて、提案手法はすべての指標で最近のベースライン（EndoDAC, VDNA, EndoDAV, AnySplat）を上回った。具体的には、絶対相対誤差（Abs Rel）を0.100（AnySplat）から 0.060 へ、RMSEを10.400から 5.503 へ減少させ、同時に $\delta_1$ 精度 0.978 を達成した。
• ゼロショット汎化: Hamlynデータセットにおいても、本手法はすべての指標で最良の結果を達成し、Abs Relを0.299から 0.108 へ、RMSEを29.938から 10.535 へ減少させた。
• 定性的分析: 視覚的な比較により、本手法は、特に大きな動きを伴うシナリオにおいて、既存の手法で見られる異常なエラーや時間的な不整合（ちらつき）を回避し、シーン構造をより良く保持していることが示された。
• アブレーション研究: 実験により、3つの損失成分（$L_{rgb}, L_{3D}, L_{temp}$）のすべてが相補的な利益を提供することが確認された。幾何学的制約（$L_{3D}$）と時間的制約（$L_{temp}$）を含めることで、ベースラインと比較して空間的な精度と安定性が大幅に向上した。さらに、一貫性最適化モジュールを異なるバックボーン（VDAおよびAnySplat）に適用しても、一貫して性能が向上した。

意義
本論文は、困難な単眼ビデオ深度推定を堅牢なマルチビュー3D再構成問題へと変換することにより、提案フレームワークが強力な3D基盤モデルとポーズフリーな臨床内視鏡の間の溝を効果的に埋めるものであると主張している。結果は、グローバルな3D一貫性と時間的一貫性を明示的に強制することで、既存の最先端手法と比較して幾何学的ドリフトと時間的不安定性を大幅に減少させ、実世界のオペ室における信頼性の高い深度推定を可能にすることを実証している。この進展は、高密度再構成やロボット支援ガイダンスといった、低侵襲手術におけるより信頼性の高いダウンストリーム・アプリケーションへの道を開くものである。