ExtraGS: Enhancing Endoscopic View Extrapolation via Diffusion-Guided 3D Gaussian Splatting

技術要約: ExtraGS

問題提起
ロボット支援低侵襲手術（MIS）は内視鏡による知覚に大きく依存しているが、従来の内視鏡はハードウェアの制約や狭い解剖学的空間により、視野（FOV）が制限される。この制限は視覚的なブラインドスポット（死角）を生み出し、診断の見落としを招く可能性があり、外科医が空間記憶に頼らざざるを得ない状況を作り出す。近年、Neural Radiance Fields (NeRF) や 3D Gaussian Splatting (3DGS) といったニューラルレンダリング技術により、内視鏡ビデオからの新規視点合成が可能となっているが、これらは**視点外挿（view extrapolation）**において著しく苦戦する。仮想カメラが学習された軌跡から離れ、未観測の解剖学的領域へと移動すると、実際の画像入力の欠如により、標準的なフォトメトリック損失や幾何学的事前知識による効果的な教師あり学習ができなくなる。その結果、これらの手法は深刻な幾何学的歪み、混沌としたアーティファクト、および構造的な不完全性を引き起こし、外挿された視点を臨床的に信頼できないものにしてしまう。

手法: ExtraGS フレームワーク
著者らは、拡散モデルによるガイド付き 3D Gaussian Splatting を統合することで、内視鏡の視点外挿を強化するフレームワークである ExtraGS を提案している。パイプラインは主に4つの段階で構成される：

1. シーン初期化と実行可能領域の推定:
   プロセスは、疎な入力の内視鏡RGBおよび深度画像を用いて、粗い3D Gaussian表現（$G_c$）を最適化することから始まる。この再構成から表面メッシュが抽出され、境界ボリュームが定義される。その後、占有グリッドが構築され、占有された解剖学的領域と自由空間を区別することで、その後の仮想カメラの探索を、シーン内の実行可能かつ未観測の領域内に制限する。

2. 不確実性ガイド付き仮想カメラサンプリング:
   ブラインドスポットを能動的に探索し、情報利得を最大化するために、本手法は実行可能領域内での新しい仮想カメラサンプリング戦略を採用している。この戦略は内視鏡シーンに合わせてカスタマイズされており、以下を含む：

   • 照明を考慮した探索: 現在の画像における最も暗い領域（これらの領域は制約が少なく、再構成エラーが発生しやすい）に沿った方向を優先する。
   • 折り畳み（fold）を考慮したポーズ制御: 急激な視点変化にペナルティを課すことで、滑らかなカメラの動きを保証し、複雑な折り畳まれた解剖学的構造における不安定性を防ぐ。
   • カバレッジ利得: 新たに観測されたGaussian-方向ペアの数を追跡し、包括的なシーンカバレッジを確保する。

3. 拡散モデルによる視点強化:
   サンプリングされた仮想視点からの初期レンダリングには、アーティファクト（穴、浮遊物、ぼけなど）が含まれることが多い。補間のみに頼るのではなく、本フレームワークは2Dビデオ拡散モデルを事前知識として使用し、これらの画像を精緻化する。拡散モデルは、粗いレンダリングと最も近い実入力視点（視覚的アンカーとして）を受け取り、高忠実度の**疑似観測（pseudo-observations）**を生成する。このステップは、実データからの信頼できる手がかりを保持しつつ、未観測領域に対して妥当な解剖学的構造を効果的に「幻視（hallucinate）」させる。

4. 信頼度重み付けによる共同ファインチューニング:
   生成された疑似観測が、すでに良好に再構成された領域を劣化させるのを防ぐため、著者らは信頼度重み付け最適化戦略を導入している。これには2レベルの重み付けが含まれる：

   • 画像レベルの信頼度: 仮想視点における可視Gaussianと参照視点との重なりを測定するGaussian Intersection over Union (G-IoU) に基づく。重なりが少ないほど高い重みが与えられ、補完的な情報を強調する。
   • ピクセルレベルの信頼度: 粗いレンダリングと拡散強化された画像との知覚的差異（LPIPS）に基づき、拡散モデルが大幅な修正を行ったピクセルに精緻化を集中させる。
     その後、元の実観測と信頼度重み付けされた疑似観測の両方を用いて、3DGSモデルを共同でファインチューニングする。

主な貢献

• ExtraGS フレームワーク: 大規模なベースラインの視点外挿時における深刻なアーティファクト問題を解決するために、2D拡散事前知識を内視鏡3DGSに統合した新しい手法。
• 不確実性ガイド付きサンプリング: 情報利得を最大化するために、照明および折り畳みを考慮した戦略を用いて、解剖学的なブラインドスポットを能動的に標的とするメカニズム。
• 信頼度重み付けファインチューニング: 未観測領域を埋めるために拡散生成コンテンツを活用しながら、正確に再構成された3D構造の完全性を維持する二段階の重み付け戦略。
• 最先端の性能: 既存の手法と比較して、新規視点合成および大規模ベースライン外挿タスクの両方において優れた性能を示す包括的な評価。

実験結果
本手法は、狭い管状構造、繰り返される折り畳み、および自己遮蔽を特徴とする結腸鏡データセットである C3VDv2 で評価された。著者らは、疎な視点利用（Cecum t1）と、離れた複雑な軌跡（Ascending t2）という2つの困難な設定下で、ExtraGSを標準的な3DGS、GaussianPancakes、およびUCNeRFと比較した。

• 定量的性能: ExtraGSは、両方のシナリオにおいて最高のピーク信号対雑音比（PS前PSNR）および構造的類似性指数（SSIM）を達成した。例えば、疎なCecum t1シナリオでは、ExtraGSは20.23 dBのPSNRと0.769のSSIMを達成し、UCNeRF（19.22 dB, 0.541）および標準的な3DGS（18.74 dB, 0.673）を上回った。離れたAscending t2シナリオでは、18.75 dBの堅牢なPSNRと0.857のSSIMを維持したが、GaussianPancakesは10.39 dBへと大幅に低下した。
• 定性的性能: 視覚的な比較では、ベースラインの手法がノイズの多いアーティファクト、過度な平滑化、または壊滅的なぼけを示したのに対し、ExtraGSは複雑な組織のトポロジー、微細な血管ネットワーク、および鏡面反射を高い忠実度で再構成することに成功した。
• アブレーション研究: 照明および折り畳み考慮コンポーネントを取り除くと、わずかな性能低下が見られ、内視鏡環境におけるこれらの特定の設計選択の有用性が確認された。

意義と主張
論文は、ExtraGSが外挿アーティファクトを大幅に減少させ、内視鏡の新規視点合成において最先端の性能を達成することを主張している。生成的な事前知識を利用して未観測領域に教師あり学習を提供することで、本フレームワークは実質的に利用可能な視野を拡大し、再構成の信頼性を向上させる。著者らは、この能力がロボット支援低侵襲手術における術前計画、術中ナビゲーション、および事後診断において価値を持つ可能性があると示唆している。

しかし、著者らは現在の研究範囲について謙虚な姿勢を保っている。彼らは、本フレームワークが比較的静止したシーンを想定しており、リアルタイム実行、動的な照明、器具による遮蔽、または組織の変形についてはまだ検証されていないことを明示している。したがって、現在の結果は、堅牢な4D再構成のための将来的な課題（これらの動的な要因への対処）に向けた、本アプローチの潜在的な可能性を示すものである。