Multivariate Gaussian NeRF for Wide Field-of-View Ultrasound Reconstruction

以下は、論文「Multivariate Gaussian NeRF for Wide Field-of-View Ultrasound Reconstruction（Ultra-Wide-NeRF）」の詳細な技術的サマリーです。

1. 問題定義

広視野（WFoV）超音波の課題：
臨床超音波、特に凸型プローブを用いたものは、心臓内超音波検査（ICE）などの大規模な解剖学的構造の捉え取りに不可欠です。しかし、個々の取得データは狭い視野（FoV）に限定されます。大規模な構造を可視化するためには、複数の重なり合う 3D スキャンを連結（ステッチ）する必要があります。

既存手法の限界：

• 従来のステッチング： 従来の手法は、特徴量または強度に基づく登録に続き、空間的コンパウンディングを行うことに依存しています。これにより、深度依存性の解像度変化に起因する重大なコンパウンディングアーティファクトとエイリアシングが生じます。
• 既存のニューラル放射場（NeRFs）： 最近の超音波用 NeRF（例：Ultra-NeRF、NeRF-US）は連続的な表現を提供しますが、通常、無限に細い光線に沿った等間隔の点サンプリングを仮定しています。
• 核心的な物理的ミスマッチ： 凸型プローブは発散する音響ビームを放射します。パルスがサンプリングする物理的体積は、深度に比例して拡大します。標準的な細い光線近似はこの拡大するフットプリントを無視しており、以下の問題を引き起こします：
  • 遠方領域でのエイリアシング。
  • 深度依存性の解像度低下。
  • 空間軸（軸方向、側方方向、および昇降方向）全体で未解決の異方性。

2. 手法：Ultra-Wide-NeRF

著者らは、**多変量 3D ガウス（MVG）**を用いて NeRF と凸型超音波プローブの固有の幾何学を橋渡しするフレームワーク「Ultra-Wide-NeRF」を提案します。

A. 物理情報に基づくサンプリング戦略

細い光線上の点をサンプリングする代わりに、この手法は音響ビームを発散する円錐台としてモデル化します。

• 幾何学： システムは、開口角$\Theta$、内半径$R_{in}$、外半径$R_{out}$を有する極座標$(r, \theta)$を用いてプローブをモデル化します。
• 3D 拡張： 3D 体積は、ファンビームスライスを積層することで構築されます。昇降方向の次元は、スライス間のポーズの差異によって暗黙的に定義され、取得時の走査を捉えます。

B. 多変量 3D ガウス（MVG）

離散点として音響相互作用を近似することの不適切な性質に対処するため、この手法は点推定を連続的な 3D ガウスに置き換えます。

• 異方性： 超音波の解像度が軸方向、側方方向、および昇降方向で異なることを認識し、ガウスは異方的に設定されます。
• 共分散行列の構築： 共分散行列$\Sigma$は、3 つの異なる分散から構築されます：
  1. $\sigma^2_{ray}$：光線方向に沿って。
  2. $\sigma^2_{lateral}$：撮像面内で光線に垂直な方向。
  3. $\sigma^2_{depth}$：昇降方向（面外方向）で光線に垂直な方向。
• 統合位置符号化（IPE）： この手法は、これらのガウスフットプリントに対して IPE を適用します。単一の点で特徴を評価する標準的な位置符号化とは異なり、IPE はガウスフットプリント全体にわたって特徴を平均化します。
  • エイリアシング防止メカニズム： フットプリントが大きい場合（遠方領域／低解像度）、高周波成分は自然に抑制され、低周波成分は保持されます。これは、サンプリングフットプリントをネットワーク入力に直接埋め込む、内在的なエイリアシング防止フィルタとして機能します。

C. 損失関数

トレーニング目的は、標準的な再構成損失と 3D 意識的な制約を組み合わせます：

• $L_{MSE}$： 描画された体積とグランドトゥルース体積間の平均二乗誤差。
• $L_{SSIM}$： 構造的整合性を維持するための構造的類似度指数。
• $L_{grad}$： 縁の鮮明さとスペクルテクスチャを維持するための有限差分勾配大きさ損失。
• 正則化： パノラマ体積全体での整合性を強制するための Ultra-NeRF 正則化を含みます。

3. 主要な貢献

1. 明示的なビームモデル： 距離依存性の体積サンプリングを用いて、発散する凸型超音波ビームの拡大する空間フットプリントを明示的にモデル化した、初の NeRF ベースのアプローチ。
2. 多変量ガウス表現： 軸方向、側方方向、および昇降方向における根本的な解像度の差異を捉えるための異方性 3D ガウスの導入。これにより、欠陥のある細い光線近似が置き換えられました。
3. 内在的なエイリアシング防止： ガウスフットプリント上での統合位置符号化の使用は、ポストプロセッシングを必要とせずに遠方領域のエイリアシングに対する物理ベースの解決策を提供します。
4. 二重機能： このフレームワークは、複数のスキャンを融合するシームレスな WFoV パノラマ再構成と、任意の仮想軌道からの高忠実度な新規ビュー合成の両方を達成します。

4. 実験結果

この手法は、**心臓内超音波検査（ICE）**データセットで検証されました：

• データセット： 静的なシリコンファントムと in vivo のブタデータセットの 2 つ。両方とも、下大静脈（IVC）、右心房、および上大静脈（SVC）を通過する 360 度 FoV カテーテルを使用しました。
• 比較： 最先端（SOTA）の幾何学ベースの登録/コンパウンディングおよび、標準的な点サンプリングを用いたアブレーションされた NeRF モデルに対してベンチマークされました。

主要な知見：

• アーティファクトの低減： Ultra-Wide-NeRF は、従来のコンパウンディング手法で見られたステッチングアーティファクトとエイリアシングを成功裡に排除しました。
• 解像度の頑健性： 入力データが昇降方向で 2 倍（0.6mm）ダウンサンプリングされた場合でも、Ultra-Wide-NeRF は、フル解像度データで動作する SOTA ベースラインよりも鮮明な縁で解剖学的文脈を回復しました。
• アブレーション研究： 点サンプリングを用いたアブレーションモデルは、縁の過平滑化と詳細の洗い流しを生み出し、連続的な MVG 定式化の必要性を実証しました。
• 新規ビュー合成： モデルは以下を成功裡に合成しました：
  • ホールドアウト体積： トレーニングスキャン間の未観測の空間的文脈。
  • 軌道外ビュー： 元の取得経路から厳密に外れた仮想プローブ位置からの B モード画像。これにより、対話的な診断的視点が可能になりました。
• 効率性： この手法は、ダウンサンプリング係数に依存して、正確な再構成手法と比較してトレーニングが 10〜20 倍高速であると報告されています。

5. 意義と影響

• 臨床ナビゲーション： シームレスでアーティファクトのないパノラマビューを提供することで、特に複雑な心臓手術における術中ナビゲーションに必要な空間的文脈を強化します。
• 仮想探査： 未観測の角度からのビューを合成する能力は、再構成された体積を対話的な診断ツールへと変換し、臨床医が特定の領域に焦点を当てたり、最適かつ未記録の角度から解剖学を視覚化したりすることを可能にします。
• 汎用性： 心臓データで検証されましたが、幾何学的サンプリング戦略は、腹部および産科画像を含む、凸型プローブを使用するあらゆる臨床領域に適用可能です。
• パラダイムシフト： 超音波再構成を、離散ボクセルのステッチングから、撮像モダリティの基本的な波伝播特性を尊重する連続的で物理意識的なニューラル表現へと移行させます。