技術要約：没入型解剖学のための周辺部ガウス分布を用いたハイブリッド・フォビエート・パス・トレーシング

問題提起

医療解剖学のボリュームデータ（CT、MRI）の可視化は、教育、診断、および計画において極めて重要である。しかし、従来のワークフローは2Dの断層スライスに依存しており、ユーザーは3Dの空間的関係を精神的に再構築することを強いられるため、認知負荷が高い。没入型の仮想現実（VR）や高忠実度なボリューム・パス・トレーシングは、優れた奥行き知覚とリアリズムを提供する一方で、重大な計算上の障壁に直面している。VRに必要な高解像度かつ高フレームレートでの直接的なパス・トレーシングは、計算コストが極めて高い。対照的に、3Dガウス・スプラッティング（3DGS）のような事前計算された中間表現は、高いレンダリング速度を提供するが、通常は広範な前処理を必要とし、インタラクティブ性（例：動的な転送関数の変更）に欠け、直接レンダリングと比較して微細な解剖学的詳細を犠牲にする。さらに、既存のフォビエート・レンダリング戦略は、静的なプロキシ・ジオメトリに依存するか、高解像度ディスプレイへのスケーリングにおけるレイテンシやディスオクルージョン（遮蔽による消失）の問題に苦慮している。高精細な視覚、リアルタイムのインタラクティビティ、およびモバイルまたはスタンドアロンVRデバイス向けの低い計算コストのバランスを実現するシステムには、依然としてギャップが存在する。

手法

著者らは、中心視（フォビア）のためのストリーミング・フォビエート・パス・トレーシングと、周辺視のための**迅速に生成され継続的に洗練される3Dガウス・スプラッティング（3DGS）**モデルを統合した、ハイブリッド・レンダリング・パイプラインを提案している。本システムは、計算集約的なタスクと軽量なリアルタイム・ビューアを分離する、分割レンダリング・アーキテクチャに基づいて動作する。

システム構成要素

1. ボリューム・パス・トレーサー:

   • ユーザーのヘッドポーズに基づき、高品質なフォビエート画像および深度データを生成する。
   • 限定的なパス・トレーサー（最大4バウンス）を使用し、サンプル数は8〜32 SPP（Samples Per Pixel）の範囲とする。
   • NVIDIA OptiXを用いたデノイジングを採用し、インタラクティブなフレームのためにモーションベクトルとアルベド・バッファを用いた時間的蓄積を利用する。
   • レイをキャストしてボリューム表面の最初の有意なヒットを見つけることで初期ポイントクラウドを生成し、同じパス・トレーシング・ロジックを用いて着色する。

2. 周辺モデルの学習（3DGS）:

   • 初期化: 少数のポーズされた画像（例：12ビュー、8 SPP）を用いて、1秒未満で初期周辺モデルを作成する。これは、高密度化ステップをスキップし、早期に簡略化を適用して「フローター（浮遊物）」アーティファクトを防ぐことで、Mini-Splatting2を迅速な再構成のために適応させたものである。
   • 継続的な洗練: ユーザーが操作を行う際、新しいフォビエート画像が学習サブシステムに供給される。冗長なデータを避けるため、位置と角度の閾値に基づいてビューをフィルタリングするヒューリスティックを採用している。モデルは定期的に再最適化（既存のガウス分布を初期値としてロード）され、新しい詳細を取り込むことができ、これにより、広範な前処理なしに周辺モデルの品質を時間の経過とともに向上させることが可能となる。
   • 最適化: 半透明の医療構造をより適切に扱うために、アルファ学習とランダム化された背景を使用する。

3. リアルタイム・ビューア:

   • コンシューマー向けハードウェアまたはスタンドアロンVRヘッドセット（例：Meta Quest 3）上で動作する。
   • 深度ガイド付きリプロジェクション: パス・トレーサーからの深度データによって変形されたメッシュ上に、受信したフォビエート画像を投影することで、レイテンシを隠蔽する。これにより、レンダリング速度とディスプレイの更新レートを切り離すことができる。
   • コンポジット: フォビエート・パス・トレースされた画像と、周辺の3DGSクラウドを合成する。透明領域とのブレンディング・アーティファクトを防ぐため、フォビア領域に対して3DGSモデルに視錐台形状のカットアウトを適用する。
   • ブレンディング: 低解像度の学習中に小さな構造（血管など）が過小評価されることを補正するため、スプラットのサイズと不透明度の調整を行う。

主な貢献

本論文は、以下の3つの主要な貢献を特定している。

1. ハイブリッド・レンダリング・パイプライン: ストリーミング・フォビエート・パス・トレーシングと、再生される3DGS周辺クラウドを統合した新しいシステムであり、高精細な解剖学的可視化を、計算効率的に実現する。
2. 深度ガイド付きリプロジェクション: パス・トレーサーからの深度データを使用してフォビエート画像の再投影をガイドすることで、レイテンシを隠蔽し、表示更新レートとレンダリング速度を切り離す手法であり、頭部の動きに対する堅牢性を向上させる。
3. インタラクティブ生成の評価: 周辺モデルが1秒未満で再生可能であり、かつ継続的に洗練可能であることを示す経験的研究であり、セットアップ時間と視覚的品質の間のトレードオフが、スタンドアロンのパス・トレーシングや事前計算された3DGSよりも優れていることを実証した。

結果

システムは、医療ボリューム（"Fullbody" および "Leg"）を用いて、知覚的指標（LPIPS、マスク付きPSNR、SSHM）およびパフォーマンス・ベンチマークで評価された。

• 初期化速度: 初期の周辺モデルは約300〜400 msで生成可能であり、完全な再構成は1秒未満で完了する。これは、同等の設定における標準的な3DGSのセットアップに要する1〜2分よりも大幅に速い。
• 視覚的品質:
  • フォビア領域: ハイブリッド・アプローチは、同等のフレームタイムにおけるリアルタイム・パス・トレーシングと比較して、特に知覚的指標（LPIPS）において、フォビア領域で優れた視覚的品質を提供する。
  • 周辺領域: 本手法は、スタンドアロンのリアルタイム・パス・トレーシングよりも周辺部において優れており、事前計算された3DGSと同等の品質を、ごくわずかなセットアップ時間で提供する。
  • 継続的な洗練: 追加のビュー（最大512ビュー）によってモデルが洗練されるにつれ、視覚的品質は向上する（ガウス分布の数は約1万から約5万へ増加）。ただし、約2000イテレーション以降は、利得が逓減する。
• パフォーマンス: システムはMeta Quest 3上で72 FPS以上を達成する。ビューアによる周辺モデルのレンダリングは0.5 ms未満であり、パス・トレーシングとデノイジングはリモートの高出力GPUで行われる。
• レイテンシ処理: 深度ガイド付きリプロジェクションはレイテンシを効果的に隠蔽し、フォビエートの更新レートがディスプレイの更新レートよりも低い場合でも、安定した高フレームレートのレンダリングを可能にする。

意義と主張

著者らは、本研究がパス・トレーシングの高精細さと、事前計算された表現のリアルタイム性能との間のギャップを埋めるものであると主張している。人間の目の非一様な鋭敏さを利用することで、システムは最も重要な場所（フォビア）に計算リソースを集中させ、周辺部には視覚的に妥当で、迅速に生成された近似を提供する。

その意義は、従来の3DGSのような広範な前処理時間や、フルシーン・パス・トレーシングの禁止的な計算コストを伴わずに、モバイルVRデバイス上でインタラクティブで高品質な医療可視化を可能にすることにある。本アプローチは、周辺モデルを数秒で再生することによって、転送関数やクリッピングプレーンの変更といった動的な操作をサポートし、静的な事前計算で失われる可能性のある微細な解剖学的詳細を保持する。論文は、このハイブリッド戦略が、複雑な病理の即時かつ高精細な探索を必要とするシナリオにおいて、インタラクティブな医療可視化の新たな選択肢を切り開くと結論付けている。