Underwater360: Reconstructing Underwater Scenes from Panoramic Images with Omnidirectional Gaussian Splatting

技術概要：Underwater360

問題定義
没入型の探査にとって、水中の 3 次元シーンの高忠実度再構成は不可欠ですが、重大な課題に直面しています。標準的な透視カメラに依存する従来の手法は、不安定な水中環境（潮流、浮遊粒子）および光の吸収と散乱による深刻な光学劣化のために水中では困難を極めます。これらの要因は、クロスビュー対応関係を弱め、信頼性の低いカメラ姿勢推定と再構成アーティファクトを引き起こします。さらに、従来の狭視野カメラはカバレッジのために密で重複するビューを必要としますが、これは水中では信頼性高く達成することが困難です。3 次元ガウススプラッティング（3DGS）は陸上シーンの再構成に革命をもたらしましたが、既存の水中適応手法は主に透視画像向けに設計されており、360 度パノラマに固有の球面投影歪みと、参加媒質による劣化という、相互に関連する課題に対処できていません。一方、既存の全方位レンダリング手法は通常、クリアな大気条件を仮定しており、水中の光輸送をモデル化していません。

手法
著者らは、水中パノラマシーンを再構成するために設計された、物理情報に基づく全方位 3DGS フレームワーク「Underwater360」を提案します。このフレームワークは、以下の 3 つの中核コンポーネントを統合しています：

1. 全方位ガウススプラッティング：
   幾何学的歪みをもたらす 2 次元等角円柱投影（ERP）画像上に 3 次元ガウスを投影するのではなく、この手法は球面カメラ空間内で直接レイキャストを実行します。ERP 画像の各ピクセルに対して、球面座標系でビューレイが定義されます。各ガウスの寄与は、局所接平面内のこれらのレイに沿って評価されます。SPaGS フレームワークに基づいて構築されたこのアプローチは、球面投影歪みを軽減し、その後の物理モデル化に必要な正確なレイ - スプラット交差深度を提供します。

2. 物理ベースの外観 - 媒質モデリング：
   水中劣化に対処するため、著者らは水中画像形成モデル（UIFM）を用いて、固有のシーン放射輝度を深度依存のバック散乱と減衰から分離します。

   • 固有外観： ポーズ条件付きの外観埋め込みモジュールが、軽量 MLP を用いて各ガウスの基本色を調整します。これにより、固有のシーン放射輝度をビュー依存効果および媒質誘起シフトから分離し、基本ガウス表現を安定させます。
   • 媒質推定： 2 つの軽量ニューラルネットワークが、水の物理パラメータを推定します。
     • Backscatter-Net： 深度マップを入力として受け取り、バック散乱の減衰係数を予測します。これにより、無限遠での水光色の漸近的飽和と近距離の偏差をモデル化します。
     • DeattenuateNet： 深度マップとビュー埋め込みを入力として受け取り、空間的に変化する減衰係数を予測し、不均一な水条件を考慮します。
       最終的な劣化画像は、物理モデルに従って、クリーンな放射輝度、推定された減衰、およびバック散乱を組み合わせることで合成されます：$I(p) = J(p) \odot A(p) + B(p)$。

3. 結合最適化：
   システムは、ガウスの属性（位置、共分散、不透明度、色）と、外観および媒質ネットワークのパラメータを同時に最適化します。損失関数は、生水中パノラマ観測に対する再構成を監督するために、ピクセル単位の L1 損失と構造的類似性（L-SSIM）を組み合わせます。

主要な貢献

• 統合フレームワーク： 本論文は、全方位ガウスレンダリングと明示的な水中画像形成を結合する初の統合定式化を提示し、パノラマ入力からの幾何学、ビュー依存外観、および媒質劣化の同時再構成を可能にします。
• 全方位ガウススプラッティング： カメラ空間内で直接球面レイキャストを実行するモジュールを導入し、360 度視野における 2 次元投影近似に関連する幾何学的歪みを効果的に低減します。
• 物理認識モデリング： 深度事前知識とポーズ条件付き埋め込みを用いて、固有のシーン放射輝度を水中減衰およびバック散乱から明示的に分離する新規アーキテクチャであり、物理的に裏付けられたシーン復元を可能にします。
• 新しいベンチマーク： 合成データ（Unreal Engine 5 による 5 シーン）と実世界データ（Insta360 X4 カメラで撮影された 5 シーン）の両方を含む、合成および実世界の水中 360 度シーンからなる、新しいパノラマ水中ベンチマークデータセット OmniUW と Insta360 の確立。

結果
合成 OmniUW データセットと実世界 Insta360 データセットの両方において、Underwater360 を最先端の NeRF ベースおよび 3DGS ベースの手法（水中専用および全方位バリエーションを含む）と比較する広範な実験が行われました。

• 定量的性能： Underwater360 は、両データセットのほとんどのシーンと指標（PSNR、SSIM、LPIPS）において、優位またはほぼ優位な性能を達成しました。特に、他の手法が困難を抱えたり不安定な結果を生んだりする深刻な劣化を伴うシーンにおいて、顕著なロバスト性を示しました。
• 定性的改善： 視覚的比較により、この手法はより明確な局所詳細と、より忠実なシーンの外観を復元することが示されました。シーンをクリーンな放射輝度、減衰、およびバック散乱に分解する結果は、先行研究と比較して、より空間的に一貫性があり、物理的に妥当であることが判明しました。
• アブレーションの知見： 結果は、全方位ガウススプラッティング単独ではクリアなシーンに対して有効である一方、深刻な減衰とバック散乱に対処するには、明示的な水中画像形成モデリングが不可欠であることを示唆しています。

意義と主張
著者らは、Underwater360 が、パノラマシーン表現と明示的な物理モデリングを統合することで、水中シーン再構成に対する新たな視点を提供すると主張しています。全方位イメージングの豊富なカバレッジと 3DGS の効率性を活用することで、この手法は、困難な水中環境における再構成に対して、より強力な大域的制約を提供します。この研究は、堅牢な水中 3 次元ビジョンに向けた基礎的なステップとして位置づけられており、コミュニティに対して、球面歪みと媒質劣化という相互に関連する課題に対処可能な最初のベンチマークデータセットとフレームワークを提供します。著者らは、静的シーンの仮定、カメラハウジングに対する屈折モデリングの欠如、および極めて濁ったまたはテクスチャが希薄な環境における不安定性という限界を認め、これらを将来の研究方向として提案しています。