Underwater360: Reconstructing Underwater Scenes from Panoramic Images with Omnidirectional Gaussian Splatting

Technische Samenvatting: Underwater360

Probleemstelling
De reconstructie van onderwater-3D-scènes met hoge fideliteit is cruciaal voor meeslepende exploratie, maar staat voor aanzienlijke hindernissen. Traditionele methoden die vertrouwen op standaard perspectiefcamera's hebben het moeilijk onder water vanwege de onstabiele aquatische omgeving (stromingen, zwevende deeltjes) en ernstige optische degradatie veroorzaakt door lichtabsorptie en verstrooiing. Deze factoren verzwakken de overeenkomsten tussen verschillende gezichtspunten, wat leidt tot onbetrouwbare schattingen van cameraposities en reconstructie-artefacten. Bovendien vereisen conventionele camera's met een smal gezichtsveld dichte, overlappende opnamen voor dekking, wat onder water moeilijk betrouwbaar te realiseren is. Hoewel 3D Gaussian Splatting (3DGS) de reconstructie van terrestrische scènes heeft revolutionair, zijn bestaande aanpassingen voor onderwater voornamelijk ontworpen voor perspectiefbeelden en slagen ze er niet in de gekoppelde uitdagingen van sferische projectiedistorsie (inherent aan 360°-panorama's) en degradatie door deelnemend medium aan te pakken. Omgekeerd gaan bestaande methoden voor omnidirectionele rendering meestal uit van heldere luchtcondities en modelleren ze geen onderwaterlichttransport.

Methodologie
De auteurs stellen Underwater360 voor, een op fysica gebaseerd omnidirectioneel 3DGS-framework dat is ontworpen om onderwater panorama's te reconstrueren. Het framework integreert drie kerncomponenten:

1. Omnidirectionele Gaussian Splatting:
   In plaats van 3D-Gaussians te projecteren op een 2D Equirectangular Projection (ERP)-afbeelding (wat geometrische distortie introduceert), voert de methode straalcasting direct uit in sferische camera-ruimte. Voor elke pixel in de ERP-afbeelding wordt een kijkstraal gedefinieerd in sferische coördinaten. De bijdrage van elke Gaussian wordt langs deze stralen geëvalueerd binnen een lokaal raakvlak. Deze aanpak, gebouwd op het SPaGS-framework, vermindert sferische projectiedistorsies en levert nauwkeurige straal-splat-snijdieptes op die noodzakelijk zijn voor de daaropvolgende fysische modellering.

2. Fysica-gebaseerde Appearancemedium-modellering:
   Om onderwaterdegradatie aan te pakken, ontkoppelen de auteurs de intrinsieke scènestraling van diepte-afhankelijke backscatter en verzwakking met behulp van het Underwater Image Formation Model (UIFM).

   • Intrinsieke Weergave: Een pose-geconditioneerde appearance-embeddingmodule past de basis kleur van elke Gaussian aan met een lichtgewicht MLP. Dit ontkoppelt de intrinsieke scènestraling van view-afhankelijke effecten en door medium veroorzaakte verschuivingen, waardoor de basis-Gaussian-representatie stabiel blijft.
   • Mediumschatting: Twee lichtgewicht neurale netwerken schatten de fysieke parameters van het water.
     • Backscatter-Net: Neemt de dieptekaart als invoer om verzwakkingscoëfficiënten voor backscatter te voorspellen, waarbij de asymptotische verzadiging van waterlichtkleur op oneindige afstand en afwijkingen in de nabije omgeving worden gemodelleerd.
     • DeattenuateNet: Neemt de dieptekaart en view-embedding als invoer om ruimtelijk variërende verzwakkingscoëfficiënten te voorspellen, rekening houdend met niet-homogene watercondities.
       De uiteindelijke gedegradeerde afbeelding wordt gesynthetiseerd door de schone straling, de geschatte verzwakking en de backscatter te combineren volgens het fysische model: $I(p) = J(p) \odot A(p) + B(p)$.

3. Gecombineerde Optimalisatie:
   Het systeem optimaliseert de Gaussian-attributes (positie, covariantie, dekking, kleur) en de parameters van de appearance- en mediumnetwerken gezamenlijk. De verliesfunctie combineert pixel-gewijze L1-verlies en structurele gelijkenis (L-SSIM) om de reconstructie te superviseren tegen de ruwe onderwater panorama-observaties.

Belangrijkste Bijdragen

• Unificerend Framework: Het artikel presenteert de eerste unificerende formulering die omnidirectionele Gaussian-rendering koppelt aan expliciete onderwaterbeeldvorming, waardoor gezamenlijke reconstructie van geometrie, view-afhankelijke weergave en mediumdegradatie vanuit panorama-invoer mogelijk wordt.
• Omnidirectionele Gaussian Splatting: Introductie van een module die sferische straalcasting direct in camera-ruimte uitvoert, wat geometrische distorties effectief reduceert die geassocieerd zijn met 2D-projectiebenaderingen in 360°-gezichtsvelden.
• Fysica-bewuste Modellering: Een nieuw architectuur dat intrinsieke scènestraling expliciet ontkoppelt van onderwaterverzwakking en backscatter met behulp van dieptepriors en pose-geconditioneerde embeddings, wat fysisch onderbouwde scèneherstel mogelijk maakt.
• Nieuwe Benchmarks: De oprichting van een nieuw panorama-onderwater benchmarkdataset, OmniUW (synthetisch, 5 scènes in Unreal Engine 5) en Insta360 (real-world, 5 scènes vastgelegd met een Insta360 X4-camera), bestaande uit zowel synthetische als real-world onderwater 360°-scènes.

Resultaten
Uitgebreide experimenten werden uitgevoerd op zowel de synthetische OmniUW als de real-world Insta360-datasets, waarbij Underwater360 werd vergeleken met state-of-the-art NeRF-gebaseerde en 3DGS-gebaseerde methoden (inclusief onderwaterspecifieke en omnidirectionele varianten).

• Kwantitatieve Prestaties: Underwater360 behaalde superieure of bijna-superieure prestaties over de meeste scènes en metrieken (PSNR, SSIM, LPIPS) op beide datasets. Opmerkelijk is dat het aanzienlijke robuustheid toonde in scènes met ernstige degradatie waar andere methoden worstelden of onstabiele resultaten opleverden.
• Kwalitatieve Verbeteringen: Visuele vergelijkingen toonden aan dat de methode helderdere lokale details en meer getrouwe scèneverschijningen herstelt. De decompositie van de scène in schone straling, verzwakking en backscatter bleek ruimtelijker coherent en fysisch plausibeler dan bij eerdere werken.
• Ablatie-inzichten: De resultaten gaven aan dat hoewel omnidirectionele Gaussian splatting op zichzelf effectief is voor heldere scènes, expliciete modellering van onderwaterbeeldvorming cruciaal is voor het hanteren van ernstige verzwakking en backscatter.

Betekenis en Claims
De auteurs claimen dat Underwater360 een nieuw perspectief biedt op onderwaterscène-reconstructie door panorama-scène-representatie te verenigen met expliciete fysieke modellering. Door te profiteren van de rijke dekking van omnidirectionele beeldvorming en de efficiëntie van 3DGS, biedt de methode sterkere globale beperkingen voor reconstructie in uitdagende onderwateromgevingen. Het werk wordt gepositioneerd als een fundamentele stap naar robuuste onderwater 3D-vision, waarbij de gemeenschap wordt voorzien van de eerste benchmarkdataset en een framework dat de gekoppelde uitdagingen van sferische distortie en mediumdegradatie aankan. De auteurs erkennen beperkingen met betrekking tot statische scène-aannames, het ontbreken van refractiemodellering voor camera-huisvestingen en instabiliteit in extreem troebel of textuur-arme omgevingen, en suggereren deze als richtingen voor toekomstig werk.