Underwater360: Reconstructing Underwater Scenes from Panoramic Images with Omnidirectional Gaussian Splatting

Riepilogo Tecnico: Underwater360

Enunciato del Problema
La ricostruzione ad alta fedeltà di scene 3D sottomarine è fondamentale per l'esplorazione immersiva, ma incontra ostacoli significativi. I metodi tradizionali basati su fotocamere a prospettiva standard faticano sott'acqua a causa dell'ambiente acquatico instabile (correnti, particelle in sospensione) e del grave degrado ottico provocato dall'assorbimento e dalla diffusione della luce. Questi fattori indeboliscono le corrispondenze tra diverse viste, portando a stime di posa della camera inaffidabili e ad artefatti di ricostruzione. Inoltre, le fotocamere convenzionali a campo ristretto richiedono viste dense e sovrapposte per la copertura, condizione difficile da raggiungere in modo affidabile sott'acqua. Sebbene lo Splatting Gaussiano 3D (3DGS) abbia rivoluzionato la ricostruzione di scene terrestri, le adattazioni esistenti per l'ambiente sottomarino sono progettate principalmente per immagini prospettiche e non affrontano le sfide accoppiate della distorsione della proiezione sferica (intrinseca ai panorami a 360°) e del degrado dovuto ai mezzi partecipanti. Al contrario, i metodi di rendering omnidirezionale esistenti assumono tipicamente condizioni di aria limpida e non modellano il trasporto della luce sott'acqua.

Metodologia
Gli autori propongono Underwater360, un framework 3DGS omnidirezionale informato dalla fisica, progettato per ricostruire scene panoramiche sottomarine. Il framework integra tre componenti fondamentali:

1. Splatting Gaussiano Omnidirezionale:
   Invece di proiettare i Gaussiani 3D su un'immagine 2D a Proiezione Equirettangolare (ERP) (che introduce distorsioni geometriche), il metodo esegue il ray casting direttamente nello spazio della camera sferica. Per ogni pixel nell'immagine ERP, viene definito un raggio di vista in coordinate sferiche. Il contributo di ciascun Gaussiano viene valutato lungo questi raggi all'interno di un piano tangente locale. Questo approccio, basato sul framework SPaGS, mitiga le distorsioni della proiezione sferica e fornisce profondità di intersezione raggio-splat accurate, necessarie per la successiva modellazione fisica.

2. Modellazione Fisica dell'Aspetto e del Mezzo:
   Per gestire il degrado sottomarino, gli autori disaccoppiano la radianza intrinseca della scena dall'attenuazione e dalla retrodiffusione dipendenti dalla profondità, utilizzando il Modello di Formazione dell'Immagine Sottomarina (UIFM).

   • Aspetto Intrinseco: Un modulo di embedding dell'aspetto condizionato dalla posa regola il colore base di ciascun Gaussiano utilizzando un MLP leggero. Questo disaccoppia la radianza intrinseca della scena dagli effetti dipendenti dalla vista e dagli spostamenti indotti dal mezzo, garantendo che la rappresentazione di base del Gaussiano rimanga stabile.
   • Stima del Mezzo: Due reti neurali leggere stimano i parametri fisici dell'acqua.
     • Backscatter-Net: Prende in input la mappa di profondità per prevedere i coefficienti di attenuazione per la retrodiffusione, modellando la saturazione asintotica del colore della luce acquatica a distanza infinita e le deviazioni nel campo vicino.
     • DeattenuateNet: Prende in input la mappa di profondità e l'embedding di vista per prevedere coefficienti di attenuazione variabili spazialmente, tenendo conto di condizioni dell'acqua non omogenee.
       L'immagine degradata finale viene sintetizzata combinando la radianza pulita, l'attenuazione stimata e la retrodiffusione secondo il modello fisico: $I(p) = J(p) \odot A(p) + B(p)$.

3. Ottimizzazione Congiunta:
   Il sistema ottimizza congiuntamente gli attributi dei Gaussiani (posizione, covarianza, opacità, colore) e i parametri delle reti di aspetto e mezzo. La funzione di perdita combina la perdita L1 pixel per pixel e la similarità strutturale (L-SSIM) per supervisionare la ricostruzione rispetto alle osservazioni panoramiche sottomarine grezze.

Contributi Chiave

• Framework Unificato: Il documento presenta la prima formulazione unificata che accoppia il rendering Gaussiano omnidirezionale con la formazione esplicita dell'immagine sottomarina, consentendo la ricostruzione congiunta di geometria, aspetto dipendente dalla vista e degrado del mezzo a partire da input panoramici.
• Splatting Gaussiano Omnidirezionale: Introduzione di un modulo che esegue il ray casting sferico direttamente nello spazio della camera, riducendo efficacemente le distorsioni geometriche associate alle approssimazioni di proiezione 2D nei campi visivi a 360°.
• Modellazione Consapevole della Fisica: Un'architettura innovativa che disaccoppia esplicitamente la radianza intrinseca della scena dall'attenuazione e dalla retrodiffusione sottomarine utilizzando priori di profondità ed embedding condizionati dalla posa, permettendo un ripristino della scena fondato su principi fisici.
• Nuovi Benchmark: L'istituzione di un nuovo dataset di benchmark panoramico sottomarino, OmniUW (sintetico, 5 scene in Unreal Engine 5) e Insta360 (reale, 5 scene acquisite con una fotocamera Insta360 X4), comprendente sia scene 3D sottomarine panoramiche sintetiche che reali.

Risultati
Sono stati condotti esperimenti estesi sia sul dataset sintetico OmniUW che su quello reale Insta360, confrontando Underwater360 con metodi all'avanguardia basati su NeRF e 3DGS (inclusi varianti specifiche per l'ambiente sottomarino e omnidirezionali).

• Prestazioni Quantitative: Underwater360 ha ottenuto prestazioni superiori o quasi superiori nella maggior parte delle scene e delle metriche (PSNR, SSIM, LPIPS) su entrambi i dataset. In particolare, ha dimostrato una significativa robustezza in scene con degrado severo, dove altri metodi faticavano o producevano risultati instabili.
• Miglioramenti Qualitativi: I confronti visivi hanno mostrato che il metodo recupera dettagli locali più nitidi e aspetti della scena più fedeli. La decomposizione della scena in radianza pulita, attenuazione e retrodiffusione è risultata più coerente spazialmente e fisicamente plausibile rispetto ai lavori precedenti.
• Approfondimenti dalle Ablazioni: I risultati hanno indicato che, sebbene lo splatting Gaussiano omnidirezionale da solo sia efficace per scene limpide, la modellazione esplicita della formazione dell'immagine sottomarina è cruciale per gestire attenuazione e retrodiffusione severe.

Significato e Affermazioni
Gli autori affermano che Underwater360 offre una nuova prospettiva sulla ricostruzione di scene sottomarine unificando la rappresentazione di scene panoramiche con la modellazione fisica esplicita. Sfruttando la ricca copertura dell'imaging omnidirezionale e l'efficienza del 3DGS, il metodo fornisce vincoli globali più forti per la ricostruzione in ambienti sottomarini difficili. Il lavoro è posizionato come un passo fondamentale verso una visione 3D sottomarina robusta, fornendo alla comunità il primo dataset di benchmark e un framework capace di gestire le sfide accoppiate della distorsione sferica e del degrado del mezzo. Gli autori riconoscono limitazioni riguardanti le ipotesi di scene statiche, la mancanza di modellazione della rifrazione per gli alloggiamenti delle fotocamere e l'instabilità in ambienti estremamente torbidi o privi di texture, suggerendo questi aspetti come direzioni per lavori futuri.