BALTIC: A Benchmark and Cross-Domain Strategy for 3D Reconstruction Across Air and Underwater Domains Under Varying Illumination

1. Il Problema

La ricostruzione 3D robusta in condizioni ambientali variabili rappresenta una sfida critica per la percezione robotica, specialmente durante la transizione tra aria e acqua. Sebbene metodi moderni come Structure-from-Motion (SfM), Neural Radiance Fields (NeRF) e 3D Gaussian Splatting (3DGS) abbiano ottenuto risultati eccellenti in ambienti controllati aerei, le loro prestazioni degradano significativamente in ambienti sottomarini.
Le cause principali di questo fallimento includono:

• Degradazione visiva: Assorbimento della luce, scattering (diffusione) e turbidità che riducono il contrasto e la consistenza cromatica.
• Distorsioni geometriche: La rifrazione alle interfacce tra mezzi ottici diversi.
• Illuminazione variabile: Differenze sostanziali tra luce naturale, artificiale e mista.
• Mancanza di benchmark: I dataset esistenti spesso isolano singoli fattori (es. solo illuminazione o solo movimento) e non offrono una variazione controllata sia del mezzo che dell'illuminazione, rendendo difficile valutare la robustezza sistematica dei metodi.

2. Metodologia e Setup Sperimentale

Gli autori hanno sviluppato BALTIC, un benchmark open-source progettato per valutare sistematicamente i metodi di ricostruzione 3D.

• Setup Fisico: Un serbatoio d'acqua personalizzato ($2.2 \times 1 \times 0.8$ m) dotato di una camera monoculare in una cupola (dome port) e un sistema di tracciamento HTC Vive per ottenere traiettorie di ground-truth ad alta precisione (errore medio < 3 mm e 0.3°).
• Condizioni Sperimentali: Il benchmark comprende 13 dataset che variano sistematicamente in base a:
  • Mezzo: Aria vs. Acqua (con aggiunta di Maalox per simulare la dispersione e colorante per simulare il colore del Mar Baltico).
  • Illuminazione: Direzionale (sole), Artificiale (luci co-movimento) e Mista.
  • Traiettoria: Pattern a "tagliaerba" (lawn-mower) e traiettorie libere (free-form).
• Pipeline di Valutazione:
  1. SfM: Utilizzo di COLMAP per la ricostruzione geometrica sparsa. Le immagini sono state corrette per la distorsione e la rifrazione per isolare le sfide radiometriche.
  2. Ricostruzione Densa: I risultati di COLMAP sono stati utilizzati come input per NeRF (Nerfacto, SeaThru-NeRF) e 3DGS (Gaussian Splatting, WaterSplat, SeaSplat).
  3. Preprocessing: Applicazione di correzioni di bilanciamento del bianco e normalizzazione dell'esposizione (basate su SeaThru-NeRF) per migliorare l'input.
  4. Strategia Cross-Domain: Un approccio innovativo che combina sequenze subacquee con un numero limitato di immagini aeree catturate in condizioni di illuminazione simili per fornire prior geometriche e radiometriche.

3. Contributi Chiave

Il paper presenta tre contributi principali:

1. BALTIC (Benchmark Open-Source): Un dataset controllato con ground-truth preciso che copre variazioni sistematiche di mezzo, illuminazione e movimento, permettendo valutazioni ripetibili.
2. Valutazione Completa: Un'analisi critica delle prestazioni di SfM, NeRF e 3DGS in condizioni sottomarine e miste, identificando i modi di fallimento specifici (es. frammentazione delle mappe, drift della traiettoria).
3. Analisi della Ricostruzione Cross-Domain: La dimostrazione che l'aggiunta di poche immagini aeree alle sequenze subacquee migliora significativamente la qualità della ricostruzione, offrendo una strategia pratica per applicazioni reali.

4. Risultati Principali

• Prestazioni SfM (COLMAP):

  • In aria, COLMAP è robusto e produce ricostruzioni dense.
  • In acqua, le prestazioni crollano drasticamente: il numero di punti 3D diminuisce di un ordine di grandezza, le tracce sono più corte e le ricostruzioni si frammentano in più sottomappe a causa della scarsa visibilità delle feature.
  • Il preprocessing (ritaglio delle zone illuminate e CLAHE) può mitigare parzialmente questi effetti.

• Prestazioni di Rendering (NeRF e 3DGS):

  • 3D Gaussian Splatting (3DGS): Con un semplice preprocessing (bilanciamento del bianco), 3DGS ha ottenuto le prestazioni migliori in termini di PSNR e SSIM nella maggior parte dei casi, superando spesso metodi specializzati come WaterSplat e SeaSplat in condizioni controllate.
  • NeRF: Metodi come Nerfacto e SeaThru-NeRF mostrano risultati decenti in luce solare, ma soffrono in condizioni di illuminazione artificiale o mista sottomarina, con un alto errore percettivo (LPIPS).
  • Illuminazione: L'illuminazione artificiale controllata in acqua (E10, E12) ha migliorato le prestazioni rispetto alla sola luce solare sottomarina, dimostrando l'importanza della gestione della luce.

• Ricostruzione Cross-Domain (E14):

  • L'aggiunta di un sottoinsieme ottimizzato di immagini aeree alla sequenza sottomarina E12 ha permesso di unificare le sottomappe frammentate in una singola mappa densa e coerente.
  • Questo approccio ha migliorato la stabilità della traiettoria (riducendo il drift) e la fedeltà geometrica, confermando che i dati aerei possono fungere da "ancore" per la ricostruzione sottomarina.

• Metriche di Colore:

  • L'analisi della differenza di colore ($\Delta E$) ha mostrato che metodi come WaterSplat e SeaSplat offrono correzioni cromatiche più forti, mentre SeaThru-NeRF mantiene transizioni più fluide. Tuttavia, le metriche standard (PSNR/SSIM) non catturano sempre la completezza geometrica.

5. Significato e Conclusioni

Il lavoro di BALTIC evidenzia che, sebbene i metodi moderni di ricostruzione 3D siano potenti, la loro applicazione in ambienti sottomarini richiede attenzione alle condizioni di acquisizione e al preprocessing.

• Implicazioni Pratiche: La strategia di ricostruzione cross-domain emerge come un metodo efficace e leggero: acquisire oggetti in aria prima dell'immersione può fornire prior geometriche e radiometriche essenziali per migliorare la ricostruzione sottomarina senza la necessità di modelli fisici complessi o riaddestramento.
• Limitazioni: Il benchmark è basato su un serbatoio controllato e non cattura appieno la scala, la dinamica e la variabilità degli ambienti sottomarini reali (es. biofouling, correnti).
• Futuro: Il lavoro apre la strada a benchmark su larga scala in situ e all'integrazione di modelli di rendering basati sulla fisica con approcci di apprendimento automatico per gestire meglio la dispersione e le proprietà del mezzo.

In sintesi, BALTIC fornisce un framework riproducibile per analizzare i limiti attuali della ricostruzione 3D e dimostra che l'integrazione di dati tra domini (aria/acqua) è una strategia promettente per superare le sfide della visione subacquea.