Looking Into the Water by Unsupervised Learning of the Surface Shape

Questo lavoro propone un metodo non supervisionato basato su reti neurali implicite (SIREN) per rimuovere le distorsioni da rifrazione nelle immagini aeree sott'acqua, ricostruendo simultaneamente la sequenza di immagini e la forma della superficie dell'acqua.

L'essenziale

Immagina di essere un fotografo che guarda il fondo di una piscina dall'alto. Se l'acqua è calma, vedi tutto nitido. Ma se c'è vento e le onde creano increspature, il fondo della piscina sembra "distorcere": i pesci sembrano allungarsi, i sassi si spostano e i numeri scritti sul fondo diventano illeggibili. È come guardare attraverso un vetro smerigliato che si muove continuamente.

Il problema:
Fino a poco tempo fa, per "ripulire" queste immagini, gli scienziati dovevano o:

1. Avere una foto perfetta di riferimento (come un modello 3D del fondo) per confrontarla con quella distorta (ma spesso non ce l'hanno).
2. Usare algoritmi complessi che cercavano di indovinare a caso, spesso sbagliando.

La soluzione di Ori, Tali e Dan:
Questi ricercatori hanno inventato un metodo "intelligente" che non ha bisogno di una foto di riferimento. Funziona un po' come un detective che risolve un caso guardando un video.

Ecco come funziona, passo dopo passo, con delle analogie:

1. Il Detective e il "Fantasma" (L'idea di base)

Immagina che sotto l'acqua ci sia una scena fissa (un tesoro, un relitto, un pesce). Sopra, l'acqua si muove come una coperta ondulata.
Il metodo si basa su un'ipotesi semplice: "La scena sotto l'acqua non cambia, cambia solo come l'acqua la distorce".
Se guardi un video di 10 secondi, vedi lo stesso tesoro distorto in 10 modi diversi. Il computer usa queste differenze per capire come l'acqua si sta muovendo e, di conseguenza, per "riavvolgere" la distorsione e vedere il tesoro com'era davvero.

2. I Due "Cervelli" Artificiali (Le Reti Neurali)

Il sistema usa due "cervelli" digitali (reti neurali) che lavorano insieme, come un duo di maghi:

• Il Mago dell'Acqua (Rete 1): Questo cervello non guarda l'immagine del tesoro, ma immagina solo la forma dell'acqua. Si chiede: "In questo preciso istante, quanto è alta l'onda qui? E quanto è alta lì?". Usa una tecnologia speciale chiamata SIREN (che è come un'onda sonora matematica) per descrivere la superficie dell'acqua in modo fluido e continuo, proprio come farebbe un'onda reale.
• Il Mago dell'Immagine (Rete 2): Questo cervello immagina la scena sott'acqua "pulita", senza distorsioni. Sa come dovrebbe apparire il tesoro se l'acqua fosse ferma.

3. La Magia della Fisica (La Legge di Snell)

Qui entra in gioco la fisica. Quando la luce passa dall'aria all'acqua, si piega (come quando metti un bastoncino in un bicchiere d'acqua e sembra spezzato).
Il sistema calcola: "Se l'onda è alta così (grazie al Mago dell'Acqua) e la luce si piega così (legge di Snell), allora il pixel che vedo qui in realtà proviene da lì".
Poi, il sistema prova a ricostruire l'immagine distorta che dovrebbe vedere la telecamera. Se la sua ricostruzione assomiglia all'immagine reale che ha girato, allora sta andando bene. Se non assomiglia, i due maghi si correggono a vicenda e riprovano.

4. Perché è speciale? (Il risultato)

La cosa geniale è che questo sistema impara da solo (è "non supervisionato"). Non ha bisogno di un insegnante che gli dica "questa è la foto giusta". Impara guardando il video e capendo che, se immagina la scena giusta e l'onda giusta, deve poter ricreare esattamente quello che vede la telecamera.

Cosa ottengono alla fine?

1. Un'immagine pulita: Vedono il fondo del mare o della piscina come se l'acqua fosse ferma, anche se c'era un mare in tempesta.
2. Una mappa delle onde: Come bonus, il sistema disegna anche la forma esatta delle onde in ogni istante. È come se potessero vedere l'acqua stessa, non solo quello che c'è sotto.

In sintesi

È come se avessi un video di un'immagine sotto un telo di plastica mosso dal vento. Invece di cercare di stirare il telo a mano, il computer immagina come è fatto il telo e come è fatta l'immagine sotto, e li "srotola" digitalmente per mostrarti la realtà.

A cosa serve?

• Scienza: Per contare i coralli o misurare i pesci senza che l'acqua li deformi.
• Sicurezza: Per cercare persone che annegano in piscina o in mare, rendendo più facile vederle attraverso le onde.
• Monitoraggio: Per controllare gli allevamenti di pesci dall'aria (con i droni) senza dover immergere sensori.

In pratica, hanno insegnato all'intelligenza artificiale a "guardare attraverso" le onde, trasformando un problema fisico complesso in un gioco di indovinelli che il computer risolve da solo.

Sommario tecnico

Titolo

Guardare nell'acqua tramite apprendimento non supervisionato della forma della superficie

1. Il Problema

L'osservazione di oggetti sott'acqua da piattaforme aeree (come droni) è fondamentale per applicazioni scientifiche e operative (es. monitoraggio della barriera corallina, allevamenti ittici, rilevamento di annegamenti). Tuttavia, la visione attraverso l'interfaccia aria-acqua è soggetta a gravi distorsioni ottiche causate dalla rifrazione della luce, governata dalla legge di Snell.
Queste distorsioni alterano la posizione apparente e la forma degli oggetti sott'acqua, rendendo difficile l'analisi visiva. La sfida principale risiede nel fatto che:

• Le onde reali sono una sovrapposizione complessa di diverse onde con periodi e ampiezze variabili.
• I dati reali con "ground truth" (verità di base) sono estremamente difficili da acquisire.
• I metodi supervisionati faticano a generalizzare su scenari reali a causa della mancanza di dataset di addestramento sufficientemente vasti e realistici.

L'obiettivo è ricostruire l'immagine sottostante non distorta e stimare l'altezza della superficie dell'acqua utilizzando solo una breve sequenza di immagini distorte, senza dati di addestramento supervisionati.

2. Metodologia

Il metodo proposto è un approccio non supervisionato basato su Rappresentazioni Neurali Implicite (Neural Fields), specificamente utilizzando architetture SIREN (Sinusoidal Representation Networks).

Assunzioni

• La scena sott'acqua è statica e piana, situata a una profondità incognita $h_0$.
• La superficie dell'acqua è dinamica (ondulata) ma le fluttuazioni sono piccole rispetto alla profondità media.
• La camera è ortografica e posizionata nell'aria.

Architettura del Modello

Il sistema utilizza due reti neurali distinte ma accoppiate:

1. Modello dell'Altezza della Superficie ($H_\theta$): Una rete SIREN che prende in input la posizione spaziale 2D ($x$) e il tempo ($t$) e predice l'altezza della superficie dell'acqua $h(x, t)$. L'uso di funzioni di attivazione sinusoidali (SIREN) è cruciale perché permette di modellare efficientemente segnali continui e, soprattutto, le loro derivate spaziali (gradienti) con alta precisione.
2. Modello dell'Immagine ($I_\phi$): Una seconda rete SIREN che modella l'immagine sottostante non distorta. Predice il colore del pixel per ogni posizione spaziale sulla griglia regolare dell'immagine.

Meccanismo di Rifrazione e Ricostruzione

Il processo di distorsione è modellato fisicamente:

• Il gradiente dell'altezza della superficie ($\nabla h$) determina lo spostamento dei pixel secondo la legge di Snell (approssimazione del primo ordine).
• La funzione di distorsione (o "warping") è data da: $d(x, t) = (1 - 1/n) \cdot h_0 \cdot \nabla h(x, t)$, dove $n$ è l'indice di rifrazione relativo.
• L'immagine distorta osservata al tempo $t$ viene ricostruita campionando l'immagine pulita $I_\phi$ alle posizioni spostate: $I^\theta_\phi(x) = I_\phi(x_{reg} + d(H_\theta(x_{reg}, t)))$.

Addestramento Non Supervisionato

Poiché non ci sono immagini pulite di riferimento, il modello viene addestrato minimizzando l'errore di ricostruzione tra le immagini generate dal modello e le immagini osservate realmente.

• Fase 1 (Inizializzazione): Le reti vengono inizializzate per predire una distorsione nulla e un'immagine media delle distorsioni.
• Fase 2 (Ottimizzazione): Viene utilizzata una funzione di perdita semplice basata sulla differenza L1 tra le immagini ricostruite e quelle osservate: $L(\theta, \phi) = \sum_t |I^\theta_{\phi, t} - I_t|$.
• Un vantaggio chiave è che la perdita supervisiona implicitamente sia l'immagine che il gradiente della superficie, sfruttando la capacità delle SIREN di modellare bene le derivate.

3. Risultati

Gli autori hanno testato il metodo su tre dataset:

1. Real1: Dati reali acquisiti in vasca con una camera a 50 fps (considerato difficile per via del motion blur e grandi movimenti).
2. TianSet: Dati reali acquisiti a 125 fps.
3. Dataset Sintetico: Generato simulando tre tipi di onde (Gaussiane, Ripple, Oceaniche).

Prestazioni Quantitative e Qualitative:

• Il metodo supera lo stato dell'arte non supervisionato (NDIR) e si confronta favorevolmente con metodi supervisionati (Li et al.) su metriche come PSNR, SSIM e LPIPS (che misura la qualità percettiva).
• In particolare, il metodo ottiene i migliori risultati su LPIPS in quasi tutte le sequenze, indicando una maggiore nitidezza e fedeltà visiva rispetto ai competitori.
• Le ricostruzioni mostrano dettagli più nitidi (es. numeri, griglie, lettere) e linee più dritte rispetto ai metodi di base.
• Il metodo riesce anche a stimare l'altezza della superficie dell'acqua con un errore RMSE medio di 0.115 sul dataset sintetico, fornendo un output aggiuntivo prezioso per l'oceanografia.

4. Contributi Chiave

1. Approccio Non Supervisionato Robusto: Elimina la necessità di dataset di addestramento sintetici complessi o di ground truth reale, sfruttando invece la coerenza temporale della sequenza video.
2. Modellazione Fisica con SIREN: Introduce l'uso di reti SIREN per modellare simultaneamente la superficie dell'acqua e la sua immagine sottostante, sfruttando la capacità delle funzioni periodiche di rappresentare bene le derivate spaziali necessarie per calcolare la rifrazione.
3. Stima della Superficie: A differenza di molti metodi di restauro che restituiscono solo l'immagine pulita, questo approccio fornisce anche una stima diretta dell'altezza delle onde in ogni frame.
4. Semplificazione dell'Addestramento: Rispetto al metodo di riferimento NDIR, che richiede tre termini di perdita complessi, il metodo proposto ottiene prestazioni superiori con una funzione di perdita semplificata (un solo termine di ricostruzione).

5. Significato e Impatto

Questo lavoro rappresenta un passo avanti significativo nella visione artificiale per applicazioni marine e aeree.

• Applicazioni Pratiche: Il metodo è direttamente applicabile al monitoraggio ambientale (es. sbiancamento dei coralli), all'acquacoltura e alla sicurezza (rilevamento di annegamenti in piscine o mare).
• Flessibilità: La capacità di gestire motion blur e geometrie complesse (come dimostrato su scene reali non perfettamente ortografiche) rende il metodo robusto per l'uso sul campo.
• Scienza Oceanografica: Fornisce un nuovo strumento per la misurazione della topografia della superficie marina senza sensori fisici aggiuntivi, basandosi solo su dati visivi.

In sintesi, il paper dimostra che l'apprendimento non supervisionato, combinato con rappresentazioni neurali implicite e modelli fisici della rifrazione, può superare i limiti dei metodi precedenti per "guardare attraverso" l'acqua agitata, restituendo sia la scena sottostante che la forma della superficie.