💻 computer science

Wat3R: Underwater 3D Geometry Learning without Annotations

Questo articolo introduce Wat3R, un framework di apprendimento semi-supervisionato cross-domain che consente la ricostruzione della geometria 3D in ambienti subacquei senza alcun dato annotato, adattando modelli addestrati in aria a video non etichettati attraverso un'architettura teacher-student e una perdita di coerenza cross-view, insieme al rilascio di un nuovo dataset benchmark chiamato Water3D.

Autori originali: Jiangwei Ren, Xingyu Jiang, Zijie Song, Wei Xu, Hongkai Lin, Dingkang Liang, Xiang Bai

Pubblicato 2026-07-10

📖 6 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Jiangwei Ren, Xingyu Jiang, Zijie Song, Wei Xu, Hongkai Lin, Dingkang Liang, Xiang Bai

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di cercare di costruire una mappa 3D di una nave affondata, ma sei bendato e l'acqua intorno a te è densa di nebbia, sabbia che vortica e colori strani che rendono tutto sfocato. Questa è la lotta quotidiana dei computer che cercano di comprendere le scene subacquee. Per anni, il modo migliore per insegnare a un computer a vedere sott'acqua è stato mostrargli milioni di foto con etichette 3D perfette e disegnate a mano. Ma ecco il problema: nessuno possiede quelle etichette per l'oceano. Crearle è impossibile perché l'acqua è troppo torbida e la luce si comporta in modo strano.

Entra in gioco Wat3R, un nuovo metodo che agisce come uno studente intelligente che impara a tuffarsi senza mai aver bisogno che un insegnante gli consegni una mappa.

Il Problema: Il "Cervello da Terraferma"

La maggior parte dei moderni modelli di visione 3D sono come studenti che hanno studiato solo in un'aula soleggiata e limpida (sulla terraferma). Sono incredibili nel vedere cose asciutte, ma quando li immergi nell'oceano, si confondono. L'acqua assorbe la luce, la disperde e rende tutto blu o verde. Se provi a usare un modello "addestrato sulla terraferma" sott'acqua, questo inciampa. E poiché non possiamo semplicemente assumere un team di sub per disegnare mappe 3D del fondale oceanico per ogni video, non possiamo semplicemente riaddestrare questi modelli nel vecchio modo.

La Soluzione: Un Insegnante e uno Studente nelle Profondità

Gli autori di questo articolo hanno creato un sistema chiamato Wat3R che utilizza un trucco "insegnante-studente" per risolvere questo problema senza alcuna etichetta subacquea.

Pensatelo in questo modo:

L'Insegnante: Immaginate un robot super intelligente che conosce perfettamente la geometria 3D perché ha studiato milioni di foto chiare e asciutte. Ma non sa come funziona l'acqua.
La Simulazione: I ricercatori prendono le foto chiare dell'Insegnante e le "annegano" digitalmente. Usano una formula fisica per aggiungere finta nebbia, cambiamenti di colore e diffusione della luce, trasformando le foto chiare della terraferma in finte scene subacquee. Ora, l'Insegnante ha un dataset "etichettato" di finte scene subacquee.
Lo Studente: Questo è il modello che vogliamo addestrare. Inizia imparando dalle foto subacquee finte dell'Insegnante.
L'Immersione Reale: Poi, lo Studente esce e guarda 5.504 clip video subacquee reali (circa 359.000 immagini) che non hanno alcuna etichetta. Guarda semplicemente pesci, rocce e bolle.

Ecco la magia: l'Insegnante (che è una versione leggermente più vecchia e stabile dello Studente) guarda gli stessi video reali e indovina quali sono le forme 3D. Lo Studente cerca di corrispondere a quelle ipotesi. Se lo Studente ci azzecca, impara. Se sbaglia, si corregge. Questo accade ripetutamente, permettendo allo Studente di imparare le "regole" della geometria subacquea semplicemente guardando video reali, senza che nessuno gli dica quale sia la risposta.

L'Arma Segreta: "Coerenza tra le Vedute" (Cross-View Consistency)

Sott'acqua, una singola foto potrebbe essere così sfocata che non si riesce a vedere nulla. Ma se hai un video, hai molte angolazioni. L'articolo introduce una regola speciale chiamata Cross-View Consistency.

Immaginate di guardare una roccia attraverso una finestra sporca. Non la vedete bene. Ma se guardate la stessa roccia da un'angolazione leggermente diversa attraverso una parte più pulita della finestra, potete vederla meglio. Wat3R fa questo matematicamente. Se il modello è confuso dalla nebbia in una vista, guarda le altre viste nel video per capire come dovrebbe apparire la roccia. Usa le parti chiare del video per correggere le parti sfocate. Questo aiuta il modello a ignorare il "rumore" dell'acqua e a concentrarsi sulle forme reali.

Cosa Hanno Dimostrato (e Cosa Non Hanno Dimostrato)

Gli autori non hanno solo tirato a indovinare; hanno testato tutto rigorosamente.

Il Dataset: Hanno costruito un nuovo dataset chiamato Water3D, contenente 42 scene subacquee reali con mappe 3D accurate (pose e profondità) per testare il loro lavoro. Questo è un grande passo avanti perché, come notano, i dataset subacquei esistenti sono spesso troppo piccoli o mancano di etichette 3D appropriate.
I Risultati: Quando hanno testato Wat3R su dataset subacquei standard come Sea-thru e FLSea Stereo, ha superato i migliori modelli attuali (come VGGT, DA3 e MapAnything).
- Sul dataset Sea-thru, Wat3R ha ridotto il tasso di errore di circa il 12,1% rispetto al precedente miglior modello (VGGT) in un test a 10 viste.
- In termini di accuratezza della profondità, è migliorato del 23,7% in alcuni parametri.
- Anche guardando una singola foto (profondità monoculare), Wat3R era migliore dei modelli addestrati specificamente su singole immagini, dimostrando che l'apprendimento "cross-view" lo ha aiutato a comprendere meglio l'acqua.

Cosa Hanno Esplicitamente Escluso

L'articolo è molto chiaro su ciò che non funziona:

Migliorare l'immagine prima dell'analisi: Hanno provato a prendere foto subacquee, a pulirle con strumenti esistenti (come "Sea-thru" o "PSPL") e poi a passarle a un modello 3D. Questo non ha portato a un vero miglioramento dei risultati. Gli autori sostengono che la pulizia dell'immagine spesso introduce nuovi errori o incongruenze che confondono il modello 3D. È meglio insegnare al modello a vedere attraverso il disordine, piuttosto che cercare di riparare il disordine prima.
Solo dati sintetici: Sebbene abbiano usato dati finti per iniziare, hanno dimostrato che usare solo dati finti non è sufficiente. È necessario il video reale non etichettato per rendere il modello veramente robusto.

Quanto Sono Sicuri?

Gli autori sono fiduciosi nei loro numeri perché hanno testato il sistema su quattro diversi dataset pubblici oltre al proprio dataset Water3D. Non si sono limitati a simulare i risultati; li hanno misurati rispetto a dati reali (ground truth) dove disponibili.

Hanno dimostrato che Wat3R funziona meglio in condizioni di degradazione da "lieve" a "severa", pur ammettendo che in acque estremamente torbide o con oggetti in rapido movimento, il modello incontra ancora difficoltà perché semplicemente non c'è abbastanza informazione visiva su cui basarsi.
Affermano esplicitamente che il loro metodo è il primo framework semi-supervisionato in grado di generalizzare alle scene subacquee senza richiedere annotazioni 3D subacquee.

In Sintesi

Wat3R è come un subacqueo che impara a navigare nelle profondità dell'oceano non leggendo una mappa, ma osservando come la luce si piega e come gli oggetti appaiono da diverse angolazioni, il tutto ignorando la nebbia. Dimostra che non servono etichette perfette per insegnare a un computer a vedere sott'acqua; serve solo un modo intelligente per lasciarlo imparare dal caos di un video reale. Il codice e il loro nuovo dataset Water3D sono disponibili per chiunque voglia provarli, aprendo la porta a una migliore robotica subacquea, archeologia e mappatura, senza l'impossibile compito di etichettare ogni singola goccia d'acqua.

Sintesi Tecnica: Wat3R – Apprendimento della Geometria 3D Subacquea senza Annotazioni

Definizione del Problema
La stima della geometria 3D (pose della telecamera, profondità e nuvole di punti) in ambienti subacquei è ostacolata da sfide fisiche uniche, tra cui l'attenuazione della luce, lo scattering e la degradazione dipendente dalla vista. Questi fattori causano significativi spostamenti di dominio rispetto alle scene terrestri. Inoltre, la scarsità di dati subacquei su larga scala e di alta qualità con annotazioni 3D impedisce l'addestramento diretto di modelli di ricostruzione feed-forward allo stato dell'arte (SOTA), che tipicamente si basano su massicci ground truth densi. I metodi esistenti o falliscono nel generalizzare a causa degli spostamenti di dominio o richiedono quantità impraticabili di dati subacquei annotati.

Metodologia: Framework Wat3R
Gli autori propongono Wat3R, un framework di apprendimento semi-supervisionato cross-domain progettato per adattare il modello di ricostruzione 3D feed-forward VGGT alle scene subacquee senza richiedere alcun dato subacqueo annotato. Il framework opera su un'architettura teacher-student (paradigma Mean Teacher) e utilizza due fonti di dati primarie:

Dati Sintetici Etichettati: Esistenti dataset terrestri annotati (il set di addestramento originale di VGGT) vengono aumentati con un rendering subacqueo basato sulla fisica per simulare varie degradazioni subacquee. Ciò inizializza forti prior geometrici per il dominio subacqueo.
Dati Reali Non Etichettati: Una vasta collezione di filmati video reali del mondo subacqueo viene utilizzata come set di addestramento non etichettato per raffinare e generalizzare il modello.

Componenti Tecnici Chiave:

Rendering Basato sulla Fisica: Per generare dati sintetici etichettati, gli autori impiegano un modello di imaging subacqueo semplificato ( $I = J e^{-\beta^D z} + B^\infty(1-e^{-\beta^B z})$ ) che simula l'attenuazione della trasmissione diretta e il backscatter. Mappe di profondità dense da un modello monoculare (DA3) sono utilizzate per renderizzare le apparenze subacquee preservando al contempo le annotazioni geometriche originali per la supervisione.
Augmentation a Livello di Sequenza: Per prevenire il collasso del modello e aumentare la diversità geometrica sui dati video non etichettati, il framework impiega l'augmentation a livello di sequenza. Questa include il rimescolamento dell'ordine dei frame, il sottocampionamento casuale, la rotazione e il color jittering, garantendo che il modello apprenda indizi geometrici robusti piuttosto che la continuità temporale.
Obiettivo di Addestramento Consapevole della Consistenza: La funzione di perdita totale combina tre componenti:
- Perdita Supervisionata: Applicata sui dati sintetici utilizzando le annotazioni ground-truth.
- Perdita di Consistenza Per-Vista: Applicata sui dati non etichettati, trattando le predizioni del teacher come pseudo-label.
- Perdita di Consistenza Cross-View: Una perdita innovativa progettata per affrontare la degradazione delle informazioni. Essa sfrutta gli indizi geometrici di altre viste per compensare la perdita di visibilità nella vista corrente. Utilizza una maschera statica (derivata dal K-means su mappe di profondità e controlli di consistenza multi-vista) per filtrare oggetti dinamici e regioni instabili (ad es., acqua aperta o forte torbidità), garantendo che la supervisione cross-view sia applicata solo a pixel di primo piano statici e affidabili.

Contributi Chiave

Framework Wat3R: Il primo framework semi-supervisionato basato su VGGT che si generalizza a diverse scene subacquee senza richiedere annotazioni 3D subacquee. Dimostra che rappresentazioni geometriche robuste possono essere apprese esclusivamente da video subacquei reali non etichettati.
Perdita Consistente Cross-View: Un meccanismo che aggrega informazioni geometriche da più viste per compensare la degradazione visiva causata dall'attenuazione e dallo scattering dell'acqua, consentendo l'apprendimento da regioni pesantemente degradate.
Dataset Water3D: La costruzione di un nuovo dataset subacqueo multi-vista diversificato contenente 42 scene con annotazioni 3D complete (pose della telecamera e profondità). Questo dataset affronta la mancanza di benchmark di valutazione completi nel campo.

Risultati Sperimentali
Sono stati condotti estesi esperimenti su dataset pubblici (Sea-thru, FLSea, SQUID) e sul nuovo dataset Water3D attraverso quattro task:

Stima della Profondità Multi-Vista: Wat3R supera i metodi SOTA (inclusi VGGT, DA3, $\pi^3$ e MapAnything) e le pipeline a due stadi che combinano l'enhancement dell'immagine con modelli 3D. Sul dataset Sea-thru, Wat3R ha ottenuto un miglioramento del 23,7% in RMSE rispetto a VGGT.
Ricostruzione di Nuvole di Punti: Su Water3D, Wat3R ha dimostrato un'accuratezza e una completezza superiori rispetto ai baseline, con miglioramenti significativi nelle metriche generali (ad es., +31,6% di miglioramento nell'accuratezza complessiva rispetto a VGGT).
Stima della Pose della Telecamera: Valutato su SeaThru-NeRF, Wat3R ha mostrato una maggiore robustezza nella stima della pose, ottenendo un miglioramento del 37,8% in AUC@5° rispetto a VGGT.
Stima della Profondità Monoculare: Nonostante non sia stato addestrato con supervisione a singola immagine, Wat3R ha ottenuto le migliori prestazioni su quattro dataset, indicando che i prior geometrici appresi si trasferiscono con successo agli input a singola vista.

Significatività e Rivendicazioni
Il paper afferma che Wat3R fornisce un paradigma pratico per l'apprendimento geometrico in ambienti complessi dove le annotazioni sono scarse. Eliminando la necessità di dati subacquei annotati e sfruttando video reali non etichettati, il metodo raggiunge prestazioni robuste anche in condizioni di scarsa visibilità. Gli autori sottolineano che il loro approccio riesce a colmare il gap di dominio tra la visione terrestre e quella subacquea, offrendo una soluzione che è sia efficace che scalabile per la robotica subacquea, la mappatura e l'archeologia. Il lavoro evidenzia come l'adattamento diretto di potenti modelli feed-forward, guidato da vincoli di consistenza e trasferimento da sintetico a reale, sia una via percorribile per la percezione 3D subacquea.