DerainSplat: Feed-Forward Clean 3D Gaussian Splatting from Sparse Rainy Views

Immagina di cercare di costruire un ologramma 3D perfetto di una stanza usando solo poche foto scattate con uno smartphone. Questo è l'emozionante mondo della ricostruzione 3D, un campo in cui i computer cercano di comprendere la forma e l'aspetto del mondo reale partendo da immagini piatte. Di solito, questi "architetti" informatici lavorano meglio quando le foto sono cristalline. Ma cosa succede quando piove a dirotto? Le foto si ritrovano coperte da striature d'acqua, macchie sfocate causate dalle goccioline sull'obiettivo e una nebbia grigia e fosca. Se provi a costruire il tuo modello 3D con queste foto disordinate, il computer si confonde e l'ologramma risultante appare deformato e rotto. Questo è un grande problema per cose come le auto a guida autonoma o i robot che devono "vedere" chiaramente per navigare in sicurezza, anche quando il tempo è terribile.

Per molto tempo, gli scienziati hanno avuto due modi principali per risolvere il problema. Un modo era cercare di pulire ogni singola foto prima di costruire il modello 3D, come pulire un vetro sporco prima di guardare attraverso di esso. L'altro modo era costruire il modello lentamente, regolandolo continuamente per ogni specifica scena piovosa, il che è incredibilmente lento. Un metodo più recente e veloce, chiamato 3D Gaussian Splatting, è emerso, capace di costruire una scena 3D con un unico sguardo fulmineo. Tuttavia, questo metodo veloce è stato progettato per giornate serene e crolla di fronte alla pioggia. La grande domanda che i ricercatori si sono posti è: possiamo insegnare a un computer a guardare poche foto piovose e "vedere" istantaneamente il mondo pulito e asciutto sottostante, senza dover prima pulire le foto o aspettare ore per un risultato?

Entra in gioco DerainSplat, un nuovo approccio che dice: "Sì, possiamo!". I ricercatori dietro questo lavoro hanno capito che cercare di pulire prima le foto e poi costruire il modello era una cattiva idea, perché le foto pulite non concordavano tra loro, portando a un risultato 3D disordinato. Invece, hanno costruito un enorme parco giochi per l'addestramento dove hanno insegnato a un computer a comprendere la pioggia stessa. Hanno creato un dataset sintetico prendendo bellissime scene 3D nitide e aggiungendo digitalmente la pioggia in quattro fasi realistiche: prima, hanno attenuato le luci per imitare un cielo coperto; poi, hanno aggiunto una foschia dipendente dalla profondità che diventa più densa man mano che gli oggetti si allontanano; successivamente, hanno dipinto realistiche striature di pioggia; infine, hanno aggiunto gocce d'acqua attaccate all'obiettivo della fotocamera che distorcono la vista.

Usando questi dati di addestramento, DerainSplat agisce come un detective super intelligente che non si limita a pulire la finestra; capisce esattamente come la pioggia stia rovinando la visuale. Prevede i "fattori meteorologici" — come una mappa di dove si trovano le striature di pioggia, quanto è fitta la nebbia e dove si nascondono le gocce sull'obiettivo. Poi usa queste mappe per guidare il processo di costruzione 3D. Immaginatelo come una squadra di costruzione che sa esattamente quali mattoni sono coperti di fango. Invece di cercare di strofinare via il fango dai mattoni, semplicemente ignorano le parti fangose e riempiono i vuoti usando mattoni puliti da altre angolazioni, riducendo anche la fiducia nelle zone fangose in modo da non compromettere la struttura.

I risultati sono impressionanti. Quando testato su vari dataset, incluse scene piovose del mondo reale, DerainSplat ha prodotto modelli 3D molto più puliti e accurati rispetto ai metodi precedenti. Ha superato significativamente i metodi veloci esistenti, migliorando i punteggi di qualità dell'immagine di oltre 4 dB in alcuni test, e lo ha fatto in una frazione di secondo. Il documento suggerisce che, imparando a separare il "meteo" dalla "scena" tutto in una volta, invece che in passaggi separati, possiamo finalmente costruire mondi 3D affidabili anche quando il cielo è grigio e il terreno è bagnato. Ciò significa che in futuro i robot e i veicoli autonomi potrebbero essere in grado di navigare nelle strade piovose con la stessa sicurezza con cui lo fanno nelle giornate di sole, vedendo la vera forma del mondo attraverso la tempesta.