Loss-Guided Density Control and Efficient Backward Optimisation for Compact Gaussian Splatting

Immagina di cercare di costruire un modello tridimensionale perfetto di una scena del mondo reale, come una vivace piazza cittadina o una foresta silenziosa, usando solo un manipolo di fotografie. Per anni, gli scienziati hanno lottato per rendere questi modelli realistici mantenendoli al contempo abbastanza piccoli da essere caricati rapidamente su un computer. L'obiettivo è creare un gemello digitale in cui si possa camminare, osservandolo da qualsiasi angolazione, senza che l'immagine si sfumi o il computer rallenti fino a fermarsi. Una recente svolta chiamata 3D Gaussian Splatting ha cambiato le regole del gioco rappresentando una scena non come una mesh solida, ma come una nuvola di milioni di minuscoli ellissoidi sfocati. Pensa a questi ellissoidi come a morbide nuvole colorate e luminose che si sovrappongono per formare l'immagine finale. Sebbene questo metodo produca immagini spettacolari istantaneamente, il processo di insegnamento al computer di come disporre queste nuvole è spesso lento e dispendioso. Il computer tende a creare troppe nuvole in punti dove l'immagine è già chiara, e non abbastanza dove i dettagli mancano, portando a un modello gonfio che richiede molto tempo per l'addestramento.

Ricercatori della Chengdu University of Technology e della Shenzhen Sensing Data Technology Company hanno proposto un nuovo modo per addestrare questi modelli che sia sia più veloce che più efficiente. Il loro approccio si concentra su tre miglioramenti principali: impedire al computer di creare nuvole superflue, rimuovere quelle che non sono d'aiuto e velocizzare i calcoli dietro le quinte. Invece di aggiungere ciecamente più nuvole ogni volta che l'immagine appare leggermente sfocata, il loro nuovo metodo osserva gli errori effettivi nell'immagine su un periodo di tempo. Se un'area specifica dell'immagine è stata ricostruita bene per diversi cicli, il sistema sa di dover smettere di aggiungere nuvole lì. Permette la formazione di nuove nuvole solo nei punti che stanno ancora faticando per apparire corretti. Questo evita che il modello si intasi di pezzi ridondanti che non fanno altro che rallentare le cose.

Una volta che il modello ha aggiunto nuove nuvole, i ricercatori hanno anche introdotto un modo per pulire il disordine. Hanno sviluppato un test per identificare le nuvole che sono o troppo deboli per essere viste o troppo instabili per essere utili. Queste nuvole instabili o invisibili vengono eliminate, lasciando dietro di sé un insieme di forme più snello ed efficace. Per rendere l'intero processo ancora più rapido, il team ha riscritto il codice informatico sottostante che gestisce il lavoro pesante. Organizzando i dati in un modo in cui il processore grafico del computer possa leggerli più fluidamente, hanno ridotto il tempo necessario per calcolare come l'immagine debba cambiare. Questo è simile a come un bibliotecario potrebbe organizzare i libri su uno scaffale in modo che un utente possa prendere il successivo senza dover camminare avanti e indietro per la stanza; i libri sono gli stessi, ma il percorso per ottenerli è molto più breve.

I risultati di questo lavoro sono significativi. Quando testato su dataset complessi contenenti scene come una bicicletta in un giardino o un carro armato in un tempio, il nuovo metodo ha ridotto il tempo totale di addestramento di un ampio margine rispetto alle tecniche precedenti. In un test specifico su una scena con una bicicletta, il tempo di addestramento è sceso da oltre 224 secondi a soli 190 secondi, mentre il numero finale di nuvole utilizzate per costruire la scena è stato tagliato di quasi la metà, da oltre 947.000 a circa 570.000. Nonostante l'uso di meno nuvole e una conclusione più rapida, la qualità delle immagini finali è rimasta elevata, con la nitidezza visiva e l'accuratezza del colore che sono rimaste molto vicine ai metodi originali più lenti. I ricercatori hanno scoperto che, essendo più intelligenti su quando aggiungere i dettagli e quando rimuoverli, potevano creare modelli 3D compatti e di alta qualità senza sacrificare la fedeltà visiva che rende queste scene così avvincenti. Ciò suggerisce che il futuro della creazione di mondi digitali possa risiedere non solo nell'aggiungere più dati, ma nel gestirli con maggiore precisione.