Creare un modello tridimensionale del mondo reale a partire da una collezione di fotografie bidimensionali è una sfida fondamentale nella visione artificiale. Per decenni, gli scienziati si sono affidati a due approcci principali per risolvere questo problema. Il primo, noto come multi-view stereo, funziona come un cervello umano: osserva lo stesso oggetto da diverse angolazioni, trova punti corrispondenti e calcola la loro distanza per costruire una nuvola densa di punti che rappresenta la superficie. Il secondo, un metodo più recente chiamato 3D Gaussian Splatting, rappresenta una scena non come un oggetto solido, ma come uno sciame di minuscoli ellissoidi colorati e trasparenti che fluttuano nello spazio. Quando una telecamera osserva questo sciame, gli ellissoidi si fondono insieme per creare un'immagine nitida e realistica. Sebbene questo nuovo metodo sia incredibilmente veloce e produca risultati visivi sbalorditivi, presenta un difetto significativo per quanto riguarda la costruzione di forme 3D reali. In aree in cui la telecamera ha poche angolazioni da cui osservare, o dove gli oggetti sono nascosti dietro altri, questi ellissoidi fluttuanti possono allontanarsi o formare strutture instabili e spettrali che appaiono bene in una foto, ma non rappresentano una superficie reale e solida.

Ricercatori dell'Università di Wuhan e dell'Università Dianzi di Hangzhou hanno sviluppato un nuovo framework chiamato CoMVS-GS per risolvere questo problema. Il loro obiettivo era combinare la velocità e la qualità visiva degli ellissoidi fluttuanti con l'affidabilità geometrica del tradizionale metodo basato sui punti. Invece di trattare queste due tecniche come strumenti separati, le hanno intrecciate in un unico processo. Il risultato è un sistema in grado di ricostruire mesh 3D accurate e solide di piccoli oggetti e di grandi ambienti esterni, anche in condizioni di illuminazione difficili o quando parti della scena sono nascoste. Il team ha scoperto che, utilizzando i punti di forza del metodo più vecchio e lento per guidare quello più nuovo e veloce, potevano eliminare gli artefatti fluttuanti e produrre superfici che sono sia visivamente convincenti che geometricamente precise.

Il processo inizia con un passaggio cruciale prima ancora che inizi l'ottimizzazione principale. I metodi tradizionali spesso iniziano con un insieme rado di punti, lasciando grandi lacune che il computer deve indovinare come riempire. I ricercatori, invece, hanno utilizzato una nuvola densa di punti generata da un algoritmo di multi-view stereo standard per inizializzare il loro modello. Hanno preso questi punti e hanno modellato gli ellissoidi fluttuanti affinché corrispondessero all'orientamento e allo spessore della superficie locale fin dal primissimo momento. Immaginate di cercare di costruire un muro disponendo prima pochi mattoni in aria e sperando che si assestino in una linea piatta; questo nuovo metodo posiziona i mattoni esattamente dove devono essere, allineati con la superficie del muro, prima che la costruzione inizi. Ciò ha dato al sistema un forte vantaggio geometrico iniziale, impedendo agli ellissoidi di formare strutture instabili nelle prime fasi di addestramento.

Una volta inizializzato il modello, i ricercatori hanno introdotto un ciclo di feedback continuo tra le due tecniche. Il sistema genera una mappa di profondità, che è essenzialmente un'immagine che mostra quanto sia lontano ogni punto della scena, e utilizza quell'immagine per perfezionare l'algoritmo di multi-view stereo. A sua volta, l'algoritmo di multi-view stereo perfezionato produce una mappa di profondità più accurata, che viene poi utilizzata per correggere gli ellissoidi fluttuanti. Questa supervisione reciproca significava che il sistema controllava costantemente il proprio lavoro. Se gli ellissoidi si allontanavano in un punto in cui non dovrebbero essere, i dati del multi-view stereo li riportavano in posizione. Se i dati del multi-view stereo erano incerti a causa della mancanza di texture, la densa nuvola di ellissoidi forniva una guida stabile. Questo raffinamento reciproco ha permesso al modello di colmare le lacune e levigare le superfici che i metodi precedenti faticavano a gestire.

Il passaggio finale ha comportato la trasformazione di questi ellissoidi raffinati in una mesh solida, ovvero la pelle a struttura reticolare utilizzata per rappresentare un oggetto 3D. Molti metodi esistenti cercano di farlo dividendo l'intero spazio 3D in una griglia di minuscoli cubi e calcolando la superficie all'interno di ogni cubo. Questo approccio è sensibile alla dimensione dei cubi: se i cubi sono troppo grandi, i dettagli fini vanno persi, ma se sono troppo piccoli, il computer esaurisce la memoria, specialmente in grandi scene esterne. I ricercatori hanno evitato questa trappola utilizzando una tecnica diversa chiamata Delaunay graph-cut meshing. Invece di affidarsi a una griglia rigida, questo metodo collega direttamente i punti superficiali e utilizza la linea di vista della telecamera per determinare quali parti dello spazio sono all'interno dell'oggetto e quali all'esterno. Ciò ha permesso loro di creare una superficie pulita e completa senza il carico di memoria o la perdita di dettaglio associata all'approccio basato sulla griglia.

Il team ha testato il loro metodo su diversi dataset, incluso il benchmark standard DTU per la ricostruzione a livello di oggetto e nuovi sotto-insiemi di scene esterne su larga scala dai dataset GauU-Scene V2 e MatrixCity. Sul benchmark DTU, il loro metodo ha raggiunto un tasso di errore medio competitivo con le migliori tecniche esistenti, superandole spesso nella precisione della geometria ricostruita. Nelle scene all'aperto, la differenza è stata ancora più pronunciata. Mentre altri metodi producevano modelli con frammenti fluttuanti o grandi buchi in aree come l'acqua o le facciate degli edifici, CoMVS-GS ha prodotto superfici pulite e continue. I ricercatori hanno notato che il loro metodo produceva mesh con significativamente meno facce — una media di circa 8,76 milioni di facce rispetto alle oltre 50 milioni di alcuni concorrenti — pur mantenendo una maggiore accuratezza geometrica. Questa compattezza suggerisce che il modello ha catturato la vera forma della scena in modo più efficiente, senza aggiungere complessità inutile per colmare le lacune.

Lo studio ha incluso anche test per vedere quali parti del loro sistema fossero più importanti. Quando hanno rimosso l'inizializzazione con nuvola di punti densa, il modello ha faticato a convergere su superfici piatte, in particolare sulle facciate degli edifici viste da angoli acuti. Quando hanno rimosso il ciclo di supervisione reciproca, l'accuratezza geometrica è diminuita e le superfici sono diventate meno levigate. Infine, quando hanno sostituito la loro nuova tecnica di meshing con il tradizionale metodo basato sulla griglia, i modelli risultanti mostravano buchi e regioni incomplete, confermando che il loro approccio graph-cut era essenziale per gestire la complessità delle grandi scene esterne. I ricercatori hanno concluso che integrando il multi-view stereo non solo come passaggio finale, ma come fonte di inizializzazione, supervisione continua ed estrazione della superficie, potevano raggiungere un livello di stabilità geometrica che nessuno dei due metodi poteva raggiungere da solo.

Sebbene il metodo rappresenti un passo avanti significativo, gli autori riconoscono che affronta ancora sfide con superfici altamente riflettenti o trasparenti, dove trovare punti corrispondenti tra diverse inquadrature della telecamera è difficile. Inoltre, il processo di raffinamento periodico delle mappe di profondità aggiunge un certo costo computazionale, che potrebbe essere un fattore per scene ad altissima risoluzione. Tuttavia, i risultati dimostrano che combinare il rigore geometrico della fotogrammetria tradizionale con l'efficienza del moderno rendering neurale è una via percorribile verso una ricostruzione 3D più robusta e accurata. Il lavoro suggerisce che il futuro della modellazione 3D potrebbe non risiedere nella scelta tra diverse tecnologie, ma nel trovare modi per farle lavorare insieme, sfruttando i punti di forza di ciascuna per superare le debolezze dell'altra.