Monocular Panoramic Imaging for High-Precision 3D Shape Reconstruction

Immagina di cercare di costruire un modello tridimensionale perfetto di un oggetto complesso, come un piede umano, usando solo fotografie piatte. Questa è una sfida fondamentale nella visione artificiale, il campo dedicato all'insegnare alle macchine come vedere e comprendere il mondo. Per decenni, gli scienziati si sono affidati a due approcci principali per risolvere il problema. Il primo prevede l'uso di molte telecamere disposte in cerchio, ognuna delle quali scatta una foto da un'angolazione diversa. Sebbene efficace, questo metodo è costoso, difficile da configurare e richiede una sincronizzazione precisa per garantire che tutte le telecamere concordino su colore e tempistica. Il secondo approccio utilizza una singola telecamera ma si affida a software complessi per indovinare la profondità di un oggetto, spesso faticando quando la superficie manca di consistenza o motivi. Entrambi i metodi incontrano ostacoli quando si cerca di catturare misurazioni accurate e in tempo reale di forme lisce o intricate, un bisogno che sorge frequentemente nell'ispezione industriale e nella diagnostica medica.

Un team di ricercatori della Zhejiang University of Technology ha proposto una strada diversa, una che combina la semplicità di una singola telecamera con la vista completa di una matrice multi-camera. Hanno progettato un dispositivo specializzato che cattura sette diverse prospettive di un oggetto in un unico istante, usando specchi per ripiegare la luce in un'unica lente. Analizzando queste viste simultanee con un nuovo approccio matematico, sono riusciti a ricostruire con alta precisione la forma tridimensionale di un piede umano. Il loro lavoro dimostra che è possibile ottenere misurazioni 3D di alta qualità senza il costo elevato e la complessità dei tradizionali sistemi multi-camera, offrendo una soluzione robusta per scenari in cui l'accuratezza è fondamentale.

Il cuore della loro innovazione risiede in una camera di imaging personalizzata. Invece di posizionare una telecamera davanti a un oggetto e muoverla intorno, i ricercatori hanno posto l'oggetto all'interno di una scatola rivestita di specchi. Questa scatola ha la forma di un imbuto, costruita con sei specchi trapezoidali disposti per guardare verso l'interno. Una singola telecamera ad alta definizione guarda dentro questa camera. Quando un oggetto, come un piede, viene posto all'interno, la telecamera non vede solo l'oggetto direttamente; vede anche molteplici riflessi dell'oggetto che rimbalzano sugli specchi. In un singolo scatto, la telecamera cattura una vista diretta della parte superiore dell'oggetto e sei viste virtuali dei lati e del retro, simulando efficacemente una configurazione a sette telecamere. Poiché tutte queste viste provengono dalla stessa lente nello stesso identico momento, il sistema evita i comuni mal di testa legati alla calibrazione di più telecamere o alla sincronizzazione dei loro colori. Anche l'illuminazione è controllata all'interno della camera, garantendo che l'oggetto sia illuminato uniformemente e privo di ombre o riflessi distraenti.

Una volta catturata l'immagine, i ricercatori devono affrontare il compito di trasformare quei riflessi piatti in una forma solida 3D. Hanno sviluppato un metodo che tratta lo spazio attorno all'oggetto come una serie di piccoli cubi invisibili, o voxel. Immaginate di riempire lo spazio attorno al piede con una griglia di questi cubi. L'algoritmo controlla quindi sistematicamente ogni possibile angolo attorno all'oggetto, dalla parte superiore a quella inferiore e tutto intorno ai lati. Per ogni angolo, esamina la corrispondente riflessione nelle sette viste per determinare se un cubo debba far parte dell'oggetto o essere spazio vuoto. Lo fa controllando se la luminosità della proiezione del cubo è coerente in tutte le diverse viste. Se la luce appare uguale in ogni riflesso, il cubo è probabilmente parte della superficie; se la luminosità varia selvaggiamente, il cubo viene scavato via. Questo processo, noto come "space carving" (scultura dello spazio), permette al sistema di rimuovere lo spazio vuoto finché non rimane solo la forma dell'oggetto, creando una nuvola di punti dettagliata che definisce la sua superficie.

Per testare il loro sistema, i ricercatori lo hanno applicato alla ricostruzione di piedi umani, un compito che richiede un'alta precisione a causa delle curve complesse e della pelle liscia del piede. Hanno posto un piede all'interno della camera a specchi e catturato l'immagine panoramica. Il sistema ha elaborato l'immagine, separando il piede dallo sfondo nero e convertendo i dati del colore in un formato che l'algoritmo potesse utilizzare. Il risultato è stato una nuvola di punti tridimensionale completa del piede, inclusa la sua informazione sul colore. Per verificare l'accuratezza, hanno proiettato questo modello 3D su uno schermo piatto per vedere quanto bene corrispondesse alla silhouette originale del piede nella visuale della telecamera. Il confronto ha rivelato un grado di sovrapposizione molto elevato, con tassi di errore che generalmente rimanevano al di sotto del 3% per la maggior parte delle viste. La vista dall'alto e le due viste laterali ausiliarie hanno mostrato l'accuratezza maggiore, con errori così bassi come lo 0,68%.

Lo studio ha anche confrontato il loro sistema a sette viste con un precedente setup a cinque viste per vedere se gli specchi aggiuntivi facessero la differenza. Il sistema a cinque viste, che manca dei due specchi ausiliari aggiuntivi, faticava a catturare accuratamente la parte posteriore del piede, portando a lacune e tassi di errore più elevati in quella specifica area. Il sistema a sette viste, fornendo angoli indipendenti per la sezione posteriore, ha colmato questi dettagli mancanti e ha ridotto significativamente l'errore complessivo. I ricercatori hanno scoperto che i punti di vista aggiuntivi hanno smorzato le fluttuazioni nell'accuratezza della misurazione, assicurando che anche le parti più difficili da vedere dell'oggetto fossero ricostruite fedelmente. Sebbene il metodo sia altamente efficace per oggetti solidi e lisci, gli autori notano che presenta dei limiti con buchi profondi o strutture interne complesse, poiché la luce non può raggiungere l'interno di queste aree per creare un riflesso.

Questa ricerca offre un'alternativa convincente alle macchine costose e complesse spesso utilizzate per la scansione 3D. Usando una singola telecamera e una intelligente disposizione di specchi, il team ha creato un sistema che è allo stesso tempo economico e altamente accurato. La capacità di catturare una vista completa a 360 gradi in un'unica esposizione elimina la necessità di parti in movimento o di più dispositivi sincronizzati, rendendo il processo più veloce e affidabile. La ricostruzione riuscita della forma del piede dimostra che questo approccio può gestire oggetti del mondo reale con la precisione richiesta dalle applicazioni mediche o industriali. Sebbene la tecnologia non sia ancora una soluzione universale per ogni tipo di oggetto, in particolare per quelli con cavità profonde, rappresenta un passo avanti significativo nel rendere la misurazione 3D ad alta precisione più accessibile e pratica. Il codice sorgente e la documentazione del sistema sono stati resi pubblici, permettendo ad altri scienziati di costruire su questo lavoro e di perfezionare ulteriormente la tecnica per applicazioni future.