SemPix3D: Hybrid approach to generalized 3D aware image Synthesis and Generation using Conditional GAN

Immagina di voler costruire un mondo virtuale per un videogioco o un'esperienza di realtà virtuale. Vuoi mostrare un personaggio o un oggetto da qualsiasi angolazione, non solo dal davanti. Per molto tempo, i computer sono stati come pittori piatti; potevano prendere la foto di un volto e trasformarla in un cartone animato, ma non capivano davvero che quel volto ha una profondità, un naso che sporge o delle orecchie ai lati. Se provavi a girare l'immagine di lato, il computer semplicemente la stirava, facendo sembrare il volto come una frittella sciolta. Per risolvere questo problema, gli scienziati stanno lavorando sulla generazione "3D-aware". Questa è l'arte di insegnare ai computer che gli oggetti esistono nello spazio tridimensionale, con volume e struttura, in modo da poter creare nuove viste che sembrino reali e rimangano coerenti. Gli strumenti che usano sono come argilla digitale (i NeRF, che costruiscono forme 3D attraverso luce e ombre) e artisti digitali (le GAN, che dipingono texture realistiche su quelle forme). La grande domanda è: come possiamo rendere questo processo più veloce, più accurato e capace di gestire diversi tipi di oggetti senza aver bisogno di una biblioteca massiccia di foto per ogni singola cosa che vogliamo creare?

È qui che entra in gioco uno nuovo studio chiamato "SemPix3D". I ricercatori, Souvik Bandyopadhyay e Tamal Pal, propongono un approccio "ibrido" astuto che combina due diverse tecnologie per risolvere il problema della generazione di immagini 3D partendo da pochissimi indizi. Pensa al loro metodo come a una catena di montaggio in due fasi. Prima, utilizzano un sistema chiamato Neural Radiance Field (NeRF) per agire come un "costruttore di scheletri". Questa parte del sistema non si cura dei colori o delle tonalità della pelle; invece, apprende la pura forma e struttura di un oggetto, come un manichino. Prende alcune foto e capisce dove si trovano i bordi, dove si trova il naso e quanto profondamente si trovano gli occhi, creando una mappa della forma 3D dell'oggetto.

Una volta costruito questo "scheletro", la seconda parte della macchina entra in azione: una Generative Adversarial Network (GAN). Se il NeRF è lo scheletro, la GAN è il truccatore e lo stilista. Prende la mappa della forma creata dalla prima fase e dipinge un'immagine a colori realistica e di alta qualità su di essa. La magia qui è che la GAN è "condizionale", il che significa che dipinge solo ciò che si adatta alla forma che le viene fornita. Questo permette al sistema di generare un'immagine fotorealistica di un volto o di una sedia da una nuova angolazione, anche se non ha mai visto quella specifica angolazione prima d'ora. I ricercatori hanno testato questo metodo su due cose molto diverse: forme 3D sintetiche (come sedie e auto generate al computer) e volti umani da un grande dataset chiamato CelebMaskHQ.

I risultati suggeriscono che questo team in due fasi funziona meglio rispetto ai metodi precedenti che cercavano di fare tutto in una volta sola. Nelle loro simulazioni, il modello SemPix3D ha mostrato miglioramenti in termini di diversità delle immagini generate e di quanto esse somigliassero a foto reali. Nello specifico, sul dataset di forme sintetiche, hanno osservato un miglioramento del 15% in un punteggio di qualità chiamato FID e un miglioramento del 5% in un altro punteggio chiamato KID rispetto a un metodo chiamato Pix2Pix3D. Quando hanno testato il modello sui volti umani, il modello è stato circa il 10% migliore in termini di diversità e ha mostrato un miglioramento del 2% nel KID rispetto ai modelli esistenti. Gli autori hanno scoperto che, separando il compito di "comprendere la forma" da quello di "dipingere il colore", potevano creare viste 3D più coerenti e accurate con meno cicli di addestramento. Hanno inoltre notato che questo approccio riduce la necessità di enormi quantità di dati per ogni singolo oggetto, poiché la parte dello "scheletro" apprende la forma generale di una categoria (come "tutti i volti umani") e il "pittore" aggiunge solo i dettagli specifici. Sebbene il documento non sostenga che questo sia un problema risolto per tutta la scienza, le simulazioni indicano che questa strategia ibrida è un passo promettente verso la creazione di esperienze di realtà virtuale e realtà aumentata molto più reali e immersive.