UniWorld-View: Large-Baseline View Synthesis via Video Diffusion Models

Immagina di tenere in mano uno smartphone, registrando un rapido video del tuo soggiorno mentre cammini. Ora, immagina un trucco di magia in cui potresti teletrasportare istantaneamente quel video in un angolo completamente diverso — ad esempio, fluttuando vicino al soffitto o sbirciando attraverso una finestra che non hai mai filmato — e vedere la stanza da quel nuovo punto con perfetta chiarezza. Questo è il sogno della "sintesi di nuove viste" (novel view synthesis), un campo dell'informatica che cerca di insegnare alle macchine come comprendere lo spazio 3D partendo da immagini piatte in 2D. Per molto tempo, i computer sono stati terribili in questo. Se chiedevi loro di indovinare cosa ci fosse dietro una sedia in una foto, spesso sbagliavano, creando strane macchie allungate o buchi invisibili. Avevano bisogno o di centinaia di foto scattate da ogni angolazione (il che è noioso e difficile da fare) o cercavano di "allucinare" le parti mancanti, il che spesso portava a incubi geometrici dove le pareti si piegavano come gomma. Ma se potessimo combinare il meglio di entrambi i mondi: le regole rigide della geometria (perché le pareti rimangano dritte) con il potere creativo dell'IA moderna (perché le parti mancanti sembrino reali)? Questa è la grande domanda che i ricercatori stanno affrontando per rendere la realtà virtuale, il gaming e i social media davvero immersivi.

Entra in scena UniWorld-View, un nuovo metodo sviluppato dai ricercatori della Peking University e di Rabbitpre AI che agisce come un regista super intelligente per questi film 3D. Il problema centrale che hanno risolto è cosa succede quando si prova a guardare una scena da un angolo molto diverso da quello in cui è stata filmata. Pensa a cercare di disegnare la mappa di una città che hai visto solo da un angolo di strada. Se provi a indovinare cosa c'è dall'altra parte di un edificio, potresti accidentalmente disegnare la porta anteriore dell'edificio sulla parete posteriore, o trascinare un albero attraverso il cielo. I precedenti metodi di IA spesso commettevano questi errori di "strappo" perché non sapevano quali parti della scena fossero nascoste (occluse) e quali fossero visibili.

UniWorld-View risolve questo problema con una strategia intelligente in due fasi. Per prima cosa, costruisce una "nuvola di punti" (point cloud) grezza in 3D (una nuvola digitale di punti che rappresenta la scena) dal tuo video. Ma invece di proiettare semplicemente questi punti su un nuovo schermo, utilizza un trucco di "tripla riproiezione". Immagina di scattare una foto a un'ombra, poi di scattare una foto al riflesso di quell'ombra e infine di confrontare le due per capire esattamente cosa è nascosto dietro l'oggetto. Questo permette all'IA di creare una "maschera" perfetta che dice esattamente quali pixel sono reali e quali sono solo buchi vuoti. Controlla anche le "normali" (la direzione verso cui una superficie è rivolta) per assicurarsi di non mostrare accidentalmente il retro di una parete.

Una volta che l'IA ha questa mappa pulita e geometricamente accurata di ciò che dovrebbe esserci, utilizza un potente "modello di diffusione video" (un tipo di IA che genera video trasformando lentamente il rumore in un'immagine nitida) per riempire gli spazi vuoti. Ma il punto cruciale è questo: non si limita a indovinare. Utilizza un sistema a "doppio flusso" (dual-stream). Un flusso osserva la mappa geometrica per garantire che la telecamera si muova esattamente dove vuoi tu, e l'altro flusso osserva il tuo video originale per copiare le texture e i colori. Ciò assicura che, se sposti la telecamera in un nuovo punto, gli oggetti rimangano solidi e l'illuminazione sembri reale, invece di sciogliersi in una zuppa di pixel.

I ricercatori hanno testato il modello sul benchmark "WorldScore", un test impegnativo per valutare quanto bene l'IA controlli i movimenti della telecamera e mantenga la coerenza delle scene 3D. UniWorld-View ha ottenuto il punteggio più alto nelle scene "statiche" (85,53) ed è risultato secondo solo nelle scene dinamiche, superando altri modelli d'eccellenza. Ha inoltre dimostrato di poter generare nuove viste di alta qualità da singoli video senza la necessità di essere riaddestrato su quelle scene specifiche (apprendimento zero-shot). In breve, UniWorld-View insegna all'IA a rispettare le regole della fisica e della geometria, pur essendo abbastanza creativa da immaginare cosa c'è dietro la tendina, aprendo la strada a mondi virtuali più realistici dove è possibile guardarsi intorno liberamente, anche se il video originale era solo un rapido selfie.