Grounded-Exo2Ego: Structured Semantic Grounding for Robust Exocentric-to-Egocentric Video Generation
Questo articolo introduce Grounded-Exo2Ego, un framework di diffusione video a due rami che combina l'ancoraggio geometrico con un nuovo ramo di grounding semantico e un algoritmo di rilocalizzazione della telecamera per generare in modo robusto video egocentrici da input esocentrici, raggiungendo prestazioni allo stato dell'arte sul dataset EgoExo4D attraverso un'architettura migliorata e la generazione di dati sintetici completamente automatizzata.
Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo
Immaginate di guardare il video di una persona che cucina dall'altra parte della cucina. Vedete l'intera scena: il fornello, il bancone, i movimenti dello chef. Ora, immaginate di poter passare istantaneamente a quella prospettiva per vedere esattamente ciò che vede lo chef, come se indossaste i suoi occhi. Questa capacità di trasformare una vista in terza persona in una in prima persona è l'obiettivo di un nuovo sforzo scientifico chiamato generazione di video da esocentrico a egocentrico. È un passo crucialo per costruire robot che possano imparare guardando video umani e per creare esperienze di realtà virtuale immersive dove gli utenti possano rivivere momenti dalla prospettiva di un'altra persona. Tuttavia, trasformare un video ripreso dall'esterno in una vista dall'interno è incredibilmente difficile. Gli strumenti standard di computer vision, che funzionano bene nel cambiare angolazioni in una scena statica, spesso falliscono qui. Quando la telecamera si muove da una vista ampia a un primo piano, il computer fatica a indovinare cosa sia nascosto dietro gli oggetti o come dovrebbe apparire la scena da un angolo completamente diverso, producendo spesso parti distorte, sfocate o mancanti dell'immagine.
Un team di ricercatori di NVIDIA ha sviluppato un nuovo sistema chiamato Grounded-Exo2Ego per risolvere questo problema. Invece di fare affidamento sui metodi consueti che cercano di forzare un adattamento geometrico tra la vista esterna e la vista interna, hanno costruito un framework che comprende sia la forma della stanza che gli oggetti specifici al suo interno. I ricercatori hanno scoperto che i tentativi precedenti fallivano perché la migliore ipotesi del computer sulla forma 3D della stanza era spesso errata, specialmente per le parti della scena che erano nascoste dalla telecamera originale. Quando il computer cercava di usare queste mappe 3D difettose per generare una nuova vista, il risultato era un video pieno di buchi e superfici deformate. Per risolvere questo, il nuovo sistema utilizza un approccio a due rami. Un ramo funge da guida strutturale, utilizzando una mappa 3D approssimativa della scena per dire al computer dove dovrebbero trovarsi pareti e pavimenti. Il secondo ramo, che è l'innovazione chiave, funge da guida semantica. Esso identifica oggetti specifici nel video, come una persona, una bicicletta o una pentola da cucina, e dice al computer esattamente come dovrebbero apparire quegli oggetti e dove appartengono, anche se la mappa 3D è incompleta o interrotta.
I ricercatori hanno anche scoperto un difetto nascosto nel modo in cui questi sistemi vengono addestrati. Nel mondo reale, la telecamera che una persona indossa non corrisponde perfettamente alla ricostruzione 3D della stanza effettuata dal computer. Questo disallineamento significava che, quando il computer cercava di imparare da dati video reali, stava essenzialmente cercando di imparare da una mappa distorta che non si allineava con la realtà che doveva imitare. Per risolvere questo, il team ha creato un nuovo processo che riallinea la posizione della telecamera all'interno della mappa 3D imperfetta del computer prima che l'addestramento inizi. Ciò assicura che il computer apprenda da un'immagine coerente. Inoltre, per fornire al sistema esempi perfetti da cui imparare, hanno costruito un motore completamente automatizzato che crea migliaia di video sintetici. In questi mondi generati dal computer, posizionano personaggi 3D animati in varie stanze e li registrano sia da prospettiva esterna che interna, fornendo al modello dati impeccabili che le telecamere del mondo reale non possono facilmente catturare.
Quando testato su un dataset impegnativo di video reali che mostrano attività come sport, cucina e riparazione di biciclette, il nuovo sistema ha superato significativamente i metodi esistenti. Ha prodotto video più nitidi, più accurati e molto più bravi nel mantenere gli oggetti nella posizione corretta. Ad esempio, mentre i vecchi metodi spesso fallivano nel ricostruire interamente le persone o le posizionavano nei posti sbagliati, il nuovo sistema ha generato con successo viste chiare dei soggetti e dei loro dintorni. I risultati hanno dimostrato che combinando una comprensione approssimativa della disposizione della stanza con una comprensione dettagliata degli oggetti al suo interno, e addestrando il sistema su dati attentamente allineati e integrati con esempi sintetici, il computer poteva finalmente colmare il divario tra l'osservare una scena e vedere attraverso gli occhi di qualcun altro. Questo lavoro suggerisce che, affinché le macchine possano veramente comprendere e replicare le esperienze umane, devono guardare oltre la semplice geometria e imparare il significato degli oggetti che stanno cercando di rendere.
Sommerso dagli articoli nel tuo campo?
Ricevi digest giornalieri degli articoli più recenti corrispondenti alle tue parole chiave di ricerca — con riassunti tecnici, nella tua lingua.