UniSwap: Streaming Audio-Visual Identity Swapping for Talking Videos

Immaginate di guardare un film, ma l'attore sullo schermo improvvisamente inizia a parlare con una voce diversa e ad avere l'aspetto di una persona completamente differente, pur dicendo esattamente le stesse parole e muovendo le labbra in perfetta sincronia. Questo è il sogno dello "scambio di identità" nei video parlanti. Per molto tempo, i computer sono stati bravi nel fare solo una parte di questo trucco: o cambiare il volto di una persona mantenendo la sua voce originale, o cambiare una voce mantenendo il volto originale. Ma cercare di fare entrambe le cose contemporaneamente è stato come cercare di giocolare con due palline diverse mentre si cavalca un monociclo; i risultati erano spesso fuori sincrono, con le labbra che si muovevano sulle parole sbagliate o voci che suonavano robotiche. Questo articolo si addentra nel mondo dell'IA generativa, guardando specificamente a come possiamo insegnare ai computer a scambiare sia l'aspetto che la voce di una persona simultaneamente, in tempo reale, senza che il video scatti o l'audio ritardi.

I ricercatori dietro questo progetto, UniSwap, hanno costruito un nuovo sistema che agisce come un maestro burattinaio, che tira le corde sia per il lato visivo che per quello audio di un video nello stesso identico momento. Invece di usare due strumenti separati — uno per il volto e uno per la voce — hanno creato un unico "cervello" che comprende come il volto di una persona si muova e come la sua voce suoni come un'esperienza connessa. Pensatelo come un traduttore bilingue che non si limita a tradurre le parole, ma cattura istantaneamente anche l'accento e le espressioni facciali del parlante.

L'articolo introduce un modo intelligente per insegnare a questo sistema. Poiché è quasi impossibile trovare video reali della stessa persona che dice le stesse battute apparendo e suonando come due persone diverse, il team ha inventato un gioco di "scambio e ricostruzione". Prendono un video reale, spogliano digitalmente il volto e la voce della persona per creare una versione "fantasma", e poi chiedono all'IA di ricostruire il video originale usando un nuovo volto e una nuova voce come guida. È come dare a uno chef una tela bianca e una ricetta, e poi chiedergli di ricreare perfettamente un piatto specifico. Addestrandosi su milioni di queste "ricostruzioni", l'IA impara a scambiare le identità mantenendo intatti i movimenti originali e lo sfondo.

Ciò che rende questo veramente speciale è che funziona come uno streaming live piuttosto che come un lento film pre-registrato. La maggior parte dei generatori video deve guardare l'intera clip prima di poter iniziare a disegnare il primo fotogramma, il che è troppo lento per un uso interattivo. UniSwap, tuttavia, genera il video in piccoli blocchi, come un nastro trasportatore, permettendogli di produrre circa 13,6 fotogrammi al secondo su un potente chip (un NVIDIA H100). Sebbene questo non sia ancora abbastanza veloce per un'interazione in tempo reale istantanea, è un salto enorme, consentendo al sistema di generare video lunghi — fino a un'ora di durata — senza che il volto o la voce del personaggio si disallineino o diventino distorti nel tempo. Gli autori hanno scoperto che utilizzando un particolare "trucco di memoria" chiamato Feature-RoPE Decomposition, l'IA può ricordare l'identità originale anche dopo aver generato migliaia di fotogrammi, assicurando che il personaggio rimanga coerente dal primo all'ultimo secondo.

In breve, UniSwap suggerisce che possiamo finalmente avere un sistema unificato che scambia sia l'aspetto che la voce nei video parlanti con un'alta sincronizzazione e stabilità. Sebbene l'attuale versione non sia ancora abbastanza veloce per una conversazione live in tempo reale (è leggermente più lenta della velocità di una riproduzione video standard), dimostra che un singolo modello può gestire entrambi i compiti insieme meglio che cercare di cucire insieme due sistemi separati. I risultati mostrano che i movimenti delle labbra rimangono perfettamente sincronizzati con la nuova voce e che l'identità del personaggio rimane stabile anche in clip lunghe, offrendo un passo promettente verso avatar digitali più naturali e interattivi.