💻 computer science

Live Avatar: Streaming Real-time Audio-Driven Avatar Generation with Infinite Length

Questo articolo introduce Live Avatar, un framework algoritmo-sistema co-progettato che abilita la prima generazione in streaming pratica, in tempo reale e a lunghezza infinita di avatar guidati dall'audio da 14 miliardi di parametri, combinando una pipeline di diffusione causale distillata con la Timestep-forcing Pipeline Parallelism per raggiungere 45 FPS ed eliminare la deriva dell'identità a lungo termine.

Autori originali: Yubo Huang, Hailong Guo, Fangtai Wu, Weiqiang Wang, Shifeng Zhang, Shijie Huang, Qijun Gan, Lin Liu, Sirui Zhao, Enhong Chen, Jiaming Liu, Steven Hoi

Pubblicato 2026-08-03

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Yubo Huang, Hailong Guo, Fangtai Wu, Weiqiang Wang, Shifeng Zhang, Shijie Huang, Qijun Gan, Lin Liu, Sirui Zhao, Enhong Chen, Jiaming Liu, Steven Hoi

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di voler insegnare a un robot come raccontare una storia. Vuoi che parli, muova le labbra e cambi le espressioni facciali in perfetta sincronia con la tua voce, il tutto con l'aspetto di un vero essere umano. Questo è il mondo della generazione di avatar guidati dall'audio. Per molto tempo, gli scienziati hanno costruito "attori digitali" utilizzando un tipo di IA chiamata modello di diffusione. Pensa a un modello di diffusione come a uno scultore che parte da un blocco di rumore statico e lentamente scava via il rumore per rivelare una statua perfetta. Di solito, questo scultore lavora in un ordine molto rigido: deve finire la testa prima di poter iniziare il corpo, e deve farlo passo dopo passo, il che richiede molto tempo.

Il grande problema è che se chiedi a questo robot di raccontare una storia per un'ora, tende a confondersi. Potrebbe dimenticare l'aspetto del volto del personaggio di cinque minuti fa, o la sua voce potrebbe iniziare a sembrare quella di una persona completamente diversa. Questo si chiama "drift" (deriva). Inoltre, poiché lo scultore lavora molto lentamente, non puoi avere una conversazione in tempo reale con lui; nel momento in cui finisce una frase, hai già dimenticato ciò che hai detto. L'obiettivo per i ricercatori è stato costruire un attore digitale che sia abbastanza veloce da parlare con te dal vivo, abbastanza intelligente da mantenere la propria identità per ore e abbastanza dettagliato da apparire fotorealistico.

Entra in scena Live Avatar, un nuovo progetto che agisce come un maestro direttore d'orchestra per una massiccia orchestra di chip informatici. I ricercatori dietro questo lavoro, guidati da team dell'Università di Scienza e Tecnologia della Cina e di Alibaba, hanno capito come far parlare, muovere e trasmettere video in tempo reale a un enorme modello di IA da 14 miliardi di parametri (un modello "14B", che è enorme nel mondo dell'IA) senza perdere la ragione.

Di solito, creare un video così lungo e così veloce è una contraddizione. Puoi avere la velocità o puoi avere la qualità, ma non entrambe le cose. Live Avatar risolve questo problema cambiando il modo in cui l'IA "pensa" al tempo e alla memoria. Invece di cercare di ricordare ogni singolo dettaglio perfetto del passato (il che causa confusione e deriva nell'IA), il sistema memorizza una memoria "rumorosa". Immagina di cercare di ricordare una canzone intonando approssimativamente la melodia piuttosto che cercare di ricordare ogni singola nota perfettamente. Questa memoria "approssimativa" agisce come un filtro, mantenendo stabile il volto del personaggio pur permettendo alla bocca di muoversi naturalmente.

Il team ha anche inventato un modo intelligente per velocizzare le cose chiamato Timestep-forcing Pipeline Parallelism. Immagina una catena di montaggio in una fabbrica dove, invece di avere un singolo operaio che esegue ogni passaggio della costruzione di un'auto, hai una squadra di operai. In un normale' IA video, ogni operaio aspetta che il precedente finisca prima di poter iniziare. Live Avatar cambia le regole: ogni operaio sulla linea (o ogni chip informatico, noto come GPU) è assegnato a una fase specifica. Mentre l'Operaio A sta lucidando le ruote, l'Operaio B sta verniciando la portiera e l'Operaio C sta installando il motore, tutti nello stesso momento. Questo trasforma un processo lento e sequenziale in uno veloce e parallelo.

I risultati sono impressionanti. Su una configurazione con 5 potenti schede grafiche H100, Live Avatar può generare video a 45 fotogrammi al secondo (FPS), che è più veloce della velocità della visione umana. Impiega solo 1,21 secondi per iniziare a generare il primo fotogramma dopo che hai parlato. Cosa più importante, può continuare all'infinito. I ricercatori lo hanno testato facendo parlare l'avatar per oltre 10.000 secondi (quasi tre ore di fila), e il personaggio non ha subito derive, non ha avuto glitch e non ha perso la propria identità.

Questa non è solo una vittoria teorica; il team ha costruito un nuovo campo di prova chiamato GenBench per dimostrare che altri metodi falliscono durante le lunghe durate mentre il loro ha successo. Hanno scoperto che, mentre altri sistemi possono sembrare buoni per alcuni secondi, iniziano a degradare, cambiare colori o perdere il volto della persona dopo pochi minuti. Live Avatar, invece, rimane costante. Ciò suggerisce che combinando una strategia di memoria "rumorosa" con un sistema di catena di montaggio intelligente, possiamo finalmente avere esseri umani digitali pronti per conversazioni in tempo reale e infinite.

L'articolo esclude esplicitamente l'idea che sia necessario addestrare l'IA su ore di video per farla funzionare per ore. Al contrario, hanno dimostrato che l'addestramento su brevi clip (circa 3 secondi) è sufficiente, a patto di utilizzare il loro speciale trucco della "storia rumorosa". Sostengono anche contro la vecchia convinzione secondo cui bisogna scegliere tra un modello veloce e di bassa qualità e uno lento e di alta qualità. Con il loro metodo, si può avere un modello enorme e di alta qualità che gira in tempo reale.

Sebbene il sistema sia incredibilmente veloce, gli autori notano che c'è ancora un piccolo ritardo. Il tempo che intercorre tra quando parli e quando il video appare sullo schermo è di circa 3 secondi includendo il tempo di viaggio della rete. Questo è abbastanza veloce per molte interazioni, ma potrebbe non essere del tutto sufficiente per una conversazione fluida faccia a faccia dove ogni millisecondo conta. Tuttavia, per lo streaming, gli assistenti virtuali e lo storytelling digitale, questo è un enorme passo avanti, suggerendo che l'era degli avatar digitali infiniti e in tempo reale non è più solo un sogno.

Sintesi Tecnica: Live Avatar

1. Definizione del Problema

La generazione di avatar guidati dall'audio mira a sintetizzare video di volti umani fotorealistici dove il movimento è guidato da un flusso audio in ingresso. Sebbene i modelli di diffusione abbiano raggiunto lo stato dell'arte per fedeltà visiva, l'implementazione per la generazione interattiva, in tempo reale e a lunghezza infinita affronta due sfide fondamentali e contrastanti:

Coerenza a lungo termine (Long-Horizon Consistency): I metodi esistenti soffrono di errori cumulativi durante il rollout autoregressivo, portando a deriva dell'identità, artefatti di colore e instabilità temporale nell'arco di minuti. Le soluzioni attuali o non riescono a scalare su modelli di grandi dimensioni (es. 14 miliardi di parametri) o degradano rapidamente sotto la generazione di durata minuta.
Compromesso tra Tempo Reale e Fedeltà (Real-Time–Fidelity Trade-off): I modelli di diffusione su larga scala (es. 14B) offrono una qualità superiore ma sono intrinsecamente lenti a causa della denoisizzazione sequenziale multi-step. Al contrario, gli approcci in tempo reale si affidano tipicamente a una generazione non iterativa o a modelli piccoli, sacrificando la fedeltà visiva.

Il paper sostiene che nessun metodo esistente raggiunga simultaneamente la capacità di streaming, il throughput in tempo reale e la stabilità a lunghezza infinita utilizzando un modello di diffusione su larga scala.

2. Metodologia

Live Avatar è un framework basato sulla co-progettazione di algoritmo e sistema, costruito su un modello di diffusione da 14 miliardi di parametri. Affronta le sfide attraverso una pipeline di addestramento a due stadi e una nuova strategia di parallelismo a livello di sistema.

A. Innovazioni Algoritmiche

Il framework impiega una pipeline a due stadi per adattare un modello di diffusione bidirezionale pre-addestrato in un modello di streaming causale a pochi step:

Stadio 1: Pre-addestramento con Diffusion Forcing e Motion-Frame Scaffolding:
- Il modello viene pre-addestrato utilizzando uno scheduling del rumore block-wise indipendente e maschere di attenzione causali.
- Motion-Frame Scaffolding: Per accelerare la convergenza, i frame di movimento rumorosi (frame di contesto che precedono il clip corrente) vengono iniettati come contesto ausiliario. Questo funge da "impalcatura" (scaffold) per insegnare il disaccoppiamento dinamica-identità senza l'alto costo dei rollout di self-forcing. Questo stadio produce un accelerazione di 5× nella convergenza rispetto all'addestramento senza scaffolding.
Stadio 2: Distillazione di Distribuzione con Self-Forcing DMD (Distribution Matching Distillation) e History Corrupt:
- Il teacher bidirezionale viene distillato in un modello student causale a pochi step.
- History Corrupt: Una scelta di design critica in cui la cache Key-Value (KV) memorizza rappresentazioni rumorose invece della cronologia pulita.
  - Meccanismo: Il rumore Gaussiano agisce come un filtro passa-basso, sopprimendo gli artefatti ad alta frequenza accumulati pur preservando la dinamica del movimento a bassa frequenza.
  - Beneficio: Questo costringe il modello a fare affidamento sul "sink frame" persistente per l'identità e l'aspetto, mentre la cache rumorosa gestisce il movimento. Ciò disaccoppia efficacementamente l'identità dal movimento, prevenendo l'accumulo di errori e consentendo l'estrapolazione stabile oltre i 10.000 secondi nonostante l'addestramento su clip di circa 3 secondi.
- Adaptive Attention Sink (AAS): Per prevenire la deriva della distribuzione causata dal mismatch tra l'immagine di riferimento reale e il manifold di generazione del modello, il sink frame viene sostituito dal primo latent generato dal modello dopo il blocco iniziale.
- Rolling RoPE: Per mitigare la deriva del condizionamento al tempo di test, l'indice RoPE (Rotary Positional Embedding) del sink frame viene regolato dinamicamente per mantenere una posizione relativa costante rispetto agli stati rumorosi correnti, prevenendo la degradazione dell'attenzione su lunghi orizzonti.

B. Innovazioni di Sistema: Timestep-forcing Pipeline Parallelism (TPP)

Per rompere il collo di bottiglia del campionamento sequenziale dei modelli di diffusione, gli autori propongono il Timestep-forcing Pipeline Parallelism (TPP):

Concetto: Invece di una denoisizzazione sequenziale su un singolo dispositivo, i $T$ step di denoisizzazione sono partizionati tra $T$ GPU. A ogni GPU viene assegnato un timestep fisso $t_i$ e questa esegue ripetutamente la trasformazione $t_i \to t_{i-1}$ .
Meccanismo:
- La catena di diffusione sequenziale viene convertita in una pipeline spaziale asincrona.
- Poiché la cache KV è rumorosa (History Corrupt), ogni GPU mantiene la propria rolling cache KV locale senza necessità di comunicazione inter-GPU per gli aggiornamenti della cache.
- Le GPU passano solo la rappresentazione latente compatta al dispositivo successivo.
Risultato: Il throughput è determinato da un singolo passaggio forward di denoisizzazione piuttosto che dalla somma di tutti gli step, ottenendo un'accelerazione lineare ideale proporzionale al numero di step di denoisizzazione.

3. Contributi Chiave

Framework di Adattamento Causale e Streamabile: Un metodo di addestramento a due stadi che distilla un modello bidirezionale in un modello di streaming causale a pochi step, utilizzando il motion-frame scaffolding per ottenere un'accelerazione della convergenza di 5×.
Stabilità a Lungo Termine: Dimostra che memorizzare solo la cronologia rumorosa nella cache KV (History Corrupt) consente capacità train-short-infer-long, permettendo la generazione stabile oltre i 10.000 secondi. Ciò è completato da AAS e Rolling RoPE per affrontare la deriva di distribuzione e posizionale.
Timestep-forcing Pipeline Parallelism (TPP): Un'ottimizzazione a livello di sistema che rompe il collo di bottiglia sequenziale assegnando timestep fissi alle GPU, consentendo l'inferenza ad alto throughput per modelli grandi.
Benchmark Standardizzato (GenBench): Introduzione di un benchmark che include casi di test video lunghi superiori ai cinque minuti per valutare le prestazioni a lungo termine.

4. Risultati Sperimentali

Il sistema è stato valutato su 5 GPU NVIDIA H100 con un modello da 14 miliardi di parametri:

Performance: Raggiunge 45 FPS con un Time-to-First-Frame (TTFF) di 1,21 s.
Scala: Per quanto a conoscenza degli autori, questo è il primo streaming in tempo reale pratico di un modello di diffusione da 14B per la generazione di avatar a lunghezza infinita.
Metriche di Qualità (GenBench):
- Video Breve: Supera i metodi allo stato dell'arte (es. Ditto, OmniAvatar, WanS2V) in qualità visiva (IQA: 4,51, ASE: 3,44) e coerenza dell'identità (Dino-S: 0,96), mantenendo una sincronizzazione audio-visiva competitiva.
- Video Lungo: Mantiene una qualità quasi identica attraverso le durate (es. IQA 4,51 $\to$ 4,76, Dino-S 0,96 $\to$ 0,97), mentre i baseline come OmniAvatar e WanS2V mostrano una significativa degradazione della qualità visiva e della coerenza dell'identità nel tempo.
Studi di Ablazione:
- Rimuovere History Corrupt causa una grave degradazione nella coerenza dell'identità (Dino-S scende a 0,81) e nella qualità visiva.
- Rimuovere AAS porta a una progressiva desaturazione del colore.
- Rimuovere Rolling RoPE innesca la deriva dell'identità (Dino-S scende a 0,86).
- TPP si dimostra essenziale per raggiungere alti FPS; senza di esso, il sistema gira a circa 5 FPS su 4 GPU.

5. Significato e Rivendicazioni

Il paper afferma che Live Avatar risolve il compromesso di lunga data tra scala del modello, fedeltà visiva e prestazioni in tempo reale nella generazione di avatar guidati dall'audio. Co-progettando l'algoritmo (cache KV rumorosa, distillazione) e il sistema (TPP), abilita la prima implementazione pratica di un modello di diffusione da 14B per lo streaming in tempo reale a lunghezza infinita.

Gli autori sottolineano che le loro strategie di stabilità a lungo termine sono fondate sul prior di scena statica inerente alle interazioni con l'avatar (dove il soggetto e lo sfondo rimangono ampiamente invariati). Riconoscono che, man mano che l'addestramento nativo a lunga durata diventerà fattibile, questi prior potrebbero non essere più necessari. Inoltre, notano che sebbene il sistema raggiunga un throughput in tempo reale (45 FPS), la latenza end-to-end (circa 3s incluso il trasporto di rete) non soddisfa ancora i requisiti rigorosi per una conversazione bidirezionale fluida, sebbene rappresenti un passo avanti significativo per la comunicazione digitale interattiva.