💻 computer science

InteractiveAvatar: Real-Time Streaming Video Generation for Consistent and Intent-Aware Avatars

InteractiveAvatar è un framework di generazione video in streaming infinito e in tempo reale che sfrutta la distillazione autoregressiva, un meccanismo di Memoria Visiva Long-Short e un Modulo di Ragionamento-Reazione per ottenere una coerenza visiva allo stato dell'arte e interazioni consapevoli dell'intento per avatar guidati dall'audio.

Autori originali: Quanyue Song, Yishan He, Yanfei Zhang, Shihao Cheng, Zhixiang He, Zhizhi Guo, Chi Zhang, Xuelong Li, Caigui Jiang

Pubblicato 2026-06-23

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Quanyue Song, Yishan He, Yanfei Zhang, Shihao Cheng, Zhixiang He, Zhizhi Guo, Chi Zhang, Xuelong Li, Caigui Jiang

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di parlare con un amico digitale durante una videochiamata. Di solito, questi amici digitali sono un po' come marionette rotte: potrebbero muovere le labbra perfettamente per seguire la tua voce, ma se parli con loro per troppo tempo, il loro volto potrebbe iniziare a sembrare strano, o potrebbero dimenticare che aspetto avevano cinque minuti fa. Inoltre, se chiedi loro di "controllare l'ora", potrebbero semplicemente dire l'ora ad alta voce continuando però a fissare il vuoto, incapaci di guardare effettivamente un orologio.

Il documento InteractiveAvatar presenta un nuovo modo per costruire questi amici digitali affinché possano parlarti per sempre senza sembrare glitchati, e affinché possano effettivamente fare le cose che chiedi loro.

Ecco come ci sono riusciti, spiegato con semplici analogie:

1. Il Problema: L'"Amnesia" e il "Robot"

Gli autori affermano che gli avatar digitali attuali hanno due problemi principali:

Il Volto che "Deriva": Se continui a tenere il video in esecuzione per molto tempo, il volto dell'avatar inizia lentamente a cambiare. Magari gli occhi diventano più grandi, o il colore dei capelli cambia. È come un pittore che continua ad aggiungere nuovi strati di vernice senza guardare lo schizzo originale; alla fine, il quadro non somiglia più alla persona con cui si era iniziato.
Il Robot "Cieco": Gli avatar attuali sono principalmente "guidati dall'audio". Se dici "Guarda l'orologio", sentono il suono e muovono la bocca, ma non ne comprendono il significato. Non girano effettivamente la testa per guardare un orologio perché non "pensano" alla tua richiesta.

2. La Soluzione: Un Cervello in Due Parti

Per risolvere questo problema, il team ha costruito un sistema con due strumenti speciali: un Sistema di Memoria e un Cervello Pensante.

Il Sistema di Memoria: "Il Quaderno a Breve Termine e l'Album Fotografico a Lungo Termine"

Per evitare che il volto dell'avatar derivi, hanno creato qualcosa chiamato Memoria Visiva a Lungo-Breve Termine (LSVM).

Il Quaderno a Breve Termine: Immagina che l'avatar tenga un quaderno degli ultimi secondi di video. Questo assicura che, quando muove la testa, il movimento sia fluido e naturale, non scattoso.
L'Album Fotografico a Lungo Termine: Questa è la parte intelligente. Inveve di cercare di ricordare ogni singolo fotogramma (il che sarebbe troppo pesante e lento), l'avatar ha un "Album Fotografico" dei momenti più importanti.
- Come funziona: Mentre il video viene riprodotto, il sistema chiede costantemente: "Questo nuovo fotogramma è importante?". Se l'avatar indossa un cappello o prende una tazza di caffè, il sistema scatta una "istantanea" e la inserisce nell'album. Se l'avatar sta solo seduto a parlare, potrebbe saltare la foto.
- Il Beneficio: Questo funge da ancora. Anche dopo 10 minuti di conversazione, l'avatar può guardare indietro al suo "album" per ricordare: "Ah giusto, indosso un cappello", o "Ho una tazza di caffè". Questo mantiene il personaggio coerente dall'inizio alla fine.

Il Cervello Pensante: "Il Regista e il Direttore di Scena"

Per far sì che l'avatar capisca cosa vuoi, hanno aggiunto un Modulo di Ragionamento-Reazione (RRM).

Il Regista (LLM): Quando parli, un potente "Regista" IA ascolta te. Non sente solo le parole; capisce la tua intenzione. Se dici "Controlla l'ora", il Regista capisce: "Ah, l'utente vuole che l'avatar guardi un orologio".
Il Ciclo di Stato (State Cycling): Il sistema passa tra due modalità:
1. Modalità Azione: L'avatar è impegnato a fare qualcosa (come guardare un orologio o sedersi).
2. Modalità Stabile: Una volta completata l'azione, l'avatar si assesta in una posa calma (come sedersi tranquillamente) in modo da non muoversi inutilmente.
Lo Switch Rapido (Cache-Switching): Di solito, quando un'istruzione cambia, il computer deve ricalcolare tutto, il che richiede tempo. Questo sistema usa un trucco di "Switch Rapido". Conserva un backup dei calcoli per la scena corrente. Quando l'istruzione cambia (ad esempio, da "alzati in piedi" a " siediti"), scambia istantaneamente il vecchio backup con il nuovo, rendendo la reazione immediata e fluida.

3. Il Risultato: Una Conversazione in Tempo Reale e Infinita

Combinando questi strumenti con un metodo di addestramento speciale (chiamato Distillazione, che è come insegnare a uno studente a risolvere un problema in un unico passaggio invece di dieci), hanno creato un sistema che:

Funziona in Tempo Reale: Puoi parlare con l'avatar e lui risponde immediatamente, senza lunghi tempi di attesa.
Dura per Sempre: Puoi avere una conversazione per ore, e l'avatar avrà ancora lo stesso aspetto, con gli stessi vestiti e accessori.
Ti Capisce: Se gli chiedi di eseguire un'azione, lui la compie davvero, invece di limitarsi a parlarne.

In sintesi: InteractiveAvatar è come dare a una marionetta digitale una memoria a lungo termine affinché non dimentichi il proprio volto e un cervello che capisce le tue battute e le tue richieste, permettendo una conversazione fluida, infinita e realistica.

Sintesi Tecnica: InteractiveAvatar

Problema

I recenti modelli basati sulla diffusione hanno fatto avanzare la generazione di avatar guidati dall'audio, consentendo una sincronizzazione labiale e un aspetto realistici. Tuttavia, gli approcci esistenti affrontano due limitazioni fondamentali negli scenari di streaming in tempo reale:

Incoerenza Temporale Visiva: I metodi attuali si affidano tipicamente all'attenzione causale con un campo ricettivo limitato (pochi chunk precedenti e un'immagine di riferimento). Man mano che la generazione si estende su lunghe durate, ciò porta alla "deriva temporale" (temporal drift), in cui chunk video adiacenti divergono, causando incoerenze nell'identità, negli oggetti e nella stabilità della scena.
Mancanza di Interazione Consapevole dell'Intento: La maggior parte dei sistemi segue un semplice paradigma guidato dall'audio in cui i Large Language Models (LLM) generano il parlato, e l'avatar anima labbra e gesti grossolani in base alle correlazioni audio-movimento. Questi sistemi non riescono a percepire esplicitamente l'intento dell'utente per generare azioni finemente allineate semanticamente (ad esempio, guardare l'orologio quando viene chiesto l'orario) o per adattare dinamicamente la scena, limitando il realismo del comportamento interattivo.

Metodologia

Gli autori propongono InteractiveAvatar, un framework di generazione video a streaming infinito in tempo reale progettato per affrontare queste sfide attraverso tre componenti principali:

1. Memoria Visiva Long-Short (LSVM)

Per mantenere la coerenza visiva su durate arbitrariamente lunghe, gli autori introducono un meccanismo di memoria che comprime in modo flessibile le informazioni visive storiche:

Struttura a Doppia Memoria: Il sistema mantiene una Memoria a Breve Termine ( $M_s$ ) contenente rappresentazioni dense dei fotogrammi recenti (ad esempio, gli ultimi 5 secondi) per garantire la coerenza temporale locale. Mantiene inoltre una Memoria a Lungo Termine ( $M_l$ ) con una capacità fissa di token compatti che rappresentano stati visivi globalmente salienti.
Compressione della Memoria: Un modello leggero comprime i latenti video in token compatti senza downsampling temporale, preservando la capacità di separare e aggiornare i latenti durante lo streaming.
Selezione Dinamica dei Key-Frame (DKFS): Durante l'inferenza, quando un fotogramma esce dalla finestra a breve termine, viene valutato per la ritenzione a lungo termine. Il sistema utilizza SigLIP2 per estrarre caratteristiche semantiche e calcola un punteggio di ridondanza globale. Un fotogramma candidato viene inserito nella memoria a lungo termine solo se riduce la ridondanza semantica complessiva, garantendo che la memoria memorizzi key frame diversificati e rappresentativi piuttosto che fotogrammi campionati uniformemente nel tempo.

2. Modulo Reasoning-Reaction (RRM)

Per abilitare interazioni consapevoli dell'intento, il framework integra un centro di ragionamento basato su LLM:

Strategia di Ciclo di Stato (State-Cycling): L'LLM elabora l'input dell'utente e l'attuale stato stabile per produrre tre componenti: un Action Prompt (che guida il movimento del corpo/posa), l'Audio di Risposta e uno Stable State Prompt (che definisce la condizione visiva statica post-azione). Il modello di diffusione condiziona l'azione sul prompt d'azione e sull'audio durante la risposta, per poi passare al prompt stabile una volta terminato l'audio, garantendo che l'avatar torni a uno stato coerente senza deriva del movimento.
Meccanismo di Scambio della Cache (Cache-Switching): Per ridurre la latenza durante le transizioni di stato, il sistema ricodifica le condizioni testuali aggiornate e ricalcola le cache Key-Value (KV) per i chunk immediatamente precedenti. Ciò consente al modello di riallinearsi rapidamente con i nuovi action prompt senza attendere la rigenerazione completa.

3. Adattamento di Distillazione Autoregressiva

Per raggiungere prestazioni in tempo reale, gli autori adattano un backbone pre-addestrato Diffusion Transformer (DiT) (Wan 2.2 5B) attraverso una pipeline di addestramento in quattro fasi:

Pre-addestramento AI2V: Addestramento su dati audio-visivi su larga scala con attenzione bidirezionale.
Pre-addestramento della Compressione della Memoria: Addestramento del modulo di compressione sulla ricostruzione video.
Inizializzazione ODE: Addestramento con attenzione causale block-wise per approssimare le traiettorie ODE del modello teacher.
Self-Forcing DMD: Applicazione della Distribuzione Matching Distillation (DMD) per distillare il modello di diffusione in un generatore autoregressivo a pochi step. Questo minimizza la divergenza KL inversa tra le distribuzioni student e teacher, consentendo un'inferenza stabile a bassi step.

Contributi Chiave

Framework InteractiveAvatar: Un nuovo sistema di generazione di avatar guidato dall'audio in streaming in tempo reale capace di sintesi a lunga durata con forte coerenza visiva e interazione consapevole dell'intento.
Memoria Visiva Long-Short (LSVM): Un meccanismo che preserva le rappresentazioni visive storiche tramite selezione dinamica dei key-frame, migliorando significativamente la coerenza visiva e prevenendo la deriva temporale in sequenze lunghe.
Modulo Reasoning-Reaction (RRM): Un modulo dotato di State-Cycling e Cache-Switching che consente all'avatar di interpretare l'intento dell'utente, generare parlato e azioni coordinate, ed eseguire comandi con latenza ridotta.

Risultati Sperimentali

Gli autori hanno valutato InteractiveAvatar rispetto ai metodi allo stato dell'arte (ad esempio, OmniAvatar, WanS2V, LiveAvatar) su 500 casi di test video che coinvolgono diversi scenari di interazione.

Prestazioni Quantitative: InteractiveAvatar ha raggiunto risultati allo stato dell'arte nella coerenza a livello di oggetto (OBJ) (85.2) e nell'allineamento Testo-Video (TV) (25.93), con una preservazione dell'Identità (ID) competitiva. Mentre le metriche di qualità video (IQA, FID) erano comparabili ai baseline, il metodo ha dimostrato una stabilità temporale superiore.
Efficienza in Tempo Reale: Sfruttando il modello leggero da 5B e la distillazione, il sistema ha raggiunto 26.68 FPS, superando tutti i baseline (il secondo più veloce, LiveAvatar, ha raggiunto 21.94 FPS).
Analisi Qualitativa: I confronti visivi hanno mostrato che, mentre i baseline soffrivano di cambiamenti di forma/colore degli oggetti, scatti improvvisi della telecamera o fallimenti nel seguire le istruzioni d'azione, InteractiveAvatar manteneva un aspetto costante degli oggetti (ad esempio, un orologio) ed eseguiva correttamente azioni complesse (ad esempio, sedersi, controllare l'orologio) allineate con l'intento dell'utente.
Studi di Ablazione: Rimuovere il modulo LSVM ha causato un calo significativo della coerenza dell'oggetto (OBJ è sceso da 85.2 a 78.4). Rimuovere i componenti RRM ha causato la perdita di azioni consapevoli dell'intento, riportando il sistema a semplici risposte verbali. Rimuovere la distillazione DMD ha fatto crollare la velocità di inferenza a 1.27 FPS.

Significato

Il paper sostiene che InteractiveAvatar colmi il divario tra la generazione di avatar di alta qualità e gli esseri umani digitali interattivi e realistici. Risolvendo congiuntamente le sfide della coerenza visiva a lungo termine e della reattività consapevole dell'intento, il framework fornisce una base pratica per le prossime applicazioni immersive. Gli autori sottolineano che il loro approccio consente agli avatar non solo di parlare, ma anche di eseguire azioni contestualmente rilevanti e mantenere la stabilità visiva durante interazioni prolungate, andando oltre i semplici sistemi reattivi verso agenti digitali pienamente consapevoli dell'intento.