Hallo-Live: Real-Time Streaming Joint Audio-Video Avatar Generation with Asynchronous Dual-Stream and Human-Centric Preference Distillation

1. Enunciato del Problema

Il paper affronta la sfida della generazione in tempo reale, guidata dal testo, di avatar audio-video congiunti. Sebbene i modelli esistenti (come Ovi) possano produrre output audio-visivi ad alta fedeltà e sincronizzati, sono troppo lenti per le applicazioni interattive a causa dell'alta latenza e della bassa velocità di elaborazione.
Due colli di bottiglia principali impediscono il dispiegamento in tempo reale:

1. Ritardo di Articolazione nell'Inferenza Causale: I modelli causali (streaming) standard permettono al flusso video di accedere solo all'audio passato e corrente. Tuttavia, i movimenti labiali realistici e le espressioni facciali spesso si basano su indizi fonetici futuri a breve termine (co-articolazione). La mascheratura strettamente causale impedisce al modello di "anticipare" i suoni imminenti, portando a una sincronizzazione labiale ritardata o imprecisa.
2. Degrado della Qualità nella Distillazione: L'accelerazione dei modelli di diffusione tramite distillazione (ad es. DMD) spesso comporta artefatti di tipo "ricerca della media", causando una perdita di fedeltà visiva, una prosodia vocale robotica e una sincronizzazione audio-visiva degradata. I metodi esistenti faticano a mantenere metriche di qualità incentrate sull'umano (naturalità, identità, sincronizzazione) dopo un'accelerazione aggressiva.

2. Metodologia

Hallo-Live introduce un framework streaming che combina un'architettura di Diffusione Asincrona a Doppio Flusso con una Distillazione Guidata dalle Preferenze Umane (HP-DMD).

A. Diffusione Asincrona a Doppio Flusso

Per risolvere il ritardo di articolazione senza violare la causalità dello streaming, gli autori propongono l'Attenzione a Espansione Futura:

• Concetto: Invece di sincronizzare rigorosamente i blocchi video e audio, il modello permette al flusso video di prestare attenzione a una finestra di anticipazione di token audio futuri.
• Meccanismo:
  • Il ramo video elabora il blocco corrente impegnato ($V_t$).
  • Il ramo audio elabora il blocco corrente ($A_t$) concatenato con un blocco futuro temporaneo ($\tilde{A}_{t+1}$).
  • Durante l'attenzione incrociata, i token video interrogano un intervallo di chiavi espanso che include i token audio correnti e futuri.
• Risultato: Ciò abilita un movimento labiale "anticipatorio". L'audio futuro viene utilizzato come contesto per la generazione ma non è immediatamente impegnato nel flusso di output, prevenendo errori speculativi pur mantenendo la causalità dello streaming.

B. DMD Guidato dalle Preferenze Umane (HP-DMD)

Per mitigare la perdita di qualità durante la distillazione, gli autori sostituiscono la Distillazione di Corrispondenza delle Distribuzioni (DMD) standard con un approccio ponderato per ricompensa:

• Modellazione della Ricompensa Multi-Modale: Il sistema valuta i campioni generati utilizzando tre distinti modelli di ricompensa:
  1. Fedeltà Visiva ($R_v$): VideoAlign (misura la qualità visiva, il movimento e l'allineamento al testo).
  2. Naturalità Acustica ($R_a$): AudioBox (misura la qualità percettiva del parlato).
  3. Sincronizzazione ($R_s$): SyncNet (misura l'allineamento labiale-audio).
• Strategia di Ripesatura: Invece di trattare tutti i campioni dell'insegnante in modo uguale, HP-DMD calcola un peso del campione ($w_i$) basato sulle ricompense standardizzate. I campioni con punteggi più alti in fedeltà, naturalità o sincronizzazione contribuiscono con gradienti più grandi.
• Obiettivo: Questo sposta il modello studente verso le regioni ad "alta ricompensa" del manifold dell'insegnante, superando efficacemente il limite di prestazione media del modello insegnante in specifiche metriche incentrate sull'umano.

C. Pipeline di Addestramento

L'addestramento avviene in due fasi:

1. Fase I (Inizializzazione ODE): Il modello studente viene inizializzato da un insegnante Ovi pre-addestrato utilizzando le nuove maschere causali a Espansione Futura. Ciò trasferisce le capacità congiunte di denoising senza rollout autoregressivo.
2. Fase II (Self-Rollout e DMD): Lo studente esegue un self-rollout autoregressivo. La traiettoria generata viene ottimizzata utilizzando la funzione di perdita DMD ponderata per ricompensa, correggendo la deriva accumulata nella qualità visiva, nel parlato e nella sincronizzazione.

3. Contributi Chiave

1. Primo Framework Streaming a Doppio Flusso in Tempo Reale: Hallo-Live è il primo sistema a combinare la diffusione a doppio flusso streaming con la distillazione guidata dalle preferenze per la generazione audio-visiva guidata dal testo.
2. Attenzione a Espansione Futura: Un meccanismo innovativo che risolve il compromesso tra latenza e articolazione permettendo ai flussi video di accedere a indizi fonetici futuri a breve termine senza violare i vincoli causali.
3. HP-DMD: Una strategia di distillazione che integra segnali di ricompensa multi-modali (visivi, audio, sincronizzazione) per prevenire il degrado della qualità durante l'accelerazione, superando il DMD standard.
4. Prestazioni all'Avanguardia: Il framework raggiunge velocità in tempo reale (20+ FPS) mantenendo una qualità di generazione paragonabile a modelli insegnanti non streaming molto più lenti.

4. Risultati Sperimentali

Valutato su due GPU NVIDIA H200, Hallo-Live dimostra miglioramenti significativi rispetto alle basi di riferimento esistenti (Ovi, JavisDiT, UniVerse-1, ecc.):

• Efficienza:
  • Velocità di Elaborazione: 20,38 FPS (contro 1,27 FPS di Ovi; 16,0× più veloce).
  • Latenza: 0,94 secondi (contro 93,37 secondi di Ovi; 99,3× inferiore).
• Qualità:
  • Punteggio Complessivo VideoAlign: 2,32 (Paragonabile a 2,40 di Ovi e 2,45 di LTX-2).
  • Sincronizzazione (Confidenza Sync): 4,72 (Significativamente migliore rispetto ad altre basi accelerate, sebbene leggermente inferiore ai 5,50 di Ovi).
  • Fedeltà Umana: Mantiene punteggi elevati in anatomia (0,90), abbigliamento (0,98) e identità (0,92), quasi eguagliando il modello insegnante.
• Generalizzazione: Il modello gestisce in modo robusto scenari diversificati, inclusi ritratti fotorealistici, interazioni multi-parlante e personaggi cartoon stilizzati, come mostrato negli esempi qualitativi.

5. Significato

Hallo-Live rappresenta un passo critico verso avatar digitali interattivi e dispiegabili. Risolvendo il compromesso "velocità vs. qualità", abilita applicazioni in tempo reale come assistenti virtuali, avatar per streaming dal vivo e personaggi di videogiochi interattivi che erano precedentemente impossibili a causa dei vincoli di latenza. L'introduzione della distillazione guidata dalle preferenze offre un nuovo paradigma per accelerare modelli generativi complessi preservando le qualità sfumate e incentrate sull'umano necessarie per un'interazione realistica. Il codice e i modelli sono disponibili pubblicamente, favorendo ulteriori ricerche nella generazione multimodale in tempo reale.