MoCoTalk: Multi-Conditional Diffusion with Adaptive Router for Controllable Talking Head Generation

Riepilogo Tecnico: MoCoTalk

Enunciato del Problema
La generazione di teste parlanti mira ad animare ritratti statici utilizzando segnali di guida (movimento o voce) preservando l'identità della sorgente e garantendo dinamiche naturali e allineate audio-visivamente. Gli approcci esistenti affrontano due limitazioni primarie:

1. Controllo Limitato: La maggior parte dei metodi affronta solo un sottoinsieme di fattori critici (ad esempio, guida solo audio o solo video), fallendo nel modellare congiuntamente identità, posa del capo, espressione facciale e dinamiche della bocca all'interno di un quadro unificato.
2. Sfide di Fusione: Quando sono coinvolte condizioni multiple, i metodi attuali fanno tipicamente affidamento su strategie di fusione a pesi fissi o euristici. Ciò porta spesso a interferenze distruttive tra segnali eterogenei (ad esempio, audio, punti chiave, mesh 3D), risultando in caratteristiche che derivano, geometrie non corrispondenti o mancanza di controllo indipendente sugli attributi. Inoltre, i modelli parametrici come i 3DMM sottostimano spesso le dinamiche fini della bocca, causando jitter temporale e disallineamenti strutturali nell'articolazione labiale.

Metodologia
Gli autori propongono MoCoTalk, un quadro di diffusione video multi-condizionale costruito su Stable Video Diffusion (SVD). Il sistema integra quattro segnali di controllo complementari: un'immagine di riferimento, punti chiave facciali, mesh di shading renderizzate 3DMM e audio vocale.

La metodologia centrale consta di quattro componenti chiave:

1. Adattatori Multi-Condizionali:
   Quattro adattatori paralleli elevano ciascuna modalità di condizionamento in mappe di caratteristiche latenti allineate spazialmente e per canale, compatibili con i livelli superficiali del backbone U-Net.

   • Adattatore di Riferimento: Estrae identità e aspetto.
   • Adattatore di Movimento: Codifica la posa del capo e l'espressione grezza dalle mappe dei punti chiave.
   • Adattatore di Shading: Cattura la geometria facciale e l'illuminazione dalle mesh 3DMM.
   • Adattatore Audio: A differenza di lavori precedenti che iniettano l'audio tramite token di cross-attention, questo modulo proietta le caratteristiche audio in una mappa di caratteristiche latente spaziale. Utilizza un approccio a finestra scorrevole per preservare il contesto temporale locale, permettendo all'audio di partecipare alla stessa fusione a livello di caratteristiche dei controlli visivi.

2. Router Multi-Condizionale Adattivo:
   Per risolvere le interferenze distruttive, gli autori introducono un modulo di gating leggero posizionato dopo la convoluzione di input dell'U-Net. Invece di assegnare pesi scalari fissi, questo router calcola gate consapevoli del timestep e specifici per canale. Prende in input riassunti globali delle caratteristiche del backbone, embedding del timestep e tutti i flussi di condizione, producendo un vettore di gating normalizzato con softmax. Ciò permette alla strategia di fusione di spostare dinamicamente l'enfasi in base al sottospazio delle caratteristiche e al livello di rumore durante la traiettoria di denoising. Supporta inoltre un dropout robusto per modalità mancanti.

3. Mesh di Shading Potenziata dalla Bocca:
   Affrontando la limitazione dei 3DMM standard (ad esempio, DECA) nel catturare movimenti labiali fini, gli autori propongono una pipeline di fusione. Combinano i prior globali di identità e illuminazione di DECA con la geometria labiale temporalmente coerente recuperata da SPECTRE. Questa "Mesh Potenziata dalla Bocca" disaccoppia il movimento del capo, il movimento della bocca, l'espressione e l'illuminazione, fornendo un prior geometrico temporalmente coerente che risolve gli artefatti nella parte inferiore del viso e abilita la ricombinazione flessibile degli attributi all'inferenza.

4. Perdita di Coerenza Labiale:
   Per stringere l'allineamento audio-visivo, viene introdotta una funzione di perdita specializzata. Supervisiona la semantica della regione della bocca nello spazio dei pixel minimizzando la distanza coseno tra le caratteristiche estratte dai frame generati e i frame ground truth utilizzando un encoder di lettura labiale congelato.

Contributi Chiave

• Quadro Unificato: Un nuovo quadro di diffusione multi-condizionale che integra quattro segnali eterogenei (audio, punti chiave, mesh 3D, immagine di riferimento) per la generazione di teste parlanti.
• Router Adattivo: Un meccanismo di gating adattivo che pesa e combina dinamicamente i segnali di controllo nello spazio latente, prevenendo interferenze distruttive e abilitando il controllabilità a livello di attributo.
• Mesh Potenziata dalla Bocca: Una rappresentazione che disaccoppia e ricombina le fonti di movimento per renderizzare mesh 3DMM strettamente allineate alle dinamiche del parlato, offrendo un prior geometrico temporalmente coerente.
• Perdita di Coerenza Labiale: Un metodo di supervisione nello spazio dei pixel che migliora le dinamiche labiali correlate al parlato e la sincronizzazione audio-visiva.

Risultati Sperimentali
Sono stati condotti esperimenti estensivi sul dataset HDTF in entrambe le impostazioni di auto-reincarnazione e cross-reincarnazione, confrontando MoCoTalk con metodi all'avanguardia (VideoReTalking, Diff2Lip, SadTalker, FLOAT, Hallo2, LCVD).

• Prestazioni Quantitative: MoCoTalk ha raggiunto prestazioni all'avanguardia sulla maggior parte delle metriche, inclusi indicatori strutturali (SSIM, PSNR), di movimento (AED, APD, AKD) e percettivi (FVD, VQA). Notabilmente, ha ridotto il punteggio FVD del 37% rispetto al secondo miglior metodo nell'auto-reincarnazione, indicando una coerenza temporale superiore e una similarità distribuzionale al video reale.
• Studi di Ablazione:
  • Rimuovere il Router Multi-Condizionale Adattivo ha causato un crollo drastico delle prestazioni (ad esempio, FVD aumentato da 40,75 a 592,5), confermando che il gating adattivo è essenziale per prevenire interferenze distruttive.
  • Rimuovere la Mesh Potenziata dalla Bocca ha portato a un degrado significativo nella fedeltà del movimento e nella preservazione dell'identità, specialmente nelle impostazioni di cross-reincarnazione, evidenziando l'importanza del prior geometrico temporalmente coerente.
  • Rimuovere la Perdita di Coerenza Labiale ha risultato in un lieve calo nelle metriche di sincronizzazione ma ha migliorato marginalmente la fluidità della texture per frame (VQA), suggerendo un compromesso tra dinamiche labiali fini e fluidità globale della texture.
• Analisi Qualitativa: Confronti visivi dimostrano che MoCoTalk preserva l'aspetto di riferimento meglio delle baseline mentre trasferisce accuratamente il movimento specificato. A differenza di metodi che soffrono di balbuzie a livello di frame o discontinuità ai confini del collo, MoCoTalk mantiene una continuità temporale fluida.

Significato e Affermazioni
Il paper afferma che MoCoTalk affronta il divario critico nella modellazione congiunta di fattori di controllo diversi per la generazione di teste parlanti. Introducendo un meccanismo di instradamento adattivo e un prior geometrico potenziato dalla bocca, il quadro raggiunge un equilibrio tra ricostruzione ad alta fedeltà, accuratezza del movimento e controllabilità a livello di attributo che manca ai metodi a condizione singola. Gli autori sottolineano che il loro approccio permette la specifica indipendente di espressione, movimento del capo, dinamiche labiali e illuminazione all'inferenza, abilitando scenari di animazione personalizzabili precedentemente irraggiungibili con strategie di fusione a pesi fissi.

Limitazioni
Gli autori riconoscono modestamente due limitazioni:

1. Rimane spazio per il miglioramento nella preservazione dell'identità e nell'accuratezza del lip-sync rispetto a modelli specificamente ingegnerizzati per obiettivi singoli.
2. Il backbone corrente genera solo 8 frame per passaggio in avanti. Sequenze più lunghe sono create unendo segmenti sovrapposti, il che limita la scalabilità e può introdurre sottili discontinuità ai confini dei segmenti. Il lavoro futuro mira a migrare verso un backbone autoregressivo per la generazione continua.