Riepilogo Tecnico: Loki – Rappresentazione invece di Architettura per l'Animazione di Ritratti Basata su Diffusione

Enunciato del Problema

L'animazione di ritratti mira a trasferire le espressioni facciali e la posa della testa da un clip video di guida su una singola immagine di riferimento, preservando l'identità del riferimento. La sfida pratica risiede nella rappresentazione tra identità diverse (cross-identity reenactment), in cui il soggetto di guida e quello di riferimento sono individui differenti.

Gli attuali sistemi all'avanguardia basati sulla diffusione affrontano questo problema sovrapponendo moduli separati e addestrati per identità, espressione e posa. Questi sistemi si basano tipicamente su segnali RGB (o audio). Il documento sostiene che l'RGB intreccia fondamentalmente identità, posa ed espressione in ogni pixel. Di conseguenza, la disentanglement (separazione) effettuata da questi moduli sovrapposti è statistica piuttosto che strutturale, portando a problemi come la fuoriuscita dell'identità del soggetto di guida nel risultato e l'attenuazione dei dettagli espressivi fini verso un prior generico. Inoltre, queste architetture complesse richiedono dataset di addestramento massicci e un numero significativo di parametri.

Metodologia: Loki

Loki propone un cambio di paradigma dalla complessità architettonica alla scelta rappresentativa. Invece di imparare a separare le caratteristiche dall'RGB, Loki condiziona il backbone di diffusione su un modello facciale parametrico (FLAME), i cui assi per identità, espressione e posa sono indipendenti per costruzione.

1. Il Percorso del Soggetto di Guida (Espressione e Posa)

Loki rasterizza i parametri FLAME in una mappa di guida spaziale che funge da segnale di condizionamento per l'espressione e la posa della testa. Questa mappa è composta da due gruppi distinti di canali:

• Codifica Posizionale (42 canali): Codifica le coordinate canoniche nello spazio del template dei vertici della mesh FLAME utilizzando una codifica posizionale sinusoidale. Questo identifica quale punto del viso è visibile in ogni pixel. Crucialmente, poiché questi valori sono derivati dallo spazio del template, sono invarianti all'identità; lo stesso punto anatomico (ad esempio, la punta del naso) produce sempre la stessa codifica indipendentemente dall'identità della persona.
• Deformazione Espressiva (3 canali): Codifica i vettori di spostamento 3D ($\Delta x, \Delta y, \Delta z$) dei vertici della mesh rispetto a un'espressione neutra. Questo cattura come il viso si è mosso (ad esempio, gli angoli delle labbra che si allungano, la mandibola che si abbassa). Poiché la base espressiva di FLAME è ortogonale alla sua base di identità, queste deformazioni dipendono esclusivamente dai coefficienti espressivi, non dall'identità o dalla posa.

Questa mappa di guida viene sottocampionata da un encoder leggero e iniettata nel UNet di generazione. Poiché la mappa non contiene informazioni sull'identità per costruzione, il modello non ha bisogno di imparare a separare l'identità dall'espressione.

2. Il Percorso dell'Identità

L'identità è instradata separatamente attraverso le caratteristiche pre-addestrate del proprio backbone di diffusione. Una copia congelata del UNet di Stable Diffusion 2.1 elabora l'immagine di riferimento e le sue caratteristiche di auto-attenzione vengono iniettate nel UNet di generazione tramite iniezione chiave-valore. Questo sfrutta il prior generativo esistente del backbone per mantenere l'identità senza richiedere un adattatore di identità dedicato e addestrato o una funzione di perdita specifica.

3. Inferenza tra Identità Diverse tramite Sostituzione Parametrica

Il meccanismo centrale che abilita la rappresentazione tra identità diverse senza dati di addestramento specifici è la sostituzione parametrica. Durante l'inferenza, il sistema costruisce una mappa di guida utilizzando:

• La forma dell'identità del riferimento ($\vec{\beta}_{ref}$) e la telecamera.
• L'espressione del soggetto di guida ($\vec{\psi}_{drv}$) e la posa ($\vec{\theta}_{drv}$).

Poiché i canali di codifica posizionale sono invarianti all'identità e i canali di deformazione dipendono solo dall'espressione, la mappa di guida risultante è strutturalmente identica a quella che il modello ha visto durante l'addestramento con la stessa identità, semplicemente disposta su una geometria facciale diversa. Il UNet di generazione esegue lo stesso passaggio in avanti su cui è stato addestrato, trasferendo efficacemente il movimento del soggetto di guida alla forma del riferimento.

Contributi Chiave

1. Condizionamento Parametrico Disentangled: Un framework che elimina la necessità di moduli addestrati separati per espressione, posa e identità. Utilizzando una rappresentazione FLAME rasterizzata, espressione e posa vengono forniti tramite un singolo segnale spaziale, mentre l'identità è gestita dal prior del backbone. Questo riduce i parametri di inferenza di circa il 43% rispetto alle basi di diffusione leader.
2. Efficienza nell'Addestramento: Il modello è addestrato su 1.496 volte meno dati video (circa 1,7 ore contro migliaia di ore per le basi) e raggiunge capacità tra identità diverse puramente attraverso la sostituzione parametrica, senza richiedere coppie di addestramento tra identità diverse.
3. Nuove Metriche di Valutazione: Il documento introduce due metriche basate sul modello facciale parametrico per misurare direttamente la fedeltà al soggetto di guida, colmando il divario nelle metriche esistenti che non riescono a misurare il tracciamento del movimento:
   • Head Pose Follow (HPF): Misura la distanza angolare geodetica tra le traiettorie di rotazione della testa del soggetto di guida e quelle generate.
   • Expression Follow (HEF): Misura la differenza pixel per pixel nelle mappe di deformazione espressiva quando l'espressione del soggetto di guida viene sostituita nella posa e nella forma del target.

Risultati

Valutato sul dataset HDTF per la rappresentazione tra identità diverse:

• Fedeltà del Movimento: Loki guida o condivide la leadership nelle metriche HPF e HEF proposte. Raggiunge un HEF di 0,0828 (valori più bassi sono migliori), superando le basi guidate visivamente come HunyuanPortrait (0,0850) e superando significativamente i metodi guidati dall'audio (0,11–0,12).
• Prestazioni Qualitative: Loki riproduce grandi rotazioni della testa, aperture ampie della bocca ed espressioni asimmetriche con una fedeltà superiore rispetto alle basi, che tendono a sottorotare le teste o ad attenuare l'ampiezza dell'espressione verso un prior moderato.
• Efficienza delle Risorse: Loki viene addestrato su 10.649 clip (circa 1,7 ore) con 1,77 miliardi di parametri, mentre le basi leader vengono addestrate su oltre 166.000 clip (fino a 2.543 ore) con 2,18–3,11 miliardi di parametri.
• Studi di Ablazione: Rimuovere la rasterizzazione (utilizzando vettori grezzi) o i canali di codifica posizionale degrada significativamente le prestazioni tra identità diverse, confermando che il bias induttivo spaziale e il sistema di coordinate invariante all'identità sono critici.

Significato e Limitazioni

Il documento afferma che la complessità architettonica dei recenti sistemi di animazione di ritratti può essere sostituita da una scelta rappresentativa: il condizionamento su un modello parametrico con assi indipendenti. Questo approccio permette alla rappresentazione tra identità diverse di emergere naturalmente come una sostituzione di coefficienti piuttosto che come una capacità appresa.

Tuttavia, gli autori sono modesti riguardo ai confini del sistema:

• Dipendenza da FLAME: Il condizionamento è limitato dalla fedeltà dei fitting FLAME sottostanti. Espressioni al di fuori della base del modello, volti occlusi o fallimenti nel fitting si propagano direttamente nella mappa di guida.
• Metriche Pixel: Il sistema si posiziona più in basso rispetto alle metriche allineate ai pixel tradizionali (PSNR, SSIM, LPIPS) rispetto alle basi condizionate RGB. Gli autori attribuiscono ciò al fatto che le metriche pixel premiano i sistemi che preservano l'inquadratura ground-truth, mentre il fedele inseguimento del soggetto di guida da parte di Loki introduce variazioni di posa ed espressione che le metriche pixel penalizzano.
• Lavori Futuri: Colmare il divario nelle metriche pixel senza reintrodurre l'intreccio dell'identità è identificato come una direzione per la ricerca futura.