Instant Expressive Gaussian Head Avatars at Over 100 FPS

Sintesi Tecnica: Avatar di Testa Gaussiani Istantanei ed Espressivi a oltre 100 FPS

Problematica
Il documento affronta il "trilemma dell'animazione ritrattistica", una sfida in cui i metodi esistenti non riescono a ottenere simultaneamente alta velocità, coerenza 3D e dettagli espressivi nella animazione facciale.

• Metodi 2D: Gli approcci basati su modelli di diffusione video o GAN offrono un'alta espressività ma soffrono di incoerenza 3D (ad esempio, deriva dell'identità, caratteristiche allucinate) e velocità di inferenza ridotte a causa dei costosi processi di denoising, rendendoli inadatti per applicazioni in tempo reale come la telepresenza o i digital twin.
• Metodi 3D: I metodi che utilizzano rappresentazioni 3D (NeRF, 3D Gaussian Splatting) garantiscono coerenza 3D e velocità superiori, ma spesso si affidano a modelli parametrici (3DMM) che limitano l'espressività, o utilizzano meccanismi di fusione globale computazionalmente costosi (ad esempio, strati di attenzione densa) per combinare struttura e movimento, risultando in dettagli espressivi inferiori e frame rate più bassi.

Metodologia
Gli autori propongono una pipeline feed-forward che converte istantaneamente una singola immagine "in-the-wild" in un avatar animabile e coerente in 3D utilizzando lo 3D Gaussian Splatting. I componenti principali sono:

1. Rappresentazione e Encoder Gaussiano 3D:

   • Il sistema adatta un encoder di lifting da 2D a 3D all'avanguardia (originariamente progettato per triplane neurali) per codificare una singola immagine di input in un insieme di Gaussiane 3D.
   • Invece di campi volumetrici, il metodo campiona Gaussiane 3D da triplane codificati. Un decoder MLP leggero mappa i vettori di caratteristiche agli attributi gaussiani (posizione, scala, rotazione, opacità, colore).
   • Il campionamento è eseguito tramite una strategia di campionamento per importanza a due passaggi sui raggi, generando circa 200.000 Gaussiane sufficienti per il rendering a risoluzione 512×512.

2. Deformazione nello Spazio delle Caratteristiche per l'Animazione:

   • A differenza dei lavori precedenti che deformano le Gaussiane direttamente nello spazio spaziale 3D (aggiornando i vettori di posizione/scala), questo metodo deforma le Gaussiane in uno spazio di caratteristiche ad alta dimensione.
   • Vettori di Base del Movimento: Ogni posizione di campionamento della Gaussiana è associata a un "vettore di base del movimento" appreso ($m_i$) che codifica capacità di deformazione spazialmente variabili (analogamente a blendshape personalizzate).
   • Fusione Locale: Un encoder di movimento estrae coefficienti di movimento 1D sia dalle immagini sorgente che da quelle di guida. Un decoder di movimento leggero (utilizzando AdaLN) predice un vettore di caratteristica residuo ($\delta f_i$) per ogni Gaussiana basandosi sui coefficienti di movimento e sul relativo vettore di base del movimento.
   • Gli attributi finali della Gaussiana vengono decodificati dalla somma del vettore di caratteristica originale e del residuo predetto ($f_i + \delta f_i$). Questa strategia di fusione locale evita meccanismi di attenzione globale computazionalmente costosi, consentendo un'inferenza ad alta velocità.

3. Strategia di Addestramento con Guida di Diffusione:

   • Per superare la mancanza di dati di espressione 3D coerenti nel mondo reale, gli autori costruiscono un dataset sintetico utilizzando un modello di diffusione 2D all'avanguardia (X-NeMo).
   • Frontalizzazione: Per prevenire allucinazioni e inconsistenze di visuale comuni nei modelli di diffusione, le immagini sorgente e di guida vengono prima frontalizzate. Le espressioni vengono sintetizzate solo su queste viste frontali.
   • Supervisione Multi-vista: Una rete pre-addestrata da 2D a 3D genera immagini multi-vista dai ritratti sintetici frontalizzati durante l'addestramento, imponendo la coerenza geometrica tra le diverse viste.
   • Il modello è addestrato tramite un obiettivo di auto-reenactment, minimizzando la perdita di ricostruzione, la perdita percettiva, la perdita di identità e la perdita avversaria tra l'output renderizzato e le immagini target.

Contributi Chiave

• Rappresentazione dell'Animazione Efficiente: Una nuova rappresentazione che scinde la struttura 3D dalla rappresentazione dell'animazione. Deformando le caratteristiche in uno spazio ad alta dimensione tramite vettori di base del movimento appresi, il metodo cattura le espressioni asimmetriche, le rughe e i cambiamenti di ombra in modo più efficace rispetto ai metodi di deformazione spaziale.
• Fusione Locale Leggera: Il design sostituisce i pesanti meccanismi di fusione globale con una strategia di fusione locale efficiente, ottenendo un'alta espressività senza il costo computazionale dei ripetuti strati di attenzione.
• Pipeline di Addestramento Sintetica: Una strategia pratica per sfruttare i modelli di diffusione 2D per l'addestramento dell'animazione 3D, mitigando al contempo le loro inerenti inconsistenze 3D attraverso la frontalizzazione e la supervisione multi-vista.
• Prestazioni: Il metodo è il primo a raggiungere simultaneamente una coerenza 3D di alto livello, un trasferimento di espressione dettagliato e velocità di inferenza in tempo reale.

Risultati

• Velocità: Il metodo opera a 107,31 FPS per l'animazione e il controllo della posa su una GPU NVIDIA 6000 Ada. Ciò rappresenta un incremento di velocità di 3–4 ordini di grandezza rispetto ai metodi basati sulla diffusione e supera significativamente gli esistenti metodi aware-3D (ad esempio, Portrait4D-v2 a ~14,5 FPS).
• Qualità: Nei benchmark quantitativi (set di test VOODOO-XP), il metodo ottiene la migliore coerenza 3D (MEt3R) e accuratezza della forma 3D (IoU) tra tutti i baseline. Ottiene anche un'accuratezza del trasferimento dell'espressione (AED) e una somiglianza emotiva (EMO) allo stato dell'arte, superando persino il modello insegnante basato su diffusione (X-NeMo) nei compiti di cross-reenactment.
• Fedeltà Visiva: I risultati qualitativi mostrano un trasferimento fedele di espressioni estreme, incluse rughe nasali e movimenti oculari, senza la distorsione dell'identità o le caratteristiche allucinate (ad esempio, baffi finti) presenti in altri metodi.

Significato
Il documento sostiene di aver risolto il trilemma dell'animazione ritrattistica, consentendo la creazione di digital twin 4D da una singola immagine con prestazioni in tempo reale. Raggiungendo un'alta espressività senza sacrificare la coerenza 3D o la velocità, il metodo facilita applicazioni nel mondo reale come AR/VR, videoconferenze e AI agentica, dove la controllabilità e la reattività in tempo reale sono critiche. Gli autori sottolineano che, sebbene il metodo sia attualmente guidato dall'immagine, l'architettura supporta l'encoding di altre condizioni (audio, testo) in coefficienti di movimento per espansioni future.