Riepilogo Tecnico: FFAvatar

Enunciato del Problema

I metodi tradizionali di ricostruzione di avatar 3D neurali si basano sull'ottimizzazione per soggetto, richiedendo ore di calcolo e dati multivista estesi (da decine a centinaia di immagini) per produrre risultati di alta qualità. Ciò ne limita l'utilità pratica in applicazioni che richiedono un rapido dispiegamento, come la presenza virtuale e la telepresenza. Sebbene i recenti approcci feed-forward come il Large Avatar Model (LAM) abbiano migliorato la velocità di inferenza prevedendo avatar animabili in un'unica passata, essi soffrono di due limitazioni critiche:

1. Vincolo a Singola Vista: LAM opera su input a singola vista, costringendo il modello a immaginare geometria e texture mancanti per punti di vista occlusi o estremi, il che degrada la preservazione dell'identità e la fedeltà geometrica.
2. Collo di Bottiglia nel Preprocessing: LAM dipende dall'estrazione offline e costosa dei parametri FLAME. Questo requisito di preprocessing limita fondamentalmente la scalabilità, poiché impedisce l'addestramento su dataset su larga scala e non vincolati dove tali parametri non sono disponibili.

FFAvatar affronta queste problematiche introducendo un framework generalizzabile e feed-forward che ricostruisce in pochi secondi avatar 3D a testa basati su Gaussiane di alta qualità e animabili da immagini ritratto poche-shot non pose, senza richiedere preprocessing FLAME offline.

Metodologia

FFAvatar è un modello di avatar grande multivista che ricostruisce una rappresentazione canonica unificata a Gaussiane 3D da input sparsi e non pose. Il framework è composto da tre componenti principali e da un curriculum di addestramento innovativo.

1. Architettura

• Multi-View Query-Former: A differenza dei metodi a singola vista, FFAvatar aggrega informazioni da più immagini sorgente simultaneamente. Utilizza un modulo Query-Former che esegue un'attenzione incrociata consapevole della geometria. Le query 3D canoniche (derivate dai vertici del template FLAME) prestano attenzione ai token immagine da tutte le viste di input. Questo fonde segnali geometrici e testurali complementari in una rappresentazione gaussiana canonica coerente ($G_{can}$).
• Stimatore FLAME End-to-End: Per eliminare la necessità di tracciamento FLAME offline, FFAvatar include uno stimatore FLAME apprendibile. Questo modulo predice l'espressione per vista ($\psi$), l'articolazione locale ($\theta$) e la posa della testa ($\pi$) direttamente dai pixel grezzi dell'immagine tramite un backbone ViT e un MLP leggero. Ciò consente un addestramento scalabile su grandi dataset senza preprocessing.
• Meccanismo di Animazione: Le Gaussiane canoniche sono ancorate ai vertici FLAME. L'animazione è ottenuta deformando i centri delle Gaussiane utilizzando Linear Blend Skinning (LBS) guidato dai parametri FLAME predetti, mantenendo statiche covarianza, opacità e colore.

2. Curriculum di Addestramento in Tre Fasi

Per bilanciare la generalizzazione ampia con la ricostruzione ad alta fedeltà, FFAvatar impiega una strategia di addestramento progressiva:

• Pretraining Scalabile: Il modello è preaddestrato su un dataset massiccio (MFHQ-1M) contenente oltre 1 milione di identità con fotogrammi video monoculare. Questa fase stabilisce forti prior generalizzabili su identità, espressioni e punti di vista diversi, nonostante la mancanza di una copertura reale a 360 gradi.
• Fine-Tuning Multivista: Il modello preaddestrato è affinato su un dataset più piccolo e di alta qualità di acquisizioni multivista a 360 gradi (ad esempio Ava256). Questa fase inietta fedeltà geometrica e consapevolezza a 360 gradi, affinando la capacità del modello di gestire punti di vista estremi.
• Personalizzazione Opzionale: Per identità target specifiche, una fase di personalizzazione leggera adatta il modello in meno di 500 passi di ottimizzazione. Ciò apprende residui specifici del soggetto ($\Delta G_{can}$) per massimizzare la preservazione dell'identità e i dettagli, convergendo in circa 7 secondi su una singola GPU A100.

3. Obiettivi di Addestramento

FFAvatar utilizza un obiettivo Few-to-Many: il modello consuma un piccolo sottoinsieme di viste sorgente per ricostruire l'avatar canonico, quindi renderizza un insieme più ampio di viste target con espressioni e pose variabili. Questo costringe il modello a generalizzare a punti di vista ed espressioni non visti. L'ottimizzazione è guidata da perdite fotometriche ($L_1$, LPIPS, SSIM) e una perdita avversariale per migliorare la nitidezza e il realismo della texture.

Contributi Chiave

1. Curriculum di Addestramento in Tre Fasi: Una strategia che combina pretraining scalabile su dati monoculare massicci, fine-tuning multivista su acquisizioni di alta qualità e personalizzazione opzionale per ottenere sia generalizzazione ampia che ricostruzione ad alta fedeltà.
2. Stima FLAME End-to-End: Uno stimatore apprendibile che predice i parametri FLAME direttamente dai pixel, rimuovendo la dipendenza da preprocessing offline costoso e consentendo l'addestramento su grandi dataset non vincolati.
3. Framework Feed-Forward Multivista: Un'architettura generalizzabile che fonde informazioni da più viste non pose per ricostruire un unico avatar gaussiano canonico, superando le baseline a singola vista nella preservazione dell'identità e nella coerenza geometrica.

Risultati Sperimentali

Estesi esperimenti sul benchmark NeRSemble dimostrano che FFAvatar stabilisce un nuovo stato dell'arte:

• Prestazioni: FFAvatar supera il precedente stato dell'arte (LAM) con un guadagno sostanziale di 5.5 PSNR nella configurazione a singola vista. Con 4 viste di input, raggiunge 18.78 PSNR e 0.78 SSIM.
• Personalizzazione: Con la personalizzazione opzionale, le prestazioni migliorano ulteriormente a 25.78 PSNR e 0.94 SSIM, con una Similarità Cosine ArcFace (CSIM) di 0.89, indicando una preservazione dell'identità superiore.
• Efficienza: Il framework ricostruisce gli avatar in 2 secondi (senza personalizzazione) e 10 secondi (con personalizzazione) su una singola GPU NVIDIA A100. Supporta l'animazione in tempo reale a 49 FPS senza parametri FLAME precalcolati.
• Studi di Ablazione: La rimozione del pretraining scalabile causa il calo di prestazioni più significativo (-8.36 PSNR), confermandone la necessità per la generalizzazione. La rimozione del fine-tuning multivista degrada anche la fedeltà geometrica (-3.53 PSNR). Lo stimatore FLAME appreso corrisponde alla qualità di rendering dei tracker offline (VHAP) mentre è 200 volte più veloce.

Significato

FFAvatar rappresenta un passo significativo verso la creazione di esseri umani digitali scalabile e accessibile. Eliminando i colli di bottiglia computazionali dell'ottimizzazione per soggetto e del preprocessing offline, consente la ricostruzione di avatar di alta qualità e animabili da immagini sparse e non pose in pochi secondi. Il documento afferma che questo framework offre una base scalabile per la ricerca futura nella sintesi di avatar umani controllabili e in tempo reale, colmando il divario tra ricostruzione ad alta fedeltà e dispiegamento pratico nelle applicazioni di presenza virtuale.