FlexAvatar: Learning Complete 3D Head Avatars with Partial Supervision

1. Il Problema

La creazione di avatar 3D di alta qualità e completi a partire da una singola immagine è una sfida fondamentale nella computer vision. Esistono due approcci principali, ciascuno con limiti significativi:

• Dati Monoculari (Video da internet): Offrono un'ampia copertura di identità e variabilità "in-the-wild", ma soffrono di un forte bias verso la vista frontale. I modelli addestrati solo su questi dati tendono a produrre ricostruzioni 3D incomplete (es. mancanza di dettagli posteriori o laterali) perché imparano a "indovinare" il punto di vista basandosi sull'espressione facciale, creando un'entanglement (intreccio) tra il segnale di guida e il punto di vista target.
• Dati Multi-view (Scansioni 3D): Forniscono una geometria completa e corretta, ma sono difficili da ottenere su larga scala e limitano la capacità di generalizzazione del modello a nuove identità non viste durante l'addestramento.

L'obiettivo è quindi combinare la generalizzazione dei dati monoculari con la completezza 3D dei dati multi-view, risolvendo il problema dell'entanglement che porta a ricostruzioni parziali quando si tenta il rendering da nuove angolazioni.

2. Metodologia: FlexAvatar

FlexAvatar è un pipeline end-to-end basata su un'architettura Encoder-Decoder che utilizza Gaussian Splatting 3D per la rappresentazione e i Transformer per l'elaborazione.

A. Architettura Generale

Il sistema prende in input una singola immagine ritratto ($I$) e permette di controllare l'avatar tramite codici di espressione ($z_{exp}$) e punti di vista ($\pi$).

1. Encoder ($E$): Utilizza un modello pre-addestrato (DINOv2) e un ViT per estrarre feature dall'immagine. Attraverso un meccanismo di cross-attention, proietta queste feature su un codice latente 2D ($A$) ancorato allo spazio UV di una mesh di testa template. Questo codice è agnostico rispetto al punto di vista e all'espressione.
2. Decoder ($D$): Prende il codice latente $A$ e il codice di espressione $z_{exp}$ per generare le proprietà dei 3D Gaussians (posizione, colore, opacità, scala) necessari per il rendering.
3. Renderer ($R$): Un rasterizzatore differenziabile (basato su 3DGS) che renderizza i Gaussians dal punto di vista desiderato.

B. La Soluzione Chiave: "Bias Sinks"

Il contributo metodologico principale è l'introduzione dei Bias Sinks (o "sink di bias"), che sono token apprendibili inseriti nel Transformer.

• Il Problema dell'Entanglement: Nei dati monoculari, l'espressione e il punto di vista sono correlati (la stessa persona guarda la camera). Il modello impara a sfruttare questa correlazione per minimizzare la perdita, risultando in teste incomplete se il punto di vista cambia.
• La Soluzione: Durante l'addestramento, il modello riceve un token specifico a seconda della fonte dei dati:
  • $z_{2D}$: Per i dati monoculari.
  • $z_{3D}$: Per i dati multi-view.
• Meccanismo: Questi token vengono concatenati alla sequenza dei codici di espressione prima del decoder. Il modello impara a "assorbire" i bias specifici del dataset nel token corrispondente.
  • Se riceve $z_{2D}$, impara a gestire i dati monoculari (generalizzazione).
  • Se riceve $z_{3D}$, impara a produrre una testa 3D completa.
• Inferenza: Durante l'uso pratico, si utilizza sempre il token $z_{3D}$. Questo forza il modello a comportarsi come se fosse supervisionato da dati multi-view (garantendo completezza 3D), pur mantenendo le capacità di generalizzazione apprese dai dati monoculari.

C. Upsampling e Adattamento

• Upsampler: Per generare un numero sufficiente di Gaussians (circa 58k), il decoder utilizza un'architettura ibrida basata su StyleGAN2 e PixelShuffle, che migliora la qualità visiva, specialmente nelle regioni delicate come occhi e bocca.
• Fitting (Adattamento): Grazie allo spazio latente liscio appreso, FlexAvatar può essere ottimizzato su più immagini di una persona (few-shot o video monoculare) per affinare l'identità, mantenendo il decoder congelato e ottimizzando solo il codice latente iniziale.

3. Contributi Chiave

1. Pipeline Efficiente: Un metodo per creare avatar 3D completi e animabili da una singola immagine in pochi minuti.
2. Bias Sinks: Un meccanismo innovativo che disaccoppia i bias dei dataset monoculari e multi-view, permettendo un addestramento unificato che garantisce sia la generalizzazione che la completezza geometrica.
3. Architettura di Upsampling: Un blocco di upsampling basato su StyleGAN-PixelShuffle che migliora la risoluzione e la qualità visiva rispetto ai metodi standard.
4. Spazio Latente Liscio: Abilita l'interpolazione tra identità diverse e un adattamento flessibile a un numero arbitrario di osservazioni (few-shot).

4. Risultati Sperimentali

Il paper valuta FlexAvatar su quattro compiti principali, superando lo stato dell'arte (SOTA) in quasi tutte le metriche:

• Animazione di Ritratti 3D: Su VFHQ, supera metodi come GAGAvatar e LAM in PSNR, SSIM e LPIPS, dimostrando una migliore capacità di animazione incrociata (cross-reenactment).
• Creazione da Singola Immagine: Su Ava256, produce teste 3D complete e realistiche dove altri metodi falliscono nel rendering da nuove angolazioni (view extrapolation).
• Few-Shot (4 immagini): Supera Avat3r nella preservazione dell'identità (CSIM) e nella nitidezza (LPIPS).
• Creazione da Video Monoculare (NeRSemble Benchmark): Supera tutti i baselines (inclusi CAP4D e RGBAvatar) con un tempo di adattamento molto più rapido (10 minuti vs 4 ore) e utilizzando meno frame.

Ablation Study:

• L'uso di soli dati 2D produce teste incomplete.
• L'uso di soli dati 3D ha scarsa generalizzazione.
• La combinazione senza Bias Sinks fallisce nel risolvere l'entanglement.
• L'uso dei Bias Sinks è essenziale per ottenere teste complete con alta generalizzazione.

5. Significato e Impatto

FlexAvatar rappresenta un passo avanti significativo nella creazione di avatar digitali accessibili. Risolve il compromesso storico tra la necessità di grandi dataset 3D (difficili da ottenere) e la disponibilità di video monoculare (facili da trovare ma geometricamente limitati).

La tecnica dei Bias Sinks offre una soluzione generale al problema dell'entanglement tra segnale di guida e punto di vista, che può essere applicata anche in altri domini dove dati parziali e supervisione completa devono essere combinati. Inoltre, la capacità di generare avatar completi in pochi minuti da una semplice foto apre nuove possibilità per applicazioni di teleconferenza immersiva, realtà virtuale, videogiochi e intrattenimento personalizzato, rendendo la tecnologia accessibile senza attrezzature di scansione costose.