PercHead: Perceptual Head Model for Single-Image 3D Head Reconstruction & Editing

1. Il Problema

La ricostruzione 3D di teste umane partendo da una singola immagine è un compito intrinsecamente ambiguo: un'unica vista 2D può essere spiegata da infinite configurazioni 3D plausibili. Le sfide principali includono:

• Ambiguità geometrica: La difficoltà di inferire regioni non visibili (es. la parte posteriore della testa o il lato opposto del viso) mantenendo una coerenza 3D.
• Fidelità visiva: Gli esseri umani sono estremamente sensibili agli errori nelle strutture facciali e nell'aspetto (es. capelli, occhiali), richiedendo un'alta fedeltà visiva, specialmente nelle aree ad alta frequenza.
• Limiti dei metodi esistenti: I metodi basati su GAN spesso soffrono di inversione latente costosa e scarsa coerenza 3D; i metodi basati su NeRF o Gaussian Splatting possono essere lenti o perdere dettagli in angolazioni estreme; le funzioni di perdita tradizionali (L1, SSIM, LPIPS) tendono a generare segnali rumorosi nelle aree complesse, degradando la qualità.

2. Metodologia

PercHead propone un approccio basato su Vision Transformers (ViT) che disaccoppia la rappresentazione 3D dall'input 2D, utilizzando una supervisione percettiva avanzata.

Architettura del Modello

• Base ViT: Il modello utilizza un'architettura ViT modificata (ispirata a MAE).
• Codificatore 2D Dual-Branch: Estrae informazioni dall'immagine di input combinando:
  1. Feature da un ViT addestrato specificamente per il compito di ricostruzione.
  2. Feature multilivello estratte da DINOv2 (un modello fondazionale per la visione), che catturano sia la semantica di alto livello che i dettagli a basso livello.
  • Solo le patch relative allo sfondo (foreground) vengono mantenute e proiettate tramite un MLP.
• Decodificatore 3D: Inizializzato da un template FLAME (modello morfabile facciale) upsampleato a 65k vertici.
  • Il decodificatore arricchisce iterativamente la rappresentazione 3D (latenti) attraverso meccanismi di cross-attention con le feature 2D estratte.
  • Non utilizza auto-attenzione, poiché il contesto globale delle feature 2D è sufficiente per ricostruire una testa coerente.
• Rappresentazione Gaussiana: I patch 3D vengono trasformati in 3D Gaussian Splatting (Gaussiane) per il rendering veloce e fotorealistico. Le posizioni delle Gaussiane sono ancorate ai vertici FLAME iniziali, con piccole deviazioni controllate.
• Post-Processing (SHP-CNN): Un modulo CNN di "affinamento" (Sharpening-CNN) viene utilizzato per migliorare i dettagli ad alta frequenza, ricevendo in input una versione sfocata dell'immagine e i dettagli ad alta frequenza estratti dalla differenza.

Funzione di Perdita Percettiva (Il Cuore del Metodo)

Invece di utilizzare perdite a basso livello (L1, SSIM, LPIPS), PercHead si basa su modelli fondazionali pre-addestrati per una supervisione semantica:

1. Perdita DINOv2: Confronta le attivazioni degli strati intermedi e finali (livelli 8 e 11) tra l'immagine renderizzata e il ground truth. Questo garantisce la coerenza semantica (es. forma degli occhiali, struttura dei capelli).
2. Perdita SAM 2.1: Utilizza il modello Segment Anything (SAM 2.1) per supervisionare i dettagli strutturali attraverso le sue codifiche immagine intermedie.
3. Combinazione: La perdita totale è una combinazione ponderata di DINOv2 e SAM 2.1, che permette di evitare i segnali rumorosi delle differenze pixel-per-pixel, migliorando la qualità nelle aree complesse.

Addestramento

Il modello viene addestrato su un mix di dati:

• Dataset Multi-vista: NeRSemble (teste reali) e Cafca (teste sintetiche) per garantire la coerenza 3D e la robustezza agli angoli di vista estremi.
• *Dataset "In-the-wild": Una sottoinsieme di FFHQ per migliorare la generalizzazione su identità diverse e condizioni di illuminazione reali.

Editing 3D Disaccoppiato

Il modello base viene esteso per l'editing:

• L'encoder di immagine singola viene sostituito da due input:
  1. Una mappa di segmentazione (ottenuta tramite FaRL) per controllare la geometria.
  2. Un embedding CLIP (da testo o immagine di riferimento) per controllare lo stile (colore, texture, età).
• Questo permette un editing disaccoppiato: modificare lo stile senza alterare la geometria e viceversa, anche tramite prompt testuali in modalità zero-shot.

3. Contributi Chiave

1. Nuovo Modello SOTA: Un modello che raggiunge lo stato dell'arte nella ricostruzione 3D da singola immagine, eccellendo sia nelle viste nuove che in quelle estreme (angoli laterali o posteriori).
2. Perdita Percettiva basata su Fondamenti: Introduzione di una funzione di perdita basata esclusivamente su DINOv2 e SAM 2.1, che sostituisce le perdite tradizionali, migliorando drasticamente la qualità nelle aree ad alta frequenza (capelli, dettagli fini).
3. Interfaccia di Editing Interattiva: Un'interfaccia GUI che permette l'editing 3D disaccoppiato (geometria vs stile) tramite mappe di segmentazione e prompt testuali/immagini, rendendo il processo intuitivo.

4. Risultati

• Quantitativi: Su dataset non visti (Ava-256 e NeRSemble), PercHead supera tutti i baseline (PanoHead, SphereHead, GAGAvatar, LAM, LGM) in termini di PSNR, LPIPS, DreamSim e preservazione dell'identità (ArcFace). Il divario è particolarmente evidente nelle viste estreme, dove i metodi concorrenti mostrano artefatti significativi o collasso geometrico.
• Qualitativi: Il modello produce ricostruzioni realistiche e coerenti 3D anche in condizioni di visione laterale estrema, mantenendo dettagli come occhiali, capelli e struttura facciale senza artefatti di "specchio" o distorsioni.
• Robustezza: Il modello generalizza bene a dati "in-the-wild", video (generazione frame-by-frame) e input con illuminazione difficile, sebbene possa mostrare un leggero sfarfallio nelle regioni non osservate nei video.
• Editing: Dimostra capacità di editing zero-shot tramite testo (es. cambiare colore dei capelli, età) e trasferimento di stile su geometrie fisse, superando i limiti dei metodi precedenti che spesso falliscono su modifiche su larga scala.

5. Significato e Impatto

PercHead rappresenta un passo significativo nel campo della grafica computerizzata 3D e della visione artificiale:

• Superamento delle perdite tradizionali: Dimostra che le perdite basate su modelli fondazionali (Foundation Models) possono sostituire con successo le metriche di errore pixel-per-pixel, offrendo una supervisione più robusta e semanticamente significativa per compiti di generazione 3D.
• Coerenza 3D Reale: Risolve il problema della coerenza 3D in scenari di vista singola, rendendo possibile la creazione di avatar 3D di alta qualità da foto singole per applicazioni come conferenze virtuali, gaming e metaverso.
• Accessibilità all'Editing 3D: L'approccio all'editing disaccoppiato tramite interfacce intuitive (segmentazione + testo) democratizza la modifica 3D, permettendo agli utenti di controllare geometria e stile in modo indipendente senza bisogno di competenze tecniche 3D avanzate.

In sintesi, PercHead combina l'architettura ViT, la potenza dei modelli fondazionali per la visione (DINOv2, SAM) e la rappresentazione efficiente delle Gaussiane 3D per creare un sistema robusto, di alta qualità e versatile per la ricostruzione e l'editing di teste umane.