FIELDS: Face reconstruction with accurate Inference of Expression using Learning with Direct Supervision

Sintesi Tecnica: FIELDS

Definizione del Problema
La ricostruzione facciale 3D monoculare mira a stimare una rappresentazione di un Modello 3D Morfabile (3DMM) da una singola immagine, fornendo codici di espressione consapevoli della geometria utili per il riconoscimento delle espressioni facciali (FER) e la comprensione dell'affettività. Sebbene le attuali pipeline abbiano compiuto progressi significativi, esse sono prevalentemente addestrate utilizzando l'auto-supervisione a livello di immagine (coerenza di ricostruzione) e valutate in base alla fedeltità geometrica. Gli autori sostengono che questo approccio non massimizzi necessariamente l' "utilità affettiva" della rappresentazione dell'espressione appresa. Inoltre, accoppiare ingenuamente la supervisione dell'affetto con perdite di coerenza a livello di immagine può incoraggiare "scorciatoie di amplificazione dell'intensità", dove il modello genera espressioni esagerate per soddisfare i vincoli emotivi, compromettendo così la plausibilità geometrica. I metodi esistenti che tentano di colmare questo divario spesso si affidano a deboli perdite di coerenza emotiva a livello di immagine o a moduli emotivi pre-addestrati esterni, il che può portare a un compromesso tra la cattura dell'affetto e la resa di immagini plausibili.

Metodologia: FIELDS
Il documento propone FIELDS (Face reconstruction with accurate Inference of Expression using Learning with Direct Supervision), un framework guidato dal compito progettato per risolvere la tensione tra utilità affettiva e plausibilità geometrica. FIELDS estende la pipeline di ricostruzione facciale 3D monoculare auto-supervisionata TEASER introducendo una supervisione ibrida 2D/3D.

L'architettura consiste in:

1. Encoder: Un encoder basato su FLAME che predice i parametri di forma ($\beta$), espressione ($\Psi$) e posa ($\Theta$), insieme a un token di aspetto.
2. Sintetizzatore Neurale: Un sintetizzatore guidato da token che ricostruisce l'immagine dalla mesh FLAME, dalla maschera dello sfondo e dai token di aspetto.
3. Testa Emotiva Ausiliaria: Un MLP leggero addestrato congiuntamente per predire punteggi continui di valenza-attivazione (valence-arousal) e categorie emotive discrete direttamente dai parametri FLAME.

L'innovazione principale risiede nella Strategia di Supervisione Ibrida:

• Ancoraggio dell'Espressione derivato da Scansioni: Per stabilizzare la geometria dell'espressione e prevenire l'amplificazione dell'intensità, il framework utilizza limitati target "derivati dal fitting". Nello specifico, i parametri di espressione FLAME sono adattati (fitted) ai dati di scansione 3D BP4D. Questi parametri derivati dalle scansioni fungono da ancoraggi diretti per l'encoder dell'espressione tramite una perdita di Errore Quadratico Medio (MSE) ($L_{3D-expr}$).
• Supervisione dell'Affetto Diretta nello Spazio dei Parametri: Invece di fare affidamento sulla coerenza emotiva a livello di immagine, FIELDS introduce una testa di riconoscimento emotivo ausiliaria che applica la supervisione direttamente nello spazio dei parametri 3DMM. Questa testa è addestrata utilizzando una combinazione di perdite di regressione (per valenza-attivazione) e classificazione (per emozioni discrete) ($L_{emo}$). Ciò incoraggia i codici di espressione a essere informativi per l'affetto senza dipendere da confronti percettivi tra immagini renderizzate e reali.
• Coerenza 2D: Il framework mantiene le standard perdite di coerenza 2D (fotometriche, percettive e basate su landmark) per garantire che l'immagine ricostruita rimanga visivamente plausibile.
• Regolarizzazione: Un modello base pre-addestrato (allineato con MICA) viene utilizzato per regolarizzare i parametri di forma ed espressione, garantendo che il manifold appreso rimanga stabile.

La procedura di addestramento alterna un Passaggio dell'Encoder (ottimizzazione per coerenza 2D, ancoraggio dell'espressione 3D e supervisione dell'emozione) e un Passaggio del Sintetizzatore (ottimizzazione solo del sintetizzatore per coerenza 2D e coerenza di ciclo), impedendo a una componente di compensare gli errori dell'altra.

Contributi Chiave

1. Framework: La proposta di FIELDS, un framework guidato dal compito che combina la coerenza a livello di immagine auto-supervisionata con l'ancoraggio dell'espressione derivato da scansioni e una testa di riconoscimento dell'affetto addestrata congiuntamente che applica la supervisione direttamente nello spazio dei parametri 3DMM.
2. Ancoraggi derivati da Scansioni: La derivazione di target di espressione basati su scansioni (derivati dal fit) dal dataset BP4D per servire come limitati ancoraggi per la supervisione diretta dei parametri di espressione FLAME, riducendo il rischio di scorciatoie di amplificazione dell'intensità.
3. Valutazione: Una valutazione completa che dimostra come FIELDS migliori la predizione dell'affetto (sia discreta che continua) mantenendo al contempo una fedeltà geometrica competitiva su benchmark hold-out e out-of-domain.

Risultati
Gli autori valutano FIELDS su molteplici benchmark, confrontandolo con baseline come EMOCA, SMIRK e TEASER.

• Utilità Affettiva: Sul dataset AffectNet, FIELDS raggiunge risultati allo stato dell'arte sia per la classificazione delle emozioni discrete (accuratezza del 56,0%) che per la regressione valenza-attivazione (0,737 V-CCC), superando i metodi precedenti.
• Plausibilità Geometrica: Sul dataset BP4D (utilizzando soggetti hold-out), FIELDS mantiene una fedeltà geometrica 3D competitiva (errori di vertici e keypoint) paragonabile alle baseline incentrate sulla ricostruzione. Fondamentalmente, migliora significativamente l'accordo con i parametri di espressione e della mascella derivati dalle scansioni (riducendo l'MSE dei parametri FLAME da ~5,9 a ~0,17) rispetto alle baseline che mancano di supervisione 3D diretta.
• Validazione Esterna: Su RAF-DB (utilizzando il probing KNN solo sui parametri di espressione), FIELDS mostra una capacità di trasferimento superiore (accuratezza del 73,0%). Su MultiREX (geometria out-of-domain), rimane paragonabile alle baseline esistenti, confermando che i guadagni affettivi non avvengono a scapito della qualità geometrica generale.
• Analisi Qualitativa: I confronti visivi indicano che FIELDS preserva meglio la geometria locale coerente con l'input (ad esempio, sottili forme degli angoli della bocca, tensione della parte inferiore del viso) rispetto alle baseline, che spesso presentano deformazioni eccessivamente levigate o esagerate.

Significatività e Rivendicazioni
Il documento sostiene che FIELDS fornisce una via pratica per ottenere rappresentazioni 3DMM pronte per la FER che siano robuste nel mondo reale e utili per applicazioni downstream di calcolo dell'affetto. Esplicitamente supervisionando i parametri 3DMM con ancoraggi derivati da scansioni e etichette di affetto dirette, il framework elude il tradizionale compromesso tra la cattura dell'affetto e la resa di immagini plausibili. Gli autori affermano che il loro approccio apprende rappresentazioni dell'espressione informative per l'affetto che sono meno sensibili ai fattori di disturbo (posa, illuminazione) e meglio allineate ai movimenti muscolari facciali sottostanti, preservando al contempo la plausibilità geometrica.

Il documento si conclude con modestia, osservando che il lavoro futuro potrebbe coinvolgere la modellazione temporale per la FER video, l'esplorazione di strategie di pesatura multi-loss per una migliore robustezza tra i dataset e l'incorporazione di ulteriori prior strutturati come le unità d'azione (action units), laddove disponibili.