Sintesi Tecnica: SteerFace

Problematica

Il documento affronta un limite critico nell'uso di dati facciali sintetici per l'addestramento di modelli di Riconoscimento Facciale (FR). Sebbene i recenti metodi basati sulla diffusione riescano a generare immagini fotorealistiche con una forte aderenza all'identità e diversità dei dati, essi mostrano un significativo divario di prestazioni quando applicati a compiti di FR nel mondo reale rispetto ai modelli addestrati su dati reali.

Gli autori identificano la causa principale nella tendenza visiva (visual tendency): un bias precedentemente inesplorato dove i dataset sintetici esibiscono una prevalenza irrealistica di specifici attributi visivi (ad es., tono del colore, espressione, texture). Questo bias deriva dal fatto che i modelli di diffusione sono condizionati da embedding di identità estratti da modelli FR preesistenti. Questi embedding, pur essendo discriminativi, sono intrecciati con indizi visivi residui co-occorrenti provenienti dalle immagini sorgente. Durante l'addestramento, il generatore assorbe involontariamente questi residui come parte della semantica dell'identità. Di conseguenza, il generatore apprende un accoppiamento distorto tra l'identità e specifici indizi visivi, portando a uno shift della distribuzione che ostacola la generalizzazione del FR a valle.

Metodologia: SteerFace

Per mitigare questo bias, il documento propone SteerFace, un framework di addestramento che perturba gli embedding di identità per scoraggiare il generatore dall'sfruttare gli indizi visivi residui, preservando al contempo l'informazione di identità.

1. Perturbazione del Residuo Geometrico

Il meccanismo centrale consiste nel guidare geometricamente gli embedding di identità verso direzioni ortogonali casuali sull'ipersfera degli embedding.

• Base Teorica: Gli embedding di identità ($c$) sono modellati come una composizione di una componente di pura identità ($c_v$) e un termine residuo ($r$) contenente indizi visivi ($c = \text{norm}(c_v + r)$). Il generatore sfrutta $r$ come una scorciatoia per la ricostruzione.
• Strategia di Perturbazione: Per rompere questa dipendenza, il metodo ruota l'embedding $c$ verso un vettore ortogonale casuale $c^\perp$ di un angolo $\theta$. L'embedding perturbato è $\hat{c} = \cos(\theta)c + \sin(\theta)c^\perp$.
• Effetto: Questo trasforma il residuo deterministico e sfruttabile $r$ in una componente simile al rumore che varia ad ogni step di addestramento. Teoricamente, ciò agisce come un regolarizzatore che penalizza la dipendenza del generatore da componenti non legate all'identità. Fondamentalmente, poiché la perturbazione è ortogonale alla direzione dell'identità, la struttura primaria dell'identità (codificata dalla direzione angolare) è preservata, venendo semplicemente scalata da $\cos(\theta)$.

2. Allocazione dell'Intensità Adattiva

Riconoscendo che una forza di perturbazione fissa (ad es., campionando $\theta$ da una distribuzione uniforme $U(0, 1)$) non è né statisticamente ottimale né consapevole del campione, gli autori introducono una strategia adattiva:

• Parametrizzazione: L'intensità della perturbazione $\alpha$ (dove $\theta = \frac{\pi}{2}\alpha$) è determinata da un leggero adattatore MLP che assegna un punteggio di preferenza a ciascun embedding.
• Ottimizzazione: L'allocazione è appresa per bilanciare due obiettivi:
  1. Ritenzione dell'Identità: Mantenere una sufficiente somiglianza con la distribuzione originale dell'identità (regolarizzata tramite un obiettivo di consistenza rispetto a $U(0, 1)$).
  2. Forza di Regolarizzazione: Incoraggiare una distribuzione che produca un valore atteso più elevato di $\sin^2(\theta)$ per massimizzare l'effetto di debiasing.
• Risultato: Il sistema impara ad allocare perturbazioni più forti ai campioni dove gli indizi residui sono più predittivi (spesso campioni di qualità superiore con dettagli più ricchi), mantenendo al contempo un equilibrio statistico complessivo.

Contributi Chiave

1. Identificazione della Tendenza Visiva: Il documento stabilisce la tendenza visiva come una sfida principale e distinta nei dati FR sintetici, separata dall'aderenza all'identità e dalla diversità dei dati. Dimostra che i dati sintetici possono essere diversificati ma comunque esibire un bias di distribuzione dovuto a indizi visivi intrecciati negli embedding di identità.
2. Framework SteerFace: Uno schema di addestramento semplice ed efficiente che perturba gli embedding di identità tramite rotazione sferica. Funge da regolarizzatore preservante l'identità che decollega efficacemente l'identità dagli indizi visivi residui.
3. Strategia di Perturbazione Adattiva: Un approccio per apprendere intensità di perturbazione consapevoli del campione che ottimizzano il compromesso tra ritenzione dell'identità e mitigazione del bias, superando le distribuzioni uniformi euristiche.
4. Validazione Empirica: Esperimenti estesi che dimostrano come SteerFace riduca il divario tra distribuzione sintetica e reale e raggiunga prestazioni di FR a valle superiori rispetto ai metodi SOTA (State-of-the-Art).

Risultati Sperimentali

Gli autori hanno valutato SteerFace utilizzando un Modello di Diffusione Latente (LDM) addestrato sul dataset CASIA-WebFace, generando dataset sintetici di 0,5M e 1,2M di immagini. Questi sono stati utilizzati per addestrare un modello IR-50 FR, valutato su cinque benchmark (LFW, CFP-FP, AgeDB, CPLFW, CALFW).

• Prestazioni a Valle: SteerFace ha superato tutti i 14 metodi SOTA confrontati (inclusi approcci basati su GAN e altri basati su Diffusione come IDiff-Face, Arc2Face e MorphFace).
  • Alla scala di 0,5M, ha raggiunto un'accuratezza media del 93,72%, superando il miglior SOTA (UIFace) dello 0,45%.
  • Alla scala di 1,2M, ha raggiunto il 94,37%, superando il miglior SOTA (MorphFace) dello 0,20%.
  • Notevolmente, SteerFace a 0,5M ha superato la maggior parte dei SOTA a 1,2M, indicando un'alta efficienza dei dati.
• Mitigazione della Tendenza Visiva: Utilizzando il rendering 3DMM di volti medi del dataset, SteerFace ha mostrato l'Errore Quadratico Medio (MSE) più piccolo rispetto alla verità di base (ground truth) del mondo reale (1,02) rispetto ai SOTA (che variano da 5,63 a 59,97), confermando la riduzione del bias di distribuzione.
• Analisi del Compromesso: SteerFace ha ottenuto un equilibrio superiore nello spazio "aderenza all'identità vs diversità dei dati", posizionandosi vicino alla frontiera di Pareto dove altri metodi tipicamente favoriscono una metrica a scapito dell'altra.
• Generalizzabilità: Il metodo si è generalizzato bene attraverso diversi dataset di addestramento (FFHQ, MS1M) e pipeline di generazione (UIFace), superando costantemente i baseline e i metodi di perturbazione al tempo di inferenza come IDerturb.

Significato e Rivendicazioni

Il documento afferma che SteerFace affronta un difetto fondamentale nell'attuale generazione di dati sintetici per il FR: l'assorbimento involontario di bias visivi nella semantica dell'identità. Trattando gli indizi visivi residui come rumore da regolarizzare piuttosto che come caratteristiche da apprendere, SteerFace allinea la distribuzione dei dati sintetici più strettamente a quella dei dati reali.

Gli autori sottolineano che il loro approccio è distinto dal context dropout (che sopprime indiscriminatamente la semantica) e dalla perturbazione al tempo di inferenza (che non può correggere il bias durante l'addestramento). Affermano che SteerFace fornisce una soluzione semplice, efficace e generalizzabile che migliora l'utilità dei dati sintetici per l'addestramento del FR legalmente conforme, riducendo potenzialmente la dipendenza da dataset reali eticamente problematici. Il lavoro suggerisce che le future metriche di qualità dei dati sintetici debbano tenere conto della tendenza visiva, non solo dell'identità e della diversità.