Identity-Preserving Aging and De-Aging of Faces in the StyleGAN Latent Space

Sintesi Tecnica: Invecchiamento e De-aging dei Volti con Preservazione dell'Identità nello Spazio Latente di StyleGAN

Problematica
L'invecchiamento e il de-aging (ringiovanimento) dei volti tramite IA generativa sono critici per applicazioni in ambito forense, sicurezza e media. Tuttavia, i metodi allo stato dell'arte si affidano tipicamente a Conditional GAN, modelli di Diffusione o Modelli Linguistici Visivi che richiedono procedure di addestramento complesse, dataset etichettati estesi e un condizionamento specifico (ad esempio, etichette di età target o prompt testuali). Questi approcci spesso faticano con la controllabilità e, soprattutto, non riescono a garantire la preservazione dell'identità. I meccanismi esistenti di preservazione dell'identità dipendono frequentemente da un singolo modello di riconoscimento facciale incorporato nella funzione di perdita, il che introduce bias e limita la robustezza del risultato attraverso diversi sistemi di riconoscimento. Inoltre, navigare nel continuo spazio latente delle GAN per trovare una direzione di "età" coerente senza degradare l'identità rimane una sfida significativa.

Metodologia
Gli autori propongono una strategia efficiente dal punto di vista dei dati che opera direttamente nello spazio latente di uno StyleGAN2 pre-addestrato (specificamente lo spazio $W$), evitando la necessità di ri-addestrare generatori o encoder. La metodologia consiste in tre componenti principali:

1. Editing Latente Lineare tramite Support Vector Regression (SVR):
   Inve invece di addestrare nuove reti, gli autori proiettano immagini di volti reali nello spazio latente $W$ di StyleGAN2. Utilizzano un regressore lineare Support Vector (SVR) per adattare un iperpiano che mappa i vettori latenti ($\tilde{w}$) ai loro corrispondenti etichette di età ($y$). Proiettando i parametri della SVR su un vettore latente, derivano un vettore unitario normalizzato ($\hat{\lambda}$) che rappresenta la direzione globale di "sintesi dell'età". L'invecchiamento o il de-aging viene ottenuto muovendosi lungo questa direzione utilizzando un passo scalare $s$:
   $$w_1 = w_0 + s\hat{\lambda}$$
   Per mappare il passo scalare in età specifiche (anni), gli autori adattano curve polinomiali alla relazione tra il passo scalare e l'età apparente stimata, consentendo il calcolo di offset scalari precisi ($\Delta s$) per qualsiasi trasformazione di età desiderata.

2. Selezione delle Caratteristiche per la Preservazione dell'Identità:
   L'approccio lineare di base modifica indiscriminatamente tutti i componenti latenti, il che può degradare l'identità. Per mitigare questo problema, gli autori introducono un vettore di ponderazione $\Phi$ che scala selettivamente i componenti della direzione dell'età:
   $$w_1 = w_0 + \Phi \odot s\hat{\lambda}$$
   Il vettore $\Phi$ è calcolato utilizzando strategie di selezione delle caratteristiche basate su Analisi delle Componenti Principali (PCA) e Analisi Discriminante Lineare (LDA).

• PCA: Identifica le componenti che spiegano il 95% della varianza nei vettori latenti etichettati per identità.
• LDA: Calcola le componenti discriminanti sia per i gruppi di identità che per quelli di età. Gli autori ricostruiscono i latenti proiettati nello spazio originale e utilizzano metriche di distanza (Errore Quadratico Medio, distanza di Wasserstein 1-D e Covarianza) per determinare quali componenti sono critiche per l'identità rispetto all'età.
  Il vettore di ponderazione finale combina le componenti rilevanti solo per l'età, solo per l'identità e quelle condivise da entrambe, controllate dagli iperparametri $\alpha$ e $\beta$.

3. Validazione Empirica e Generazione del Dataset:
   Il metodo è valutato utilizzando due sistemi di riconoscimento facciale allo stato dell'arte (IResNet50 ed EdgeFace-S) e un estimatore di età (MobileNetV2). Gli autori verificano la preservazione dell'identità misurando la distanza del coseno tra i volti sintetizzati e quelli originali attraverso diversi gruppi di età. Generano inoltre un dataset completamente sintetico utilizzando il campionamento Langevin per creare 20.000 identità uniche, ciascuna con 10 variazioni di età, per fungere da benchmark per il riconoscimento cross-age e il rilevamento di immagini sintetiche.

Contributi Chiave

1. Editing Latente Snello: Un approccio di base per la sintesi dell'età del volto tramite editing lineare all'interno dello spazio $W$ di StyleGAN2, eliminando la necessità di reti di condizionamento e grandi dataset etichettati.
2. Strategie di Selezione delle Caratteristiche: La proposta e la valutazione di meccanismi di selezione delle caratteristiche basati su PCA e LDA che migliorano efficacemente la preservazione dell'identità pur sintetizzando cambiamenti di età apparente.
3. Analisi della Preservazione dell'Identità: Un insieme di esperimenti e tecniche di visualizzazione che identificano le soglie in cui l'identità inizia a degradarsi durante la modifica dell'età, fornendo limiti empirici per un editing sicuro.
4. Strumentazione Pratica: Il rilascio di direzioni di età lineari, pesi delle componenti, curve adattate per ogni gruppo di età e codice per calcolare i passi scalari necessari per età target specifiche.
5. Dataset Sintetico: La generazione e il rilascio di un dataset pubblico contenente 20.000 identità sintetiche con 10 variazioni di età ciascuna, affrontando le preoccupazioni sulla privacy associate ai dati cross-age reali.

Risultati

• Stima dell'Età: La relazione tra il passo scalare $s$ e l'età apparente è non lineare, particolarmente per i soggetti in gruppi di età estremi (molto giovani o molto anziani). L'adattamento polinomiale modella con successo questa relazione, consentendo un controllo preciso dell'età.
• Limiti della Preservazione dell'Identità: L'approccio lineare di base permette un invecchiamento significativo (invecchiamento di bambini o ringiovanimento di anziani) ma mostra asimmetria; è meno efficace nel ringiovanire i bambini o nell'invecchiare gli anziani. La scelta del sistema di riconoscimento facciale influisce significativamente sui limiti osservati (ad esempio, EdgeFace-S dimostra un intervallo di età valido più ampio rispetto a IResNet50).
• Efficacia della Selezione delle Caratteristiche: Tutti i metodi di selezione delle caratteristiche superano il baseline lineare. Nello specifico, l'LDA con Covarianza e la PCA hanno mostrato i maggiori miglioramenti. L'LDA con Covarianza ha performato leggermente meglio per i bambini, mentre la PCA è stata più robusta per gli anziani. Questi metodi permettono trasformazioni di età più ampie mantenendo un tasso di verifica facciale del 75%.
• Confronto: Il metodo proposto supera qualitativamente e quantitativamente l'approccio SAM (Style-based Age Manipulation), in particolare attraverso ampi gap di età.

Significatività
Il lavoro dimostra che l'editing dell'età preservando l'identità in StyleGAN2 può essere ottenuto senza ri-addestrare i generatori, affidandosi invece a una semplice direzione latente basata su SVR e a una selezione strategica delle caratteristiche. Stabilendo mappature pratiche scalare-età e identificando i limiti della preservazione dell'identità, questo lavoro fornisce un'alternativa più controllabile ed efficiente dal punto di vista dei dati rispetto ai complessi modelli condizionali. Il rilascio di un dataset completamente sintetico e di una strumentazione mira a facilitare il benchmarking per il riconoscimento facciale cross-age, i sistemi di garanzia dell'età e il rilevamento di immagini sintetiche, affrontando al contempo i problemi di privacy e bias inerenti l'uso di dati cross-age del mondo reale.