CounterFace: A Synthetic Face Dataset for Fine-Grained Counterfactual Evaluation of Face Recognition Systems

Sintesi Tecnica: CounterFace

Problematica
I sistemi di riconoscimento facciale (FR) sono ampiamente implementati, ma spesso presentano bias e sensibilità a fattori specifici come l'illuminazione, la posa e il tono della pelle. I benchmark di valutazione standard (es. LFW, CelebA) si affidano tipicamente a dataset del mondo reale che catturano variazioni grossolane (invecchiamento, posa), ma mancano di variazioni fini e controllate di attributi facciali come acconciature, trucco o accessori. Sebbene la valutazione controfattuale offra un metodo per isolare l'impatto di specifici attributi sulla robustezza del modello, gli esistenti dataset controfattuali sintetici soffrono di limitazioni significative. Gli approcci precedenti si affidano o a dati sintetici rumorosi e non verificati o richiedono una costosa verifica umana per selezionare campioni conformi. Questo processo con intervento umano (human-in-the-loop) limita la scala della copertura di attributi e demografie, impedendo un'analisi completa dei modi di fallimento (failure modes) dei sistemi FR attraverso popolazioni diverse.

Metodologia
Gli autori propongono CounterFace, una pipeline completamente automatizzata per la generazione di un dataset di volti controfattuali sintetici. Il nucleo della metodologia è un framework di Campionamento per Rifiuto (Rejection Sampling - RS) che integra generatori di immagini pronti all'uso con verificatori automatizzati personalizzati.

1. Pipeline di Generazione (Fase 1):

   • Volti Sorgente: La pipeline genera volti sorgente utilizzando modelli di diffusione (Realistic Vision) e GAN. Per garantire la coerenza dell'identità attraverso le variazioni, gli autori utilizzano GPT-4o per compilare nomi di celebrità per specifiche demografie, generando molteplici variazioni per ogni identità.
   • Modifica degli Attributi: I volti sorgente vengono modificati per aggiungere o rimuovere specifici attributi utilizzando tecniche di editing. Gli autori impiegano SEGA (basato su diffusione) e StyleCLIP (basato su GAN), selezionando il metodo ottimale per ciascuno dei 20 attributi target in base a test preliminari.
   • Coppie Candidate: Questa fase produce un ampio pool di coppie di volti candidate (sorgente vs. modificato) per ogni combinazione attributo-demografia.

2. Campionamento per Rifiuto (Fase 2):

   • I candidati sono filtrati rispetto a tre rigorosi requisiti controfattuali:
     • Validità: Il volto modificato deve essere semanticamente corretto, mantenendo l'identità originale e privo di artefatti innaturali.
     • Correttezza: L'attributo target deve essere stato aggiunto o rimosso con successo.
     • Specificità: Solo l'attributo target deve cambiare; tutti gli altri attributi devono rimanere costanti.
   • Verificatori Automatizzati:
     • Rilevatori di Artefatti: Un SVM lineare addestrato su embedding CLIP (per output di diffusione/SEGA) e un Modello Vision-Language (MOLMO-72B per output GAN/StyleCLIP) rilevano distorsioni innaturali.
     • Rilevatori di Attributi: Modelli Vision-Language proprietari (GPT-4o, Claude 3.5 Sonnet, Gemini-Pro) sono utilizzati per verificare la presenza/assenza di attributi. Il modello con le migliori prestazioni viene selezionato per ogni combinazione attributo-demografia sulla base di un set di validazione annotato da umani.
   • Preservazione dell'Identità: Fondamentalmente, la pipeline non utilizza un modello FR per verificare la preservazione dell'identità, evitando il bias verso specifici sistemi di riconoscimento. Invece, la coerenza dell'identità è garantita attraverso un rigoroso tuning degli iperparametri dei metodi di editing.

Contributi Chiave

• Dataset CounterFace: Un nuovo dataset sintetico composto da 11.821 coppie di volti controfattuali. Copre 20 attributi facciali (es. mascherina, trucco pesante, barba, occhiali da sole) e 8 fattori demografici (combinazioni di 2 sessi e 4 etnie), per un totale di 160 combinazioni attributo-demografia. Questo rappresenta un'espansione di 14 attributi e 2 demografie rispetto ai precedenti dataset sintetici.
• Pipeline di Verifica Automatizzata: Una nuova pipeline di campionamento per rifiuto completamente automatizzata che elimina la necessità di verifica umana, riducendo significativamente i costi e consentendo la scalabilità.
• Validazione della Fedeltà (Faithfulness): Uno studio utente post-hoc ($n=900$) conferma la qualità del dataset, mostrando che il 96,9% delle coppie campionate ha mantenuto l'identità e l'84,04% ha soddisfatto tutti i requisiti controfattuali.
• Valutazione FR Completa: Il dataset viene utilizzato per valutare sei sistemi FR (due commerciali: AWS Rekognition, Face++; quattro open-source: AdaFace, MagFace, ArcFace, FaceNet) attraverso tutte le 160 combinazioni.

Risultati

• Varianza delle Prestazioni del Sistema: La degradazione delle prestazioni varia significativamente tra attributi e demografie per tutti i sei sistemi. I modelli più recenti (AdaFace, MagFace) e i sistemi commerciali (AWS, Face++) dimostrano generalmente una maggiore robustezza rispetto ai modelli open-source più datati (FaceNet, ArcFace).
• Attributi Occludenti: Gli attributi che occludono il volto, come mascherine e occhiali da sole, degradano universalmente le prestazioni in tutti i sistemi e demografie, sebbene l'entità del calo vari.
• Sensibilità Demografica: Sono stati isolati specifici modi di fallimento. Ad esempio, tutti i sistemi hanno avuto difficoltà con la barba su volti femminili e con barbe folte su maschi est-asiatici, suggerendo che i modelli faticano con combinazioni attributo-demografia fuori distribuzione (out-of-distribution).
• Attributi Periferici: Gli attributi sulla periferia del volto (es. colore dei capelli, cerchietti, sciarpe) hanno generalmente effetti trascurabili sulle prestazioni, eccetto per casi specifici come i capelli di media lunghezza su maschi est-asiatici.
• Studi di Ablazione:
  • Dimensione del Modello: Modelli più grandi (ResNet-100) superano i più piccoli (ResNet-50) nella generalizzazione ai cambiamenti controfattuali.
  • Fattori di Confondimento: Indebolire il criterio di "Specificità" (permettendo fattori confondenti) porta a tassi di FNMR (False Non-Match Rate) significativamente più alti, provando la necessità di un isolamento rigoroso degli attributi per una valutazione affidabile.
  • Soglie: I sistemi mostrano una migliore robustezza in contesti orientati all'utilità (FMR=1%) rispetto a quelli orientati alla sicurezza (Fimento FMR=0.1%), sebbene gli attributi occludenti rimangano problematici.

Significatività
Il paper posiziona CounterFace come uno strumento per la diagnostica fine dei sistemi FR. A differenza dei benchmark standard che forniscono l'accuratezza media, CounterFace consente di isolare i modi di fallimento precisi legati a specifiche combinazioni attributo-demografia. Ciò consente agli sviluppatori di modelli di identificare esattamente dove e perché un sistema fallisce (es. difficoltà specifiche con la barba su certe demografie) e di regolare i propri sistemi di conseguenza. Il lavoro dimostra che i dati sintetici automatizzati e verificati possono sostituire efficacemente i costosi processi con intervento umano per la valutazione controfattuale, fornendo un percorso scalabile verso sistemi biometrici più robusti ed equi. Gli autori notano che il dataset è protetto e destinato esclusivamente alla ricerca valutativa, non all'addestramento, per prevenire usi impropri.