Do Counterfactually Fair Image Classifiers Satisfy Group Fairness? -- A Theoretical and Empirical Study

Sintesi Tecnica: I classificatori di immagini controfattualmente equi soddisfano l'equità di gruppo?

Definizione del Problema
L'equità algoritmica nell'apprendimento automatico viene spesso valutata attraverso due lenti primarie: l'Equità Controfattuale (CF), che richiede previsioni coerenti quando un attributo sensibile viene manipolato, e l'Equità di Gruppo (GF), che mira a equalizzare i risultati tra diversi gruppi demografici. Mentre studi precedenti su dati tabulari hanno suggerito che il raggiungimento della CF implichi il soddisfare la GF sotto specifiche condizioni di Modelli Causali Strutturali (SCM), questa relazione rimane incerta nella classificazione di immagini. L'ostacolo principale è stato la mancanza di dataset di valutazione di alta qualità contenenti immagini controfattuali (dove cambia solo l'attributo sensibile mentre altri attributi non causali rimangono costanti). I metodi generativi esistenti spesso producono immagini di bassa qualità o non riescono a preservare l'identità, rendendo impossibile una valutazione rigorosa della CF in compiti visivi.

Metodologia
Per affrontare la scarsità di dati e investigare la relazione CF-GF, gli autori propongono un approccio su tre fronti:

1. Costruzione del Dataset (CelebA-CF e LFW-CF):

   • Gli autori hanno costruito nuovi benchmark basati sui popolari dataset CelebA e LFW.
   • Hanno utilizzato InstructPix2Pix (IP2P), un modello di editing di immagini basato sulla diffusione di alta qualità, per generare campioni controfattuali alterando l'attributo sensibile (sesso) pur preservando l'identità e gli altri attributi.
   • È stata impiegata una rigorosa pipeline di annotazione umana. Cinque annotatori hanno filtrato le coppie generate in base a dieci attributi visivi specifici (es. barba, linea della mascella, trucco) per garantire che l'attributo sensibile cambiasse correttamente e che gli attributi non sensibili rimanessero coerenti.
   • Un secondo round di cinque annotatori distinti ha verificato l'affidabilità dei dataset filtrati, confermando l'alta accuratezza sia nell'alterazione dell'attributo sensibile che nella preservazione degli attributi non sensibili.

2. Analisi Teorica:

   • Gli autori hanno analizzato la relazione tra CF e GF utilizzando gli SCM per la generazione di immagini.
   • Hanno identificato una distinzione critica tra dati tabulari e immagini: nelle immagini, gli attributi sensibili (es. sesso) sono spesso correlati con, ma non causalmente responsabili di, altri attributi latenti (denotati come $G$, es. lunghezza dei capelli).
   • Il Teorema 4.1 dimostra che se un modello controfattualmente equo si basa su un attributo latente $G$ che è correlato con l'attributo sensibile $A$ ma non causato da esso, il modello può soddisfare la CF ma fallire nel soddisfare l'Equità di Gruppo (specificamente l'Equalized Odds). La Disparità di Equalized Odds (DEO) è mostrata essere limitata superiormente dalla sensibilità del modello verso $G$.

3. Soluzione Proposta: Distillazione della Conoscenza Controfattuale (CKD):

   • Motivati dal risultato teorico secondo cui ridurre la dipendenza da $G$ è necessario per raggiungere sia la CF che la GF, gli autori hanno proposto la CKD.
   • La CKD combina la regolarizzazione tramite Accoppiamento Controfattuale (CP) (per imporre la CF) con la Distillazione della Conoscenza (KD).
   • Un modello "insegnante" (specificamente un modello addestrato in modo vanilla, trovato più robusto rispetto a $G$ rispetto ai modelli addestrati con CP) fornisce le rappresentazioni target. Il modello studente è addestrato per allineare le proprie rappresentazioni sia dei campioni originali che di quelli controfattuali con le rappresentazioni medie dell'insegnante. Questo processo distilla la robustezza contro l'attributo latente $G$ mantenendo al contempo la coerenza controfattuale.

Risultati Chiave
Esperimenti estesi sono stati condotti sui nuovi dataset CelebA-CF e LFW-CF, nonché su un dataset sintetico (CIFAR-10B) dove la correlazione tra $A$ e $G$ può essere controllata.

• La CF non implica la GF nelle immagini: I risultati empirici hanno mostrato che i modelli che ottengono una bassa Disparità Controfattuale (CD) tramite i metodi standard di consapevolezza della CF (come il CP) presentavano spesso un'alta Disparità di Equalized Odds (DEO). Ciò contraddice i risultati nei dati tabulari e conferma l'ipotesi teorica che la dipendenza dall'attributo latente $G$ interrompa il legame CF-GF.
• Ruolo dell'Attributo Latente $G$: Gli esperimenti manipolando attributi come la "lunghezza dei capelli" (come $G$) hanno confermato che i modelli consapevoli della CF (CP) sono più sensibili ai cambiamenti in $G$ (tasso di predizioni invertite più elevato) rispetto ai modelli vanilla, portando a peggiori metriche di GF.
• Efficacia della CKD: Il metodo proposto CKD ha avuto successo nel ridurre la dipendenza del modello da $G$. Di conseguenza, i modelli ottimizzati tramite CKD hanno ottenuto simultaneamente una bassa CD (soddisfacendo la CF) e una bassa DEO (soddisfacendo la GF).
• Robustezza del Modello Insegnante: Lo studio ha rilevato che l'uso di un modello addestrato in modo vanilla come insegnante (meno dipendente da $G$) ha prodotto risultati di GF migliori rispetto all'uso di un insegnante addestrato con CP, validando ulteriormente il meccanismo della CKD.

Significatività e Rivendicazioni
Il documento rivendica tre contributi principali:

1. Benchmark: L'introduzione di CelebA-CF e LFW-CF, i primi dataset di immagini controfattuali di alta qualità e verificati da umani per valutare la CF in scenari del mondo reale.
2. Insight Teorico: La dimostrazione che la CF non implica necessariamente la GF nella classificazione di immagini a causa dell'esistenza di attributi latenti ($G$) correlati con, ma non causati dall'attributo sensibile. Ciò mette in discussione la generalizzabilità delle garanzie di equità basate su SCM dai domini tabulari a quelli visivi.
3. Mitigazione Pratica: La proposta di CKD, un semplice baseline che mitiga efficacementamente la dipendenza da tali attributi latenti, consentendo ai modelli di soddisfare simultaneamente le nozioni di equità controfattuale e di gruppo.

Gli autori concludono che colmare il divario tra CF e GF nella classificazione delle immagini richiede di affrontare esplicitamente la dipendenza del modello da attributi latenti correlati, una sfida che i metodi standard di CF non riescono a risolvere ma che la CKD risolve con successo.