Sintesi Tecnica: CIFA – Auditing della Fairness Contestuale-Intersezionale per la Scoperta di Sottogruppi Nascosti nell'Analisi del Volto

Problematica

L'attuale valutazione dell'equità (fairness) nella visione artificiale si basa prevalentemente sull'accuratezza aggregata e l'analisi dei sottogruppi demografici (ad es., razza, genere, età). Sebbene questi parametri siano standard, spesso non riescono a catturare il degrado delle prestazioni causato dall'interazione tra le caratteristiche demografiche e i fattori contestuali, come l'illuminazione, la sfocatura, la qualità dell'immagine, gli accessori facciali e la posa.

Il documento sostiene che i modelli visivi possono esibire un'elevata accuratezza aggregata e una accettabile equità demografica, pur soffrendo simultaneamente di fallimenti sostanziali all'interno di specifici sottogruppi contestuali-intersezionali. Questi "sottogruppi nascosti" emergono quando gli attributi demografici si intersecano con condizioni visive impegnative, creando disparità di prestazione che rimangono non rilevate dai protocolli di valutazione convenzionali. Gli autori citano l'arresto ingiusto di Robert Williams come una conseguenza reale di tali bias, dove un sistema ha fallito nell'identificare correttamente un individuo a causa delle interazioni tra fattori demografici e contestuali non catturati dagli audit standard.

Metodologia: Il Framework CIFA

Per colmare questa lacuna, gli autori propongono il Framework di Auditing della Fairness Contestuale-Intersezionale (CIFA). CIFA è un protocollo strutturato e agnostico rispetto al modello, progettato per identificare, classificare e rivalutare le vulnerabilità dei sottogruppi nascosti attraverso una pipeline unificata audit–mitiga–ri-audit.

1. Auditing Multi-livello

CIFA valuta le prestazioni del modello attraverso tre distinte famiglie di gruppi definiti su un dataset $D = \{(x_i, y_i, a_i, c_i)\}$, dove $x$ è l'immagine, $y$ è l'etichetta, $a$ rappresenta gli attributi demografici e $c$ rappresenta gli attributi contestuali:

• Auditing Demografico ($\mathcal{G}_d$): Valuta le prestazioni attraverso i gruppi demografici (ad es., razza, genere) indipendentemente.
• Auditing Contestuale ($\mathcal{G}_c$): Valuta le prestazioni attraverso le condizioni contestuali (ad es., bassa illuminazione, sfocatura, occhiali) indipendentemente.
• Auditing Contestuale-Intersezionale ($\mathcal{G}_{dc}$): Valuta l'intersezione degli attributi demografici e contestuali (ad es., "donne nere in bassa illuminazione"). Questa è l'innovazione principale, definita come $g = \text{razza} \times \text{età} \times \text{illuminazione} \times \text{qualità dell'immagine}$.

2. Scoperta del Peggior Gruppo (Worst-Group Discovery)

Il framework calcola l'accuratezza a livello di gruppo ($A_g$) e identifica il sottogruppo con le prestazioni peggiori ($A_{\text{worst}}$). Calcola il gap tra globale e gruppo ($\Delta_g = A_{\text{all}} - A_g$) e la deviazione standard delle accuratezze dei gruppi per quantificare la disparità. Questo processo classifica le combinazioni di attributi responsabili dei fallimenti più gravi, distinguendo tra disparità "visibili" (rilevate dagli audit solo demografici) e disparità "nascoste" (rivelate solo dall'analisi contestuale-intersezionale).

3. Protocollo Audit–Mitiga–Ri-audit

CIFA supporta un flusso di lavoro sistematico per verificare l'efficacia della mitigazione:

1. Audit: Stabilire le prestazioni di base e identificare i sottogruppi con le prestazioni peggiori.
2. Mitiga: Applicare strategie consolidate utilizzando le stesse definizioni di sottogruppo. Il documento valuta:
   • Augmentation Contestuale (trasformazioni preservanti l'etichetta per illuminazione/qualità).
   • Campionamento Bilanciato (sovracampionamento dei gruppi sottorappresentati).
   • Cross-Entropy Pesata per Gruppo (ri-pesatura della perdita basata sulla frequenza del gruppo).
   • Group Distributionally Robust Optimization (Group DRO).
   • Combinazioni di quanto sopra.
3. Ri-audit: Riapplicare il protocollo CIFA al modello mitigato. L'efficacia è misurata dai cambiamenti in $A_{\text{worst}}$, $\Delta_{\text{worst}}$ e nella varianza del gruppo, piuttosto che nell'accuratezza aggregata da sola.

Configurazione Sperimentale

Il framework è stato valutato su compiti di classificazione del genere utilizzando architetture ResNet-50 e ViT-B/16 su tre dataset:

• FairFace: Annotazioni bilanciate di razza, genere ed età.
• UTKFace: Variazione di età, genere ed etnia.
• CelebA: Ricche annotazioni di attributi facciali (occhiali, trucco, ecc.) utilizzate come variabili contestuali.

Gli attributi contestuali sono stati derivati dalle annotazioni del dataset o stimati tramite statistiche a livello di immagine (ad es., luminosità per l'illuminazione, varianza del Laplaciano per la qualità dell'immagine).

Risultati Chiave

Gli esperimenti dimostrano che l'accuratezza aggregata spesso maschera gravi fallimenti nei sottogruppi:

• Disparità Nascoste: Mentre l'accuratezza complessiva rimaneva elevata (92,34% – 98,94%), l'accuratezza del peggior gruppo scendeva significativamente. Su UTKFace con ResNet-50, l'accuratezza del peggior gruppo era del 65,91%, creando un gap del 26,43% rispetto all'aggregato. Gap simili superiori al 21% sono stati osservati su FairFace.
• Impatto Contestuale: I fattori contestuali (ad es., bassa qualità dell'immagine, alta illuminazione, sfocatura) hanno degradato le prestazioni indipendentemente, ma la loro intersezione con i dati demografici ha creato i fallimenti più gravi.
• Limitazioni della Mitigazione: Nessuna strategia di mitigazione singola ha eliminato costantemente le disparità in tutti i dataset e le architetture.
  • Group DRO ha mostrato una significativa riduzione del gap su UTKFace (riducendo il gap dal 26,43% al 16,68% per ResNet-50).
  • La Cross-Entropy pesata per gruppo ha funzionato bene su CelebA e FairFace.
  • L'Augmentation Contestuale ha migliorato l'accuratezza del peggior gruppo su FairFace, ma non ha ridotto costantemente i gap in tutte le configurazioni.
• Necessità del Ri-audit: I risultati confermano che le strategie di mitigazione devono essere valutate tramite il ri-audit di specifiche definizioni di sottogruppo, poiché i miglioramenti dell'accuratezza aggregata non garantiscono la riduzione delle disparità del peggior gruppo.

Significato e Rivendicazioni

Il documento afferma che CIFA fornisce un framework riproducibile per scoprire, dare priorità e rivalutare i rischi dei sottogruppi nascosti nei sistemi di analisi del volto. I suoi principali contributi sono:

1. Framework Unificato: È il primo a integrare l'auditing demografico, contestuale e contestuale-intersezionale all'interno di un singolo protocollo che supporta la mitigazione iterativa e la ri-valutazione.
2. Esposizione delle Vulnerabilità Nascoste: Dimostra che un'elevata accuratezza aggregata può nascondere sostanziali fallimenti contestuali-intersezionali, che colpiscono particolarmente i gruppi sottorappresentati in condizioni visive difficili.
3. Valutazione della Mitigazione: Stabilisce che le strategie di mitigazione standard hanno un'efficacia variabile e che un ri-audit sistematico è essenziale per verificare se le vulnerabilità specifiche siano effettivamente ridotte.

Gli autori posizionano CIFA come un'evoluzione necessaria oltre la fairness puramente demografica, sostenendo che il contesto visivo debba essere trattato come una dimensione di auditing esplicita per garantire prestazioni eque in applicazioni ad alto rischio. Il documento si conclude con moderazione, osservando che, sebbene i risultati evidenzino problemi significativi nella classificazione del genere, non dovrebbero essere interpretati come prova esaustiva per tutti i compiti di visione artificiale o le famiglie di modelli, e che il lavoro futuro dovrebbe estendere il framework a compiti più ampi e ai modelli di fondazione.