💻 computer science

Bias Mitigation in Face Recognition via Demographic-based Supervised Contrastive Learning

Questo articolo propone il Demographic-based Supervised Contrastive Learning (DeSCon), una nuova funzione di perdita che migliora l'equità nel riconoscimento facciale mirando specificamente ai tassi di errore nella coda della distribuzione dei punteggi di non corrispondenza attraverso la composizione dei batch e la selezione delle coppie sensibili ai dati demografici, mitigando così il pregiudizio oltre quanto sia possibile ottenere con il semplice bilanciamento dei dati di addestramento.

Autori originali: Yu Linghu, Salman Mohammad, Xinyi Zhang, Manuel Günther

Pubblicato 2026-08-14

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Yu Linghu, Salman Mohammad, Xinyi Zhang, Manuel Günther

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di camminare attraverso un enorme e affollato corridoio digitale dove una guardia giurata controlla l'identità di tutti. Questa guardia è un'IA, un programma informatico super intelligente addestrato a riconoscere i volti. Per molto tempo, queste guardie sono state incredibilmente brave nel loro lavoro, ma avevano un difetto segreto: erano molto più capaci di riconoscere alcune persone rispetto ad altre. Se avevi un certo tono della pelle, età o genere, la guardia poteva socchiudere gli occhi con più fatica, commettere più errori o lasciar passare la persona sbagliata. Questo non è solo un piccolo intoppo; è un pregiudizio (bias). Il problema è nato perché l'IA è stata addestrata su una "foto di classe" di internet che conteneva molte più immagini di alcuni gruppi rispetto ad altri. È come insegnare a uno studente a riconoscere gli animali usando un libro di testo che ha solo foto di golden retriever e nessuna foto di pug; lo studente sarà confuso quando vedrà un pug.

Per risolvere questo problema, gli scienziati hanno provato diverse strade. Alcuni hanno cercato di "ricalibrare" il cervello della guardia dopo il fatto, regolando le regole per i diversi gruppi. Altri hanno cercato di rendere la foto di classe dell'addestramento perfettamente bilanciata, dando a ogni gruppo lo stesso numero di immagini. Ma ecco la parte complicata: anche se si bilancia perfettamente l'album fotografico, l'IA può comunque confondersi quando lavora nel mondo reale, specialmente quando deve prendere una decisione negativa su un volto molto difficile. Il vero test non è solo ottenere la media corretta; è assicurarsi che l'IA non fallisca in modo ingiusto quando si trova sull'orlo di un errore. È qui che entra in gioco un nuovo studio che prova un approccio diverso, uno che si concentra su come l'IA impara a distinguere volti simili senza farsi trarre in inganno da chi siano.

I ricercatori dietro questo studio, Yu Linghu e il suo team dell'Università di Zurigo, propongono un nuovo modo per addestrare questi sistemi di riconoscimento facciale chiamato DeSCon (Demographic-based Supervised Contrastive Learning). Pensa al processo di apprendimento dell'IA come a un gioco di sedie musicali, ma invece delle sedie, i giocatori sono i volti.

Di solito, quando si addestra un'IA, l'obiettivo è fare in modo che tutti i volti del "Persona A" si siedano vicini in un angolo specifico della stanza, mentre il "Persona B" si sieda in un altro angolo. Questo è come usare un magnete per attirare tutti i voli di "Persona A" insieme. Tuttavia, il vecchio metodo a volte ignorava il fatto che il "Persona A" potrebbe somigliare un po' al "Persona C" se condividono un tono della pelle o un'età simili, anche se sono persone diverse. L'IA potrebbe confondersi e pensare che il "Persona A" sia il "Persona C" solo perché sembrano simili in quei modi specifici.

Il nuovo metodo del team, DeSCon, aggiunge una regola speciale a questo gioco. Dice: "Ok, attirate tutti i volti di 'Persona A' insieme, ma assicuratevi anche di allontanare i volti di 'Persona A' da quelli di 'Persona C' che gli somigliano di più, specificamente all'interno dello stesso gruppo demografico". È come un insegnante severo che non solo dice agli studenti di stare con i propri amici, ma dice specificamente agli studenti che si somigliano molto di più di stare lontani tra loro, così da non confondersi.

I ricercatori hanno testato tre modi diversi per scegliere le coppie di "simili" da allontanare:

L'approccio "Tutti": Allontana qualsiasi due persone che non siano la stessa persona, indipendentemente da chi siano.
L'approccio "Gruppo": Allontana solo persone che appartengono allo stesso gruppo demografico (ad esempio, preoccuparsi solo di allontanare due diversi volti asiatici, o due diversi volti anziani).
L'approccio "Modalità Difficile" (DeSCon-Hard): Questa è la vera protagonista. Individua specificamente le coppie più "difficili" — quelle che sembrano più confondentemente simili all'interno dello stesso gruppo — e costringe l'IA a imparare la differenza tra loro.

I risultati suggeriscono che questo approccio "Modalità Difficile" funzioni meglio. Quando hanno testato il loro sistema su vari dataset, inclusi quelli perfettamente bilanciati e quelli disordinati e sbilanciati, DeSCon-Hard è riuscito a rendere l'IA più equa senza peggiorare il suo compito principale. In effetti, spesso è diventata migliore nel riconoscere i volti in generale riducendo al contempo il numero di errori ingiusti.

L'articolo sostiene che il semplice bilanciamento dei dati di addestramento non sia sufficiente. Dimostrano che, anche con un dataset bilanciato, l'IA può ancora essere influenzata dal pregiudizio se non impara a gestire i casi "difficili" in cui persone diverse si somigliano molto. Hanno anche scoperto che cercare di rimuovere completamente le informazioni demografiche dal cervello dell'IA (in modo che non possa "vedere" razza o genere) spesso rende l'IA peggiore nel riconoscimento dei voli in generale. Inveve, il loro metodo insegna all'IA a usare quei dettagli per essere più precisa, assicurando che un errore non venga commesso solo a causa di chi è la persona.

Negli esperimenti, il team ha utilizzato benchmark standard per misurare il successo. Hanno scoperto che il loro nuovo metodo, in particolare la versione "Modalità Difficile", riduce costantemente il divario nei tassi di errore tra i diversi gruppi. Ad esempio, in un test, la versione "Modalità Difficile" ha ridotto l'ingiustizia nei falsi abbinamenti (dire che due persone diverse sono la stessa persona) in modo significativo più dei metodi standard, mantenendo al contempo un'accuratezza elevata. Hanno anche notato che, sebbene il loro metodo funzioni bene sui dataset utilizzati, i dati di addestramento erano più piccoli dei massicci dataset usati dalle grandi aziende tecnologiche, quindi c'è ancora del lavoro da fare per vedere come possa scalare.

In definitiva, questo articolo suggerisce che per costruire un sistema di riconoscimento facciale veramente equo, dobbiamo smettere di cercare solo di bilanciare i conti e iniziare a insegnare all'IA a prestare un'attenzione extra ai casi complicati e confondenti dove il pregiudizio di solito si nasconde. Concentrandosi sui "simili più difficili" all'interno di ogni gruppo, l'IA impara a essere più equa e più acuta allo stesso tempo.

Sintesi Tecnica: Mitigazione del Bias nel Riconoscimento Facciale tramite l'Apprendimento Contrastivo Supervisionato basato su Dati Demografici

1. Definizione del Problema

I sistemi di riconoscimento facciale (FR), in particolare quelli basati sul deep learning, esibiscono un bias significativo tra i gruppi demografici (ad es., genere, età, etnia). Questo bias si manifesta come tassi di errore disparati, dove determinati gruppi soffrono di tassi più elevati di Falsi Match (FMR) o Falsi Non-Match (FNMR). Sebbene lo squilibrio dei dati di addestramento sia un fattore noto, il semplice bilanciamento del dataset di addestramento non è sufficiente a mitigare completamente il problema.

La sfida principale risiede nell'implementazione operativa dei sistemi FR, che tipicamente funzionano a tassi di falsi match molto bassi (la "coda" della distribuzione dei punteggi di non-match). Le tecniche standard di bilanciamento delle classi migliorano spesso la media delle distribuzioni dei punteggi, ma non riescono ad affrontare il comportamento nella coda, dove l'equità è più critica. Inoltre, le strategie di mitigazione esistenti affrontano spesso un compromesso: i metodi che rimuovono le informazioni demografiche sensibili dagli embedding per prevenire il bias tendono a degradare le prestazioni complessive di verifica, mentre la normalizzazione post-hoc del punteggio richiede informazioni demografiche durante l'implementazione, il che non è sempre disponibile o desiderabile.

2. Metodologia: DeSCon

Gli autori propongono il Demographic-based Supervised Contrastive loss (DeSCon), un framework che integra l'apprendimento contrastivo supervisionato nei classici framework softmax basati su margine (ad es., ArcFace). L'approccio mira a migliorare l'equità mirando esplicitamente alla coda della distribuzione dei punteggi di non-match senza sacrificare il potere discriminativo.

Meccanismo Core

DeSCon combina due obiettivi complementari:

Perdita basata su Centroidi (ad es., ArcFace): Attira gli embedding verso il centro della classe e li allontana dagli altri centri di classe per garantire la separabilità inter-classe.
Perdita Contrastiva Supervisionata (SupCon): Opera direttamente sugli embedding, avvicinando le coppie "mated" (stessa identità) e allontanando le coppie "non-mated" (identità diverse).

L'innovazione chiave è la selezione delle coppie consapevole dei dati demografici all'interno del componente SupCon. A differenza del classico apprendimento contrastivo che tratta equamente tutte le coppie non-mated, DeSCon guida la selezione delle coppie negative basandosi sulle etichette demografiche per mirare specificamente alla separazione intra-gruppo.

Strategie di Campionamento

Il documento esplora tre strategie specifiche per la selezione delle coppie non-mated ( $N(a)$ ) per il denominatore della perdita contrastiva:

DeSCon-All: Applica la perdita contrastiva a tutte le coppie non-mated nel batch, indipendentemente dal gruppo demografico.
DeSCon-WG (Within-Group): Restringe il campionamento delle coppie non-mated ai campioni appartenenti allo stesso gruppo demografico dell'ancora. Ciò migliora il bilanciamento locale e la separazione intra-gruppo.
DeSCon-Hard: Si concentra sulle coppie non-mated più difficili (hardest) all'interno dello stesso gruppo demografico (i top $K$ campioni non-mated più simili). Questa strategia mira specificamente a colpire la coda della distribuzione di non-match, con l'obiettivo di massimizzare la regolarizzazione dell'equità dove è più necessaria.

Obiettivo di Addestramento

La funzione di perdita totale combina ArcFace e la SupCon pesata demograficamente:
$L_{total} = \frac{1}{B} \sum_{b=1}^{B} w_d [L_{arc}(x_b) + \lambda \cdot L_{sup}(x_b)]$
Dove $w_d$ è un peso consapevole del gruppo per compensare lo squilibrio demografico nei dati di addestramento, e $\lambda$ bilancia i due obiettivi. Il framework è progettato per essere compatibile con vari backbone e perdite basate su margine (ad es., ArcFace, AdaFace).

3. Contributi Chiave

Introduzione di DeSCon: Una funzione di perdita consapevole dell'equità che aumenta le perdite basate su centroidi con l'apprendimento contrastivo supervisionato per potenziare congiuntamente accuratezza ed equità.
Campionamento Strategico delle Coppie: L'esplorazione di tre strategie di campionamento (All, WG, Hard) per bilanciare la separazione globale, la coerenza intra-gruppo e la regolarizzazione dei negativi difficili (hard negatives).
Valutazione Comprensiva: Esperimenti estesi su diversi backbone (IResNet50, IResNet100) e benchmark (RFW, BFW, VGGFace2, IJB-C) utilizzando sia regimi di addestramento bilanciati che sbilanciati.
Metriche Standardizzate: Una valutazione rigorosa conforme agli standard ISO/IEC 19795-10, utilizzando il coefficiente di Gini per misurare l'ineguaglianza nel FMR (FPD) e nel FNMR (FND) tra i gruppi, piuttosto che affidarsi solo all'accuratezza per gruppo con soglie separate.

4. Risultati Sperimentali

Gli autori hanno valutato DeSCon rispetto ai metodi di mitigazione del bias allo stato dell'arte (ad es., RamFace, MixFairFace, DeFT, ScoreNorm) e alle baseline.

Equità vs. Prestazioni: Le varianti di DeSCon hanno costantemente migliorato le metriche di equità (riduzione di FPD e FND) mantenendo prestazioni di verifica (TMR) competitive.
Superiorità di DeSCon-Hard: In tutti gli scenari di addestramento, sia bilanciati che sbilanciati, DeSCon-Hard è emerso come la variante più robusta. Ha ottenuto il miglior equilibrio tra prestazioni di verifica ed equità, fornendo riduzioni consistenti sia in FPD che in FND.
- Sul dataset RFW (test bilanciato), DeSCon-Hard ha ridotto significativamente il FPD rispetto alla baseline ArcFace.
- Sul dataset VGGFace2 (test sbilanciato), DeSCon-Hard ha mantenuto miglioramenti robusti dell'equità laddove altri metodi hanno mostrato risultati misti.
Risultati dell'Ablazione:
- Sostituire la SupCon con altre perdite di coppia (ad es., Triplet, Multi-Similarity) ha degradato le prestazioni, confermando la necessità dell'aggregazione basata su SoftMax su tutte le coppie non-mated per modellare la coda della distribuzione.
- Il mining dei negativi difficili (DeSCon-Hard) è stato identificato come la strategia di campionamento più efficace.
- Il metodo si è generalizzato bene a perdite con margine più forti come AdaFace.
Prestazioni nei Benchmark: Sui benchmark di verifica standard (LFW, CPLFW, AgeDB, IJB-C), le varianti di DeSCon hanno mantenuto un'accuratezza comparabile alla baseline ArcFace, con alcuni miglioramenti osservati sul complesso dataset IJB-C.

5. Significato e Rivendicazioni

Il documento afferma che DeSCon offre una soluzione pratica al compromesso tra equità e prestazioni. La sua importanza risiede in:

Equità Mirata: Concentrandosi sulle coppie non-mated "difficili" all'interno dei gruppi demografici, il metodo affronta direttamente la coda operativa della distribuzione dei punteggi, fondamentale per l'impiego nel mondo reale.
Nessun Overhead in Inferenza: A differenza dei metodi di normalizzazione post-hoc, DeSCon non richiede informazioni demografiche o calcoli aggiuntivi durante la fase di inferenza (verifica).
Robustezza: L'approccio rimane efficace anche quando i dati di addestramento sono demograficamente sbilanciati, uno scenario comune nella realtà.
Rigore Metodologico: Gli autori sottolineano l'importanza di aderire agli standard internazionali (ISO/IEC 19795-10) per la valutazione dell'equità, sostenendo che molte metriche esistenti (come l'accuratezza per gruppo con soglie separate) forniscono valutazioni eccessivamente ottimistiche e irrealistiche dell'equità.

Gli autori concludono che, sebbene DeSCon-Hard fornisca i miglioramenti di equità più robusti, la scelta della strategia di campionamento e della perdita di base è una decisione di design critica per l'addestramento consapevole dell'equità. Notano che il lavoro futuro dovrebbe concentrarsi sull'estensione di questo approccio a dataset su larga scala (ad es., WebFace-260M) dove le annotazioni demografiche sono attualmente non disponibili o inaffidabili.