WIDER-FAIR: An Annotated Version of the WIDER-FACE Dataset for Fairness Evaluation
Questo articolo introduce WIDER-FAIR, un nuovo dataset che estende il benchmark WIDER-FACE con annotazioni manuali per etnia e sesso per consentire la valutazione dell'equità, dimostrando attraverso esperimenti che i modelli di rilevamento dei volti esibiscono disparità di prestazioni significative, in particolare nei confronti delle persone nere.
Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo
Immagina di avere un enorme e caotico album fotografico pieno di immagini di folle, scene di strada ed eventi. Questo album si chiama WIDER-FACE, ed è stato il "gold standard" per insegnare ai computer come individuare i volti umani nelle foto. Ma c'è un problema: l'album non ha etichette che dicano chi è presente nelle foto. Non sai se le persone siano uomini o donne, o quale sia il loro background etnico.
A causa di questa informazione mancante, è impossibile verificare se il computer stia essendo equo. È bravo a individuare i volti di tutti i tipi di persone, o diventa davvero bravo solo a individuare i voli che somigliano alla maggioranza delle foto su cui è stato addestrato?
Entra in scena WIDER-FAIR.
Gli autori di questo articolo hanno preso quell'enorme album non etichettato e ne hanno creato una nuova versione annotata chiamata WIDER-FAIR. Pensa a questo come ad assumere un bibliotecario molto meticoloso che vada a esaminare ogni singola foto e aggiunga un post-it a ogni volto. Il bibliotecario ha scritto due cose per ogni volto che riusciva a vedere chiaramente:
- Sesso Percepito: Questa persona è maschio o femmina?
- Etnia Percepita: Questa persona sembra essere asiatica, nera, indiana o bianca?
Nota: Il documento sottolinea che si tratta di etichette "percepite" basate su ciò che il bibliotecario vede nella foto, non sull'identità reale della persona, perché non esistevano informazioni su di essa nelle foto originali.
Il controllo di "Controllo Qualità"
Prima di fidarsi di questo nuovo album annotato, gli autori volevano assicurarsi che il bibliotecario non avesse fatto un pasticcio. Hanno usato alcuni trucchi per controllare il lavoro:
- Il test del "Somigliante": Hanno usato un programma per computer per raggruppare i volti che si somigliano. Hanno scoperto che i volti etichettati come "Neri" tendevano a raggrupparsi insieme, e i volti etichettati come "Bianchi" si raggruppavano insieme, proprio come ci si aspetterebbe. Ciò suggeriva che il bibliotecario fosse coerente.
- Il "Gioco dell'Indovino": Hanno addestrato un semplice computer per indovinare le etichette basandosi sulle foto. Il computer dava le risposte corrette la maggior parte delle volte, il che ha dato loro la fiducia che le etichette fossero abbastanza accurate da poter essere utilizzate.
Il Grande Esperimento: Cosa succede quando nascondiamo dei gruppi?
La parte più interessante dell'articolo è ciò che è accaduto quando hanno cercato di insegnare a un computer di rilevamento facciale (specificamente un modello chiamato YOLOv5) usando questo nuovo album. Hanno eseguito una serie di esperimenti in cui giocavano a "Nascondino" con i dati:
- Il Baseline: Per prima cosa, hanno insegnato al computer usando l'intero album (tutte le etnie e i sessi). Hanno scoperto che il computer era generalmente bravo, ma faticava di più con i volti di individui neri. Era come uno studente che studia sodo ma continua a sbagliare le domande su un capitolo specifico.
- Il Test "Lascia Uno Fuori": Successivamente, hanno provato ad addestrare il computer senza determinati gruppi.
- Quando hanno rimosso i volti asiatici, indiani o bianchi dai dati di addestramento, le prestazioni del computer non sono cambiate troppo per gli altri gruppi.
- Tuttavia, quando hanno rimosso i volti neri dai dati di addestramento, la capacità del computer di rilevare i volti neri è scesa significativamente. Ancora peggio, il divario tra quanto bene rilevava i volti neri rispetto agli altri volti si è ampliato notevolmente.
La Metafora: Immagina uno chef che impara a cucinare uno stufato. Se pratica con manzo, pollo e maiale, impara a gestire tutti e tre. Se togli il maiale dalla sua pratica, potrebbe comunque cavarsela con manzo e pollo. Ma se togli completamente il manzo, e poi gli chiedi di cucinare uno stufato di manzo, fallirà miseramente. Il documento ha scoperto che il gruppo dei "volti neri" era l'ingrediente più critico affinché il computer imparasse a essere equo e accurato in tutto il complesso.
La Conclusione
L'articolo conclude che, per costruire un sistema di rilevamento facciale equo, non puoi solo lanciare un mucchio di foto a un computer e sperare nel meglio. Hai bisogno di dati che includano esplicitamente gruppi diversi.
Gli autori avvertono che, poiché un essere umano ha fatto tutta la catalogazione, potrebbero esserci dei pregiudizi involontari o degli errori nelle note. Tuttavia, credono che questo dataset sia uno strumento vitale. Permette ai ricercatori di smettere di tirare a indovinare e iniziare a misurare esattamente dove e perché i loro modelli di rilevamento facciale potrebbero trattare le persone in modo ingiusto, evidenziando specificamente che l'esclusione dei volti neri dai dati di addestramento causa il calo più grande nella capacità di equità (fairness).
In breve: WIDER-FAIR è un album fotografico etichettato progettato per aiutarci a individuare i punti ciechi della nostra tecnologia, assicurando che i rilevatori di volti funzionino per tutti, non solo per alcuni.
Sommerso dagli articoli nel tuo campo?
Ricevi digest giornalieri degli articoli più recenti corrispondenti alle tue parole chiave di ricerca — con riassunti tecnici, nella tua lingua.