WIDER-FAIR: An Annotated Version of the WIDER-FACE Dataset for Fairness Evaluation
Cet article introduit WIDER-FAIR, un nouveau jeu de données étendant le benchmark WIDER-FACE avec des annotations manuelles pour l'ethnicité et le sexe afin de permettre l'évaluation de l'équité, démontrant par des expériences que les modèles de détection de visages présentent des disparités de performance significatives, particulièrement envers les personnes noires.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez que vous possédez un immense album photo chaotique rempli de clichés de foules, de scènes de rue et d'événements. Cet album s'appelle WIDER-FACE, et il a été la « référence absolue » pour apprendre aux ordinateurs à repérer les visages humains dans les photos. Mais il y a un hic : l'album ne possède aucune étiquette indiquant qui se trouve sur les photos. Vous ne savez pas si les personnes sont des hommes ou des femmes, ni quels sont leurs origines ethniques.
À cause de cette information manquante, il est impossible de vérifier si l'ordinateur est équitable. Est-il doué pour repérer les visages de tous les types de personnes, ou devient-il simplement très performant pour repérer les visages qui ressemblent à la majorité des photos sur lesquelles il a été entraîné ?
Entrez en scène : WIDER-FAIR.
Les auteurs de cet article ont pris cet immense album non étiqueté et ont créé une nouvelle version annotée appelée WIDER-FAIR. Imaginez que vous engagiez un bibliothécaire très méticuleux pour passer en revue chaque photo de l'album et y ajouter un post-it sur chaque visage. Le bibliothécaire a noté deux choses pour chaque visage qu'il pouvait clairement voir :
- Sexe perçu : Cette personne est-elle un homme ou une femme ?
- Ethnicité perçue : Cette personne semble-t-elle être asiatique, noire, indienne ou blanche ?
Note : L'article souligne que ce sont des étiquettes « perçues » basées sur ce que le bibliothécaire voit dans la photo, et non sur l'identité réelle de la personne, car les photos originales ne contenaient pas cette information.
Le contrôle de « Qualité »
Avant de faire confiance à ce nouvel album annoté, les auteurs voulaient s'assurer que le bibliothécaire n'avait pas fait de bêtises. Ils ont utilisé quelques astuces pour vérifier le travail :
- Le test des « Ressemblances » : Ils ont utilisé un programme informatique pour regrouper les visages qui se ressemblent. Ils ont constaté que les visages étiquetés comme « Noirs » avaient tendance à se regrouper, et que les visages étiquetés comme « Blancs » se regroupaient également, tout comme on pouvait s'y attendre. Cela suggérait que le bibliothécaire était cohérent.
- Le « Jeu de devinettes » : Ils ont entraîné un ordinateur simple pour deviner les étiquettes à partir des photos. L'ordinateur a trouvé les bonnes réponses la plupart du temps, ce qui leur a donné la certitude que les étiquettes étaient suffisamment précises pour être utilisées.
La grande expérience : Que se passe-t-il quand nous cachons des groupes ?
La partie la plus intéressante de l'article est ce qui s'est passé lorsqu'ils ont essayé d'enseigner à un ordinateur de détection de visages (plus précisément un modèle appelé YOLOv5) en utilisant ce nouvel album. Ils ont mené une série d'expériences où ils jouaient à un jeu de « Cache-cache » avec les données :
- La référence (Baseline) : D'abord, ils ont enseigné à l'ordinateur en utilisant l'album entier (toutes les ethnies et tous les sexes). Ils ont constaté que l'ordinateur était généralement bon, mais qu'il avait le plus de mal avec les visages des personnes noires. C'était comme un étudiant qui étudie dur mais qui continue de rater les questions portant sur un chapitre spécifique.
- Le test de l'« Exclusion » : Ensuite, ils ont essayé d'entraîner l'ordinateur sans certains groupes.
- Lorsqu'ils ont retiré les visages asiatiques, indiens ou blancs des données d'entraînement, les performances de l'ordinateur pour les autres groupes n'ont pas beaucoup changé.
- Cependant, lorsqu'ils ont retiré les visages noirs des données d'entraînement, la capacité de l'ordinateur à détecter les visages noirs a chuté de manière significative. Pire encore, l'écart entre sa capacité à détecter les visages noirs par rapport aux autres visages s'est considérablement creusé.
La métaphore : Imaginez un chef apprenant à cuisiner un ragoût. S'il s'entraîne avec du bœuf, du poulet et du porc, il apprend à manipuler les trois. Si vous retirez le porc de son entraînement, il pourra toujours être correct avec le bœuf et le poulet. Mais si vous retirez complètement le bœuf, et que vous lui demandez ensuite de cuisiner un ragoût de bœuf, il échouera lamentablement. L'article a découvert que le groupe des « visages noirs » était l'ingrédient le plus critique pour que l'ordinateur apprenne à être équitable et précis sur l'ensemble du spectre.
Ce qu'il faut retenir
L'article conclut que pour construire un système de détection de visages équitable, on ne peut pas simplement jeter un tas de photos à un ordinateur en espérant que tout se passera bien. Il faut des données qui incluent explicitement des groupes diversifiés.
Les auteurs préviennent que, puisqu'un humain a effectué tout l'étiquetage, il peut y avoir des biais involontaires ou des erreurs dans les notes. Cependant, ils estiment que cet ensemble de données est un outil vital. Il permet aux chercheurs de cesser de deviner et de commencer à mesurer précisément où et pourquoi leurs modèles de détection de visages traitent les gens de manière injuste, en soulignant spécifiquement que l'exclusion des visages noirs des données d'entraînement provoque la plus forte baisse de l'équité.
En résumé : WIDER-FAIR est un album photo étiqueté conçu pour nous aider à repérer les angles morts de notre technologie, afin de garantir que les détecteurs de visages fonctionnent pour tout le monde, et pas seulement pour certains.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.