Picturing Perceptions: An Open-Source Toolkit to Uncover Bias in Humans and Machines
Cet article présente PictoPercept, un ensemble d'outils open-source qui utilise des comparaisons visuelles par choix forcé par rapport à des données réelles sur le travail pour mesurer et révéler des biais significatifs, et souvent divergents, tant dans le jugement humain que dans les systèmes d'IA concernant les revenus entre différents groupes démographiques.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez que vous essayiez de deviner qui gagne le plus d'argent simplement en regardant son visage. Devineriez-vous correctement ? Ou votre cerveau s'appuierait-il sur de vieux stéréotypes, comme un GPS défectueux qui vous envoie sans cesse sur la mauvaise route ?
Ce document présente un nouvel outil appelé PictoPercept (pour « Picturing Perceptions » — l'imagerie des perceptions) conçu pour tester précisément cela. C'est comme un « détecteur de biais » qui fonctionne aussi bien pour les humains que pour les ordinateurs.
Voici l'histoire de ce que les chercheurs ont fait et de ce qu'ils ont trouvé, expliquée simplement :
Le Problème : Les anciens outils étaient défaillants
Pendant des années, les scientifiques ont tenté de mesurer les biais à l'aide de sondages (en demandant directement aux gens) ou de tests de temps de réaction (en mesurant la rapidité avec laquelle les gens cliquent sur des boutons).
- Les sondages sont comme demander à quelqu'un : « Êtes-vous raciste ? ». La plupart des gens diront « Non » parce qu'ils veulent donner une bonne image d'eux-mêmes. C'est comme demander à un voleur s'il vole ; il mentira.
- Les tests de réaction sont comme un jeu vidéo où vous devez trier des mots rapidement. Mais les ordinateurs n'ont pas de « temps de réaction » de la même manière que les humains, donc ces tests ne pouvaient pas être utilisés pour vérifier si une IA était biaisée.
- La carte manquante : Aucun de ces anciens outils ne vérifiait si les suppositions des gens correspondaient à la réalité. Ils mesuraient simplement si les gens préféraient le Groupe A au Groupe B, sans demander : « Le Groupe A est-il réellement plus riche ou plus pauvre dans le monde réel ? »
La Solution : Un jeu visuel à « choix forcé »
Les chercheurs ont construit PictoPercept, un ensemble d'outils open-source (ce qui signifie que n'importe qui peut l'utiliser gratuitement).
- Le Jeu : Vous voyez deux visages sur un écran. L'instruction est : « Qui est le plus susceptible d'avoir des revenus plus élevés ? ». Vous devez en choisir un. Vous ne pouvez pas dire « Je ne sais pas ».
- L'Astuce : Les visages sont soigneusement appariés pour qu'ils paraissent également attrayants et dignes de confiance. La seule différence est leur race et leur genre.
- La Carte : Les chercheurs ont comparé vos choix aux données réelles du Bureau of Labor Statistics des États-Unis. Si les données indiquent que les hommes asiatiques sont les plus riches, mais que vous choisissez systématiquement les hommes latinos comme étant les plus gros revenus, l'outil calcule cela comme un « score de biais ».
Ils ont testé cela sur 283 adultes américains réels et ont également soumis exactement les mêmes images à GPT-5, un modèle d'IA puissant.
Les Grandes Surprises (Les Résultats)
1. L'angle mort du « Modèle de réussite »
La plus grande surprise concernait les Américains d'origine asiatique.
- La Réalité : Selon les données gouvernementales, les Américains d'origine asiatique sont en fait le groupe ayant les revenus les plus élevés aux États-Unis.
- La Perception : Les gens ont sous-estimé leurs revenus de façon spectaculaire. Même face à des visages d'hommes et de femmes asiatiques, les gens devinaient qu'ils gagnaient moins qu'ils ne le font réellement.
- L'Ironie : Même les participants asiatiques de l'étude ont sous-estimé les revenus de leur propre groupe ! C'est comme si tout le pays avait un angle mort concernant la réussite de ce groupe, peut-être parce qu'ils ne sont pas assez représentés dans les rôles de leadership ou dans les médias.
2. Le Mythe de l'« Endogroupe »
Nous pensons souvent que les gens favorisent toujours leur propre groupe (par exemple, les Blancs favorisant les Blancs, les Noirs favorisant les Noirs).
- La Réalité : Ce n'était pas vrai pour tout le monde.
- Les hommes blancs ont montré un certain favoritisme, surestimant les revenus de leur propre groupe.
- Les participants asiatiques, cependant, ont fait l'inverse. Ils ont sous-estimé leur propre groupe de manière significative. Ils ne se contentaient pas d'ignorer le biais ; ils pensaient activement que leur propre groupe gagnait moins qu'il ne le faisait réellement.
- D'autres groupes (comme les participants noirs et latinos) étaient étonnamment précis concernant leurs propres groupes, ne montrant aucun favoritisme ou biais marqué.
3. L'IA est encore plus biaisée
Lorsqu'ils ont testé GPT-5 (l'IA), les résultats ont été effrayants.
- L'IA ne s'est pas contentée de mimer le biais humain ; elle l'a amplifié.
- L'IA était extrêmement mauvaise pour juger les femmes. Elle pensait systématiquement que tous les groupes féminins gagnaient beaucoup moins que ce qu'ils gagnent réellement.
- Elle pensait que tous les groupes masculins gagnaient beaucoup plus.
- Si les humains faisaient des erreurs, les erreurs de l'IA étaient énormes, constantes et extrêmes. C'est comme un élève qui non seulement se trompe dans la réponse, mais se trompe d'un facteur dix.
Pourquoi cela importe
Cet article soutient que le biais n'est pas seulement une question de « haine » envers un groupe ; c'est une question de perception déformée de la réalité.
- Si vous pensez qu'un groupe gagne moins qu'il ne le fait, vous pourriez le traiter injustement lors de l'embauche ou de l'octroi de prêts.
- L'outil montre que nos cerveaux (et nos ordinateurs) fonctionnent souvent avec des logiciels obsolètes qui ne correspondent pas au monde réel.
À retenir
PictoPercept est une nouvelle façon open-source de vérifier si nos perceptions correspondent à la réalité. Il a révélé que :
- Nous sommes aveugles aux hauts revenus des Américains d'origine asiatique.
- Nous ne favorisons pas toujours nos propres groupes ; parfois, nous nous sous-estimons.
- Les modèles d'IA comme GPT-5 sont actuellement beaucoup plus biaisés que les humains, surtout envers les femmes.
Les auteurs suggèrent qu'avant de laisser l'IA prendre de grandes décisions (comme accorder un prêt ou un emploi), nous avons besoin d'outils comme celui-ci pour vérifier si l'IA regarde le monde à travers un miroir déformant.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.