Beyond wheelchairs and blindfolds: Investigating disability stereotypes in T2I models with INCLUDE-BENCH
Cet article présente INCLUDE-BENCH, le premier benchmark à grande échelle pour évaluer les biais liés au handicap dans les modèles de texte-vers-image, révélant que les systèmes actuels s'appuient systématiquement sur des stéréotypes étroits comme les fauteuils roulants et présentent un alignement plus marqué avec les associations préjudiciables du monde réel lors de la représentation de personnes en situation de handicap.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez que vous possédez une machine à art magique capable de dessiner tout ce que vous décrivez. Vous dites : « Dessine un chef », et elle recrache l'image d'une personne portant un chapeau blanc en train de cuisiner. Vous dites : « Dessine une personne en situation de handicap », et... eh bien, c'est là que la magie devient un peu défaillante.
Une équipe de chercheurs de l'Université d'Utrecht a décidé de tester ce bug avec un nouvel outil de test géant appelé INCLUDE-BENCH. Ils ne voulaient pas seulement voir si les machines étaient « biaisées » ; ils voulaient savoir comment elles l'étaient, en utilisant un immense ensemble de données de 119 680 images générées. Ils ont demandé à 17 moteurs de création artistique différents (certains en open-source, accessibles à tous, et deux autres fermés et secrets) de dessiner des personnes handicapées dans toutes sortes de situations.
Voici ce qu'ils ont découvert, servi avec une bonne dose de réalité.
Le raccourci du « fauteuil roulant »
La plus grande surprise ? Les machines sont obsédées par les fauteuils roulants. Lorsque les chercheurs demandaient une personne « à mobilité réduite » ou simplement une personne « handicapée » de manière générique, presque tous les modèles se précipitaient immédiatement sur le fauteuil roulant. C'est comme si vous demandiez à un chef de dessiner un « boulanger », et qu'il ne dessinait que quelqu'un tenant un rouleau à pâtisserie, ignorant les fours, la farine ou le pain lui-même.
L'article montre que pour ces requêtes spécifiques, les machines sont incroyablement constantes pour dessiner le fauteuil roulant, mais elles sont terribles pour dessiner tout le reste. C'est un raccourci visuel. Les machines se disent : « Oh, handicap ? Ça veut dire fauteuil roulant », et elles s'arrêtent là.
Le filtre « vieux et triste »
Les machines semblent aussi avoir un filtre étrange concernant l'âge et l'humeur. Lorsqu'elles dessinaient des personnes ayant des problèmes de mobilité, elles étaient majoritairement âgées. Si la personne était une femme, elle était souvent dessinée dans une maison, en train de cuisiner ou de nettoyer. Si la personne était un homme, il était souvent à l'extérieur, dans un parc ou un musée.
Les chercheurs ont découvert que les machines jouent essentiellement à un jeu de « bingo des stéréotypes ». Elles choisissent les indices les plus évidents et reconnaissables (comme un fauteuil roulant ou un bandeau sur les yeux) pour s'assurer que vous identifiiez la personne, mais ce faisant, elles effacent tous les autres détails. Elles ne montrent pas un groupe diversifié de personnes vivant leur vie ; elles montrent un ensemble très étroit, très âgé et très spécifique de personnages.
Le compromis entre « Alignement et Diversité »
Voici une façon amusante de penser à la mathématique derrière la magie. Les chercheurs ont mesuré deux choses :
- L'alignement : À quel point l'image correspond-elle aux mots que vous avez tapés ?
- La diversité : À quel point les images sont-elles différentes les unes des autres ?
Ils ont découvert un compromis amusant. Les images qui correspondaient le mieux aux mots « mobilité réduite » ou « handicapé » (alignement élevé) étaient les moins diverses. Elles se ressemblaient toutes presque exactement : une personne âgée en fauteuil roulant.
Mais lorsqu'ils demandaient des personnes « aveugles » ou « sourdes », les images étaient un peu plus diverses. On pouvait voir une personne avec une canne, ou quelqu'un portant des lunettes de soleil, ou peut-être juste quelqu'un ayant l'air pensif. Mais même là, les machines revenaient sans cesse aux vieux réflexes, comme dessiner des bandeaux sur les yeux ou des gestes spécifiques des mains.
Le score « Chaleur et Compétence »
Les chercheurs ont même inventé une nouvelle façon de noter les images, appelée le score SCM. Imaginez un graphique où un axe est « À quel point cette personne semble gentille ? » (Chaleur) et l'autre est « À quel point elle semble capable ? » (Compétence).
Dans le monde réel, les gens pensent souvent que les personnes handicapées sont « gentilles mais pas très capables ». L'article a trouvé que les machines artistiques copient exactement cette ambiance. Les images de personnes en fauteuil roulant ont obtenu des scores faibles en matière de « compétence ». Elles paraissaient moins capables que les images de personnes sans handicap. Même lorsque les chercheurs demandaient aux machines de dessiner ces personnes en train de faire des activités actives (comme marcher ou discuter), les machines avaient toujours du mal à les faire paraître capables.
Ce que les machines ont raté (et ce qu'elles n'ont pas testé)
Il est important de savoir ce que ce test n'a pas fait. Les chercheurs ont explicitement précisé qu'ils n'ont pas testé les handicaps cognitifs ou intellectuels. Pourquoi ? Parce qu'on ne peut pas toujours les « dessiner » de manière visible. On ne peut pas vraiment « dessiner » un processus de pensée de la même manière qu'on dessine un fauteuil roulant. Ainsi, les résultats obtenus concernent strictement ce qui est visible.
De plus, l'article ne prétend pas avoir « résolu » le problème. Ils n'ont pas trouvé de bouton magique pour éteindre le biais. Au lieu de cela, ils ont construit un immense ruban à mesurer (INCLUDE-BENCH) pour nous montrer exactement à quel point le ruban à mesurer est cassé en ce moment. Ils ont constaté que même en essayant de changer le contexte (en demandant une personne dans un café plutôt que dans un parc), les machines restaient fortement ancrées dans les stéréotypes.
La conclusion
L'article suggère que ces machines artistiques ne font pas seulement des erreurs accidentelles ; elles reproduisent activement les mêmes récits étroits et stéréotypés que nous voyons dans le monde réel. Elles surpondèrent les indices « diagnostiques » (le fauteuil roulant, la canne) et ignorent tout le reste de l'être humain.
Les chercheurs sont assez certains de cela car ils ont généré près de 120 000 images et les ont vérifiées avec des outils mathématiques et d'IA. Ils ne devinent pas ; ils ont mesuré. Et la mesure dit : si vous voulez voir une personne réelle, diverse et capable avec un handicap, vous ne pouvez pas encore simplement demander à la machine. La machine est encore coincée dans la boucle « fauteuil roulant et vieillesse ».
Ainsi, bien que la technologie soit incroyable, elle est encore en plein apprentissage pour comprendre qu'une personne est bien plus qu'un simple handicap. En attendant, la machine à art magique ne fait que redessiner la même vieille histoire, encore et encore.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.