Investigating Disability Representations in Text-to-Image Models

Cette étude examine les représentations des personnes handicapées dans les modèles de génération d'images comme Stable Diffusion XL et DALL-E 3, révélant des déséquilibres persistants et soulignant la nécessité d'évaluations continues pour promouvoir des portrayals plus inclusifs.

L'essentiel

🎨 L'Enquête : Quand l'IA dessine le handicap

Imaginez que vous avez deux peintres robots très talentueux (appelés Stable Diffusion et DALL·E 3). Vous leur donnez une instruction simple : "Peins une photo d'une personne avec un handicap."

Le but de cette étude, c'est de voir ce que ces robots peignent vraiment. Est-ce qu'ils représentent la diversité du handicap, ou est-ce qu'ils ont des "stéréotypes" cachés dans leur cerveau numérique ?

1. Le premier test : Le "Mannequin par défaut" 🪑

Les chercheurs ont demandé aux robots de dessiner une personne handicapée sans préciser laquelle.

• Ce qui s'est passé : Presque tous les robots ont dessiné une personne en fauteuil roulant.
• L'analogie : C'est comme si vous demandiez à un chef cuisinier de vous faire "un plat". S'il ne vous demande rien de plus, il vous sert systématiquement des pâtes, même si vous aimez aussi le poisson ou les légumes. Pour ces IA, le "fauteuil roulant" est le plat par défaut du handicap.
• Le résultat : Les robots ont beaucoup de mal à imaginer les autres types de handicaps (comme la cécité ou la surdité) quand on ne les précise pas. Ils sont "paresseux" et tombent dans le cliché le plus visible.

2. Le deuxième test : Les lunettes de couleur (L'émotion) 😊😢

Ensuite, les chercheurs ont demandé aux robots de dessiner des personnes avec des troubles mentaux (comme la dépression ou l'anxiété) et de comparer cela avec des handicaps physiques.

• Ce qui s'est passé :
  • Pour les handicaps physiques (aveugle, sourd, fauteuil roulant), les robots ont souvent dessiné des gens souriants, dans des lieux lumineux et joyeux. C'est comme si l'IA voulait dire : "Pas de problème, tout va bien !".
  • Pour les troubles mentaux, c'est le drame. Les robots ont dessiné des gens seuls, dans des pièces sombres, avec des visages tristes ou inquiets.
• L'analogie : C'est comme si l'IA utilisait deux filtres photo différents.
  • Pour le handicap physique, elle met un filtre "Vacances au soleil".
  • Pour le trouble mental, elle met un filtre "Film noir triste et dramatique".
• Le paradoxe : L'un des robots (DALL·E 3) est censé être plus "gentil" et mieux contrôlé par ses créateurs pour éviter les préjugés. Pourtant, les humains qui ont regardé les images ont trouvé que ce robot rendait les troubles mentaux encore plus sombres et dramatiques que l'autre ! C'est comme si, en voulant être prudent, il avait exagéré le côté "triste" pour être sûr de ne pas faire de mal, mais en a fait trop.

3. Les yeux des machines vs Les yeux des humains 👁️🧠

C'est là que ça devient intéressant.

• Les machines (les algorithmes) ont analysé les images et ont dit : "Oh, les visages sont neutres, tout va bien."
• Les humains, eux, ont dit : "Non, regardez l'ambiance, la lumière grise, la posture courbée... ça dégage une tristesse énorme."
• La leçon : Les machines sont parfois trop bêtes pour comprendre l'ambiance d'une photo. Elles regardent juste les détails techniques (le nez, la bouche), mais elles ratent l'histoire que raconte l'image.

🚀 En résumé : Pourquoi c'est important ?

Cette étude nous apprend trois choses essentielles :

1. L'IA a des préjugés : Si on ne lui dit pas exactement quoi faire, elle va toujours choisir le cliché le plus connu (le fauteuil roulant) et ignorer les autres réalités.
2. La "correction" peut être une erreur : Les entreprises essaient de rendre leurs IA plus inclusives, mais parfois, en voulant corriger un problème, elles en créent un autre (en rendant les troubles mentaux encore plus stéréotypés et négatifs).
3. Il faut des humains : On ne peut pas se fier uniquement aux calculs des robots pour juger de la justice ou de la représentation. Il faut l'œil humain pour comprendre les émotions et les contextes.

La morale de l'histoire ?
Pour que l'IA soit vraiment inclusive, il ne suffit pas de lui donner des règles strictes. Il faut lui apprendre à voir la diversité humaine dans toute sa complexité, sans tomber dans le piège de la "pitié" ou du "drame" excessif. Comme un bon photographe, l'IA doit apprendre à capturer la vie telle qu'elle est, pas telle qu'on imagine qu'elle devrait être.

Résumé technique

1. Problématique et Contexte

Les modèles génératifs de type « texte-vers-image » (T2I), tels que Stable Diffusion XL (SDXL) et DALL·E 3, ont réalisé des progrès remarquables dans la création d'images photoréalistes. Cependant, ces modèles, entraînés sur des données massives provenant d'Internet, héritent et reproduisent des biais sociaux, notamment liés au genre, à la race et à la géographie.

Le problème central de cette étude est l'sous-exploration des représentations du handicap dans ces modèles. Alors que les stéréotypes concernant les personnes en situation de handicap (PwD) sont bien documentés en sciences sociales (par exemple, la perception de chaleur mais d'incompétence), leur traitement par l'IA générative reste méconnu. L'étude vise à déterminer si ces modèles réduisent le handicap à un stéréotype unique (souvent le handicap physique/moteur) et comment les stratégies d'atténuation des biais (mitigation strategies) influencent la tonalité affective (positive, neutre, négative) des images générées, en particulier pour les troubles mentaux par rapport aux handicaps physiques.

2. Méthodologie

L'étude repose sur une conception expérimentale en deux parties comparant deux modèles de pointe : Stable Diffusion XL (SDXL) (modèle open-source avec filtrage de données limité) et DALL·E 3 (modèle propriétaire avec des stratégies d'atténuation robustes et un filtrage strict).

Expérience 1 : Représentation Générique vs Spécifique

• Objectif : Mesurer la similarité visuelle entre une représentation générique du handicap et des catégories spécifiques.
• Prompts :
  • Générique : « Photo d'une personne en situation de handicap » (sans contexte).
  • Spécifiques : « Photo d'une personne avec un handicap moteur », « ... aveugle », « ... sourde ».
• Analyse : Génération de 100 images par prompt et par modèle (total 800 images). Calcul des scores de similarité cosinus entre les embeddings CLIP des images générées par le prompt générique et celles des prompts spécifiques.
• Hypothèse : Une forte similarité entre le prompt générique et une catégorie spécifique indique que le modèle « par défaut » sur cette catégorie.

Expérience 2 : Impact des Stratégies d'Atténuation sur le Sentiment

• Objectif : Évaluer comment les stratégies de mitigation influencent le cadrage affectif (sentiment), en comparant les troubles mentaux (bipolarité, dépression, anxiété) aux handicaps physiques/sensoriels.
• Données : 300 images par catégorie de trouble mental pour chaque modèle (total 600 images), complétées par les données de l'expérience 1 pour les handicaps physiques.
• Évaluation :
  1. Automatique : Utilisation du système BLIP VQA pour générer des descriptions textuelles des images, suivies d'une analyse de polarité de sentiment (positif/neutre/négatif) via un classificateur RoBERTa.
  2. Humaine : Évaluation par trois évaluateurs humains via des comparaisons par paires (modèle vs modèle ; trouble mental vs handicap physique) pour juger de la négativité perçue (ambiance, expressions faciales, contexte).

3. Contributions Clés

• Quantification du biais de « défaut » : Première mesure quantitative montrant que les prompts génériques sur le handicap convergent massivement vers le handicap moteur (fauteuil roulant), marginalisant les handicaps sensoriels (cécité, surdité).
• Analyse comparative des stratégies de mitigation : Mise en évidence du paradoxe selon lequel des modèles avec des filtres plus stricts (DALL·E 3) peuvent, paradoxalement, renforcer certains stéréotypes négatifs (notamment pour les troubles mentaux) tout en diversifiant les représentations physiques.
• Divergence Évaluation Automatique vs Humaine : Démonstration que l'analyse automatique (basée sur les mots-clés) et l'évaluation humaine (basée sur le contexte global et l'ambiance) peuvent conduire à des conclusions opposées concernant la tonalité des images.

4. Résultats Principaux

Représentation du Handicap (Expérience 1)

• Dominance du handicap moteur : Pour les deux modèles, les images générées par le prompt générique (« personne en situation de handicap ») sont visuellement beaucoup plus proches des images de « handicap moteur » que de celles de « cécité » ou de « surdité ».
• Différence entre modèles : SDXL présente un biais plus fort vers le handicap moteur (similarité moyenne de 0,90) que DALL·E 3 (0,84). DALL·E 3 montre une distribution plus équilibrée, bien que les handicaps sensoriels restent sous-représentés.
• Conclusion : Les modèles réduisent l'expérience diverse du handicap à un seul stéréotype visuel (la mobilité réduite).

Cadrage Affectif et Troubles Mentaux (Expérience 2)

• Divergence des méthodes d'évaluation :
  • Analyse automatique (BLIP) : Indique que SDXL génère plus de descriptions négatives pour les troubles mentaux, tandis que DALL·E 3 produit plus de termes positifs.
  • Évaluation humaine : Les évaluateurs jugent les images de DALL·E 3 comme étant plus négatives que celles de SDXL pour les troubles mentaux.
• Explication de la divergence : DALL·E 3 génère des scènes contextuellement riches (arrière-plans sombres, isolement, postures suggérant l'anxiété) que l'analyse textuelle automatique (focalisée sur les mots comme « triste » ou « calme ») ne capture pas toujours. SDXL, bien que moins diversifié, produit des contextes moins « dépossédants ».
• Troubles mentaux vs Handicaps physiques : Dans les deux modèles, les troubles mentaux sont systématiquement représentés de manière plus négative que les handicaps physiques/sensoriels. DALL·E 3 accentue cette disparité : il représente les handicaps physiques de manière positive (environnements lumineux, sourires) mais les troubles mentaux dans des cadres sombres et isolés, amplifiant ainsi le stéréotype de la « folie » dangereuse ou tragique.

5. Signification et Implications

Cette étude révèle que les stratégies d'atténuation des biais dans les modèles T2I ne sont pas une solution miracle et peuvent avoir des effets secondaires inattendus :

1. Renforcement des stéréotypes par la mitigation : Les filtres stricts de DALL·E 3, conçus pour éviter les contenus toxiques, semblent avoir conduit à une sur-représentation de contextes dramatiques pour les troubles mentaux, renforçant involontairement des stéréotypes de vulnérabilité ou de dangerosité.
2. Limites de l'évaluation automatique : L'analyse purement textuelle ou basée sur des mots-clés est insuffisante pour évaluer la représentation du handicap, car elle ignore les nuances contextuelles et atmosphériques cruciales pour la perception humaine.
3. Appel à l'inclusion : Il est impératif d'impliquer les communautés de personnes en situation de handicap dans les processus d'évaluation et de conception des modèles, car les perceptions générales (non-handicapées) peuvent ne pas refléter la réalité vécue ou les besoins de représentation.

En conclusion, l'article plaide pour une évaluation continue et nuancée des modèles génératifs, intégrant à la fois des métriques de diversité et une analyse qualitative fine des cadrages affectifs, afin d'éviter que l'IA ne perpétue ou n'amplifie les exclusions sociales.