BAFIS: Dataset + Framework to assess occupational Bias and Human Preference in modern Text-to-image Models
Cet article présente BAFIS, un ensemble de données et un cadre comprenant 21 140 images multilingues et des retours de préférences humaines, afin d'évaluer et de révéler les biais professionnels systématiques dans cinq modèles de génération d'images à partir de texte de premier plan, démontrant la nécessité critique d'incorporer le jugement humain aux côtés des métriques établies pour développer des systèmes d'IA plus équitables.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez que vous possédez une machine à peinture magique. Vous tapez une description comme « un médecin » et elle peint instantanément une image. Pendant longtemps, les gens ont pensé que ces machines n'étaient que des outils neutres, comme un appareil photo. Mais cet article soutient que ces machines ressemblent davantage à des miroirs biaisés — elles ne se contentent pas de montrer la réalité ; elles montrent une version déformée de celle-ci basée sur ce qu'elles ont appris d'Internet.
Les auteurs de cet article, Thomas, Adrian et Biying, ont voulu tester cinq des « machines à peinture » les plus populaires (Midjourney, Stable Diffusion, DALL-E 3, Playground et FLUX) pour voir comment elles gèrent les métiers et les personnes. Ils ont construit un terrain d'essai spécial appelé BAFIS (Battle-Arena for Fair Image Synthesis).
Voici un aperçu de leurs découvertes en utilisant des analogies simples :
1. L'Arène : BAFIS
Considérez BAFIS comme un concours de dégustation à l'aveugle.
- La configuration : Au lieu de simplement laisser un ordinateur noter les images, ils ont mis deux machines différentes en « bataille ».
- Le concours : Un utilisateur voit un prompt (ex. : « une infirmière ») et deux images anonymes générées par deux machines différentes.
- Le vote : L'utilisateur vote sur trois critères :
- Biais : L'image ressemble-t-elle à un mélange réaliste de personnes, ou ne montre-t-elle qu'un seul type ?
- Qualité : L'image est-elle belle et claire ?
- Alignement : L'image correspond-elle réellement aux mots que vous avez tapés ?
- Le score : Ils ont utilisé un système de classement (comme le classement aux échecs) pour voir quelle machine remportait le plus de votes.
2. Le Jeu de Données : Une immense bibliothèque de métiers
Pour s'assurer que le test soit équitable, ils n'ont pas seulement demandé « un docteur ». Ils ont créé une immense bibliothèque de 21 140 images basées sur 1 057 descriptions de métiers différents.
- Ils ont utilisé deux langues : l'anglais et l'allemand.
- Ils ont essayé différentes façons de demander :
- Direct : « Une photo d'un comptable masculin. »
- Indirect : « Une photo d'une personne qui gère les finances. »
- Groupes : « Une photo d'un groupe de comptables. »
- Ils ont comparé les résultats aux statistiques du monde réel du gouvernement allemand (comme vérifier une recette par rapport à la liste réelle des ingrédients) pour voir si les machines mentaient sur l'identité de ceux qui occupent ces emplois.
3. Les Résultats : Ce que les machines ont mal compris
Le problème du genre (La division « Construction vs Soins »)
Les machines ont des stéréotypes de genre très marqués.
- Construction et Ingénierie : Lorsqu'on leur demande de dessiner ces métiers, les machines dessinent presque toujours des hommes. C'était comme si elles pensaient que seuls les hommes pouvaient construire des choses.
- Santé et Travail de bureau : Lorsqu'on demandait de dessiner des infirmières ou des employés de bureau, les machines penchaient fortement vers les femmes.
- La surprise : Une machine, DALL-E 3, était la plus équilibrée. Elle dessinait des hommes et des femmes de manière presque égale, comme un lancer de pièce équitable. Une autre machine, FLUX, dessinait en fait plus de femmes que d'hommes pour certains métiers, ce qui est un nouveau type de biais.
Le problème de l'ethnicité (Le « Mur Blanc »)
C'était le problème majeur. Peu importe le métier demandé, les machines dessinaient de manière écrasante des visages blancs.
- C'était comme si les machines avaient un réglage par défaut qui disait : « Si vous ne précisez pas de race, faites-les blancs. »
- Ce biais était même plus fort en allemand qu'en anglais. Lorsque le prompt était en allemand, les machines dessinaient encore moins de visages non blancs.
- DALL-E 3 était la seule machine capable de maintenir le pourcentage de visages blancs en dessous de 50 % dans les deux langues, ce qui en faisait la plus diversifiée.
Le score « Humain vs Robot »
C'est ici que cela devient délicat. L'article a trouvé que les métriques informatiques (des formules mathématiques qui évaluent la qualité de l'image) étaient souvent en désaccord avec les ressentis humains.
- Qualité de l'image : Une machine appelée FLUX a été jugée par les humains comme étant la plus belle et la plus réaliste. Cependant, la mathématique informatique (score FID) disait que DALL-E 3 était la meilleure.
- La conclusion : Les formules mathématiques sont comme un robot essayant de juger une peinture ; elles mesurent les pixels mais ratent « l'âme » ou le sentiment que les humains éprouvent en regardant une image. Les humains préféraient FLUX, même si les maths disaient le contraire.
Le tour de force linguistique
- DALL-E 3 possède une arme secrète : elle réécrit votre prompt. Si vous tapez un prompt en allemand, elle le traduit secrètement et l'ajuste en anglais avant de peindre. Cela l'a aidée à mieux comprendre la requête et à obtenir des scores plus élevés pour l'« alignement » (la correspondance avec les mots) lors des batailles en allemand.
- Stable Diffusion 3 était la championne pour les prompts en anglais, mais elle avait du mal avec l'allemand.
4. La Conclusion
L'article conclut que ces machines à peinture IA ne sont pas neutres. Elles portent les biais des données sur lesquelles elles ont été entraînées.
- Elles surreprésentent les hommes dans les métiers « difficiles » et les femmes dans les métiers de « soin ».
- Elles reviennent presque toujours par défaut à des visages blancs.
- Les tests informatiques ne suffisent pas. Nous devons demander aux vrais humains ce qu'ils pensent car les mathématiques ne capturent pas toujours ce qui nous semble « juste » ou « réel ».
Les auteurs suggèrent que pour corriger cela, les développeurs doivent écouter plus attentivement les retours humains et vérifier leurs machines par rapport aux statistiques du monde réel, et non seulement via des formules informatiques. Ils ont construit BAFIS pour que, à l'avenir, nous puissions continuer à tenir ces machines responsables dans une « arène de combat » afin de garantir qu'elles deviennent plus équitables.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.