Beyond Categories of Caste: Examining Caste Bias and Morality in Text-to-Image AI Models

Imaginez que vous ayez un robot artiste magique et super intelligent. Vous pouvez lui dire : « Dessine une personne en train de déjeuner », ou « Dessine deux personnes en train d'étudier ensemble », et il créera une image instantanément. C'est ce que fait l'IA de texte-vers-image (Text-to-Image AI).

Cependant, cet article soutient que ce robot artiste n'est pas une simple toile vierge. Il a été entraîné sur des millions d'images provenant d'Internet et, malheureusement, il a appris des règles très anciennes et très nuisibles sur la façon dont les gens doivent être traités en fonction de leur origine. Plus précisément, les chercheurs ont étudié la manière dont l'IA gère la caste en Asie du Sud (un système de hiérarchie sociale en Inde).

Voici le détail de leurs découvertes en termes simples :

1. L'ancienne façon de voir le problème

Les chercheurs précédents traitaient la caste comme une case à cocher. Ils pensaient que l'IA était biaisée parce qu'elle voyait un nom comme « Sharma » (souvent de caste supérieure) et dessinait une personne riche, ou voyait un nom comme « Kumar » (souvent de caste inférieure) et dessinait une personne pauvre. Ils pensaient que le problème concernait simplement les étiquettes.

La nouvelle idée de l'article :
Les auteurs affirment que c'est trop simpliste. La caste n'est pas seulement une étiquette sur un badge ; c'est une relation. C'est comme un script qui dit aux gens qui ils sont par rapport aux autres. L'IA ne se contente pas d'étiqueter mal les gens ; elle joue un script profond et invisible qui décide qui mérite la dignité et qui mérite de servir.

2. L'expérience du « Miroir Magique »

Pour tester cela, les chercheurs n'ont pas seulement demandé à l'IA de dessiner « un Brahmin » ou « un Dalit ». Ils lui ont demandé de dessiner des scènes de la vie quotidienne en utilisant des noms qui étaient :

• Clairement de caste supérieure.
• Clairement de caste inférieure.
• Ambigus (des noms qui pourraient appartenir à n'importe qui).
• Sans nom de famille (juste un prénom).

Ils ont demandé à l'IA de dessiner ces personnes faisant des choses normales : manger, étudier, prier ou travailler dans un quartier.

3. Ce que le robot artiste a réellement dessiné

L'IA ne s'est pas contentée de se tromper de noms. Elle a créé un univers moral entier où certaines personnes étaient « pures » et « dignes », et d'autres étaient « sales » et « utiles uniquement pour le travail ».

Les chercheurs ont découvert trois manières principales dont l'IA applique ce biais :

• Le filtre de la « Valeur du Corps » (Moralité corporelle) :

  • L'analogie : Imaginez une balance qui pèse votre âme.
  • Ce qui s'est passé : Lorsque l'IA dessinait des noms de caste supérieure ou ambigus, elle les montrait assis dans des pièces propres et spacieuses, étudiant dans des bibliothèques, ou simplement debout, l'air digne. Ils ne « faisaient » rien de particulier.
  • Le biais : Lorsque l'IA dessinait des noms de caste inférieure ou ambigus, elle les faisait presque toujours travailler. Même si la consigne ne demandait pas un métier, l'IA leur donnait un balai, un panier de poissons ou un outil de nettoyage. Elle décidait que ces corps n'étaient valables que s'ils étaient utiles aux autres. L'IA supposait que ces personnes méritaient d'être pauvres ou de travailler, tandis que les autres méritaient d'être à l'aise.

• Le filtre du « Cercle Social » (Relation sociale) :

  • L'analogie : Imaginez une fête où certains invités sont autorisés à entrer dans la maison, mais d'autres doivent rester dehors dans la boue.
  • Ce qui s'est passé : Lorsque l'IA dessinait des gens mangeant ensemble, elle les séparait souvent. La personne de « rang supérieur » était montrée dans une maison privée et propre, sans personne autour (protégeant sa « pureté »). La personne de « rang inférieur » était montrée en train de manger dans la rue, dans une cabane ou dans un endroit encombré et sale.
  • Le biais : L'IA refusait d'imaginer des gens de différents horizons se mélangeant librement. Elle renforçait l'idée que certaines personnes sont « trop pures » pour être près des autres, ou que d'autres sont « trop sales » pour être dans le même espace.

• Le filtre du « Décor de Scène » (Relation matérielle-spatiale) :

  • L'analogie : Imaginez un plateau de tournage où les personnages riches obtiennent un manoir, et les personnages pauvres reçoivent une boîte en carton, même si le script ne le précise pas.
  • Ce qui s'est passé : L'IA plaçait les personnages de caste inférieure dans des environnements spécifiques et restreints. Par exemple, elle dessinait une personne de caste inférieure dans un village avec un panneau indiquant « Bhangi Colony » (une zone ségréguée pour les travailleurs de l'assainissement) ou la montrait dans une maison de fortune.
  • Le biais : L'IA ne montrait pas seulement la pauvreté ; elle montrait la ségrégation. Elle créait un monde où le travail « sale » et les lieux « sales » sont les seules options pour certaines personnes, les piégeant de fait dans ces situations à travers l'image.

4. La grande surprise : Cela se produisait même sans noms

La partie la plus choquante de l'étude est que l'IA a fait cela même avec des noms ambigus ou sans noms de famille.

• Si on donnait à l'IA un nom qui pouvait appartenir à n'importe qui, elle « devinait » quand même le rang social de la personne en fonction de ce qu'elle pensait que cette personne devrait faire.
• Elle attribuait les métiers « sales » et les quartiers « sales » à des personnes qui n'avaient aucun label de caste clair.
• La leçon : L'IA ne regarde pas seulement les noms ; elle a appris un ordre moral. Elle a appris un ensemble de règles qui disent : « Ce type de corps appartient à la cuisine pour nettoyer les toilettes, et ce type de corps appartient à la bibliothèque pour lire des livres. »

5. Pourquoi cela importe (Le « Pourquoi » derrière le « Quoi »)

Les auteurs soutiennent que le problème n'est pas seulement que l'IA est « biaisée » de manière simple. Le problème est que l'IA a absorbé la Normativité Brahminique.

• Traduction simple : C'est une façon sophistiquée de dire que l'IA a appris les « paramètres par défaut » d'une société où un groupe est considéré comme supérieur et pur, et tous les autres comme inférieurs et impurs.
• L'IA ne fait pas que refléter la réalité ; elle renforce l'idée que cette hiérarchie est naturelle et morale. Elle donne l'impression qu'il est « normal » que certains soient nettoyeurs et d'autres patrons.

6. Ce que les auteurs souhaitent voir se réaliser

L'article conclut que nous ne pouvons pas simplement corriger cela en ajoutant des données plus « équitables » ou en disant à l'IA d'« être gentille ».

• Nous devons cesser de considérer la caste comme une simple catégorie (comme une case à cocher).
• Nous devons comprendre la caste comme une relation et un système moral.
• Pour corriger l'IA, nous devons contester l'idée que certaines personnes sont naturellement « dignes » de confort et d'autres sont naturellement « dignes » uniquement du travail manuel. Nous devons enseigner à l'IA que la dignité n'est pas quelque chose que l'on gagne par son métier ou son nom ; c'est quelque chose que tout le monde possède.

En bref : Le robot artiste ne fait pas seulement des erreurs ; il agit comme un vieux livre de règles rigide qui dit que certaines personnes sont « trop bonnes » pour faire certaines choses, et d'autres sont « seulement bonnes » pour le travail sale. Les auteurs veulent que nous réalisions cela et que nous réécrivions le livre de règles.