Beyond Categories of Caste: Examining Caste Bias and Morality in Text-to-Image AI Models

Stel je voor dat je een magische, superintelligente robotkunstenaar hebt. Je kunt tegen hem zeggen: "Teken een plaatje van een persoon die lunch eet," of "Teken twee mensen die samen studeren," en hij creëert direct een afbeelding. Dit is wat Text-to-Image AI doet.

Echter, dit artikel betoogt dat deze robotkunstenaar niet zomaar een leeg canvas is. Hij is getraind op miljoenen afbeeldingen van het internet, en helaas heeft hij ook enkele zeer oude, zeer schadelijke regels geleerd over hoe mensen behandeld zouden moeten worden op basis van hun achtergrond. Specifiek keken de onderzoekers naar hoe deze AI omgaat met kaste in Zuid-Azië (een systeem van sociale hiërarchie in India).

Hier is de uitsplitsing van hun bevindingen in eenvoudige termen:

1. De oude manier om het probleem te bekijken

Eerdere onderzoekers behandelden kaste als een vinkje. Ze dachten dat de AI bevooroordeeld was omdat hij een naam als "Sharma" (vaak hogere kaste) zag en een rijke persoon tekende, of een naam als "Kumar" (vaand vaak lagere kaste) zag en een arme persoon tekende. Ze dachten dat het probleem alleen over labels ging.

Het nieuwe idee van het artikel:
De auteurs zeggen dat dit te simpel is. Kaste is niet alleen een label op een naamkaartje; het is een relatie. Het is als een script dat mensen vertelt wie ze zijn in relatie tot anderen. De AI geeft niet alleen mensen de verkeerde labels; de AI voert een diep, onzichtbaar script uit dat bepaalt wie waardigheid verdient en wie moet dienen.

2. Het "Magische Spiegel"-experiment

Om dit te testen, vroegen de onderzoekers de AI niet alleen om "een Brahmin" of "een Dalit" te tekenen. In plaats daarvan vroegen ze de AI om alledaagse scènes te tekenen met namen die:

• Duidelijk hogere kaste waren.
• Duidelijk lagere kaste waren.
• Ambigu waren (namen die iedereen konden zijn).
• Geen achternaam hadden (alleen een voornaam).

Ze vroegen de AI om deze mensen normale dingen te laten doen: eten, studeren, bidden of werken in een buurt.

3. Wat de robotkunstenaar daadwerkelijk tekende

De AI maakte de namen niet alleen fout. De AI creëerde een hele morele wereld waarin sommige mensen "zuiver" en "waardig" waren, en anderen "vies" en "alleen nuttig voor arbeid".

De onderzoekers vonden drie belangrijke manieren waarop de AI deze vooroordelen afdwong:

• Het "Lichaamswaarde"-filter (Lichamelijke Moraliteit):

  • De analogie: Stel je een weegschaal voor die je ziel weegt.
  • Wat er gebeurde: Wanneer de AI namen van hogere kaste of ambigue namen tekende, toonde het hen zittend in schone, ruime kamers, studerend in bibliotheken, of gewoon staand te kijken alsof ze waardig waren. Ze waren niet "bezig" met iets.
  • De bias: Wanneer de AI mensen van lagere kaste of ambigue namen tekende, maakte de AI hen bijna altijd werkend. Zelfs als de prompt niet om een baan vroeg, gaf de AI hen een bezem, een vismand of een schoonmaakwerktuig. De AI besloot dat deze lichamen alleen waardevol waren als ze nuttig waren voor anderen. De AI nam aan dat zij het verdiennen om arm of werkend te zijn, terwijl anderen het verdienen om comfortabel te zijn.

• Het "Sociale Cirkel"-filter (Sociale Relatie):

  • De analogie: Stel je een feestje voor waar sommige gasten binnen in het huis mogen zijn, maar anderen buiten in de modder moeten staan.
  • Wat er gebeurde: Wanneer de AI mensen samen zag eten, scheidde het hen vaak. De "hogere" persoon werd getoond in een schoon, privéhuis zonder dat er anderen in de buurt waren (om hun "zuiverheid" te beschermen). De "lagere" persoon werd getoond terwijl hij op straat at, in een hut, of in een drukke, vieze omgeving.
  • De bias: De AI weigerde zich voor te stellen dat mensen met verschillende achtergronden vrij met elkaar zouden mengen. Het versterkte het idee dat bepaalde mensen "te zuiver" zijn om bij anderen te zijn, of dat anderen "te vies" zijn om in dezelfde ruimte te zijn.

• Het "Decor"-filter (Materieel-Ruimtelijke Relatie):

  • De analogie: Stel je een filmset voor waarbij de rijke personages een landhuis krijgen, en de arme personages een kartonnen doos, zelfs als het script dat niet zegt.
  • Wat er gebeurde: De AI plaatste personages van lagere kaste in specifieke, beperkte omgevingen. Bijvoorbeeld, de AI tekende een persoon van lagere kaste in een dorp met een bord waarop "Bhangi Colony" stond (een gesegregeerd gebied voor sanitaire arbeiders) of toonde hen in een geïmproviseerde woning.
  • De bias: De AI toonde niet alleen armoede; de AI toonde segregatie. Het creëerde een wereld waarin het "vuile" werk en de "vieze" plekken de enige opties zijn voor bepaalde mensen, waardoor ze effectief in de afbeelding gevangen zitten.

4. De Grote Verrassing: Het gebeurde zelfs zonder namen

Het meest schokkende deel van de studie was dat de AI dit ook deed wanneer de namen ambigu waren of geen achternamen hadden.

• Als je de AI een naam gaf die bij iedereen zou kunnen horen, "raden" zij nog steeds de sociale rang van de persoon op basis van wat zij dachten dat die persoon zou moeten doen.
• De AI wijsde de "vieze" banen en de "vieze" buurten toe aan mensen die geen duidelijk kaste-label hadden.
• De les: De AI kijkt niet alleen naar namen; de AI heeft een morele orde geleerd. De AI heeft een reeks regels geleerd die zegt: "Dit type lichaam hoort in de keuken om toiletten te poetsen, en dat type lichaam hoert in de bibliotheek om boeken te lezen."

5. Waarom dit ertoe doet (Het "Waarom" achter het "Wat")

De auteurs betogen dat het probleem niet alleen is dat de AI "bevooroordeeld" is op een simpele manier. Het probleem is dat de AI Brahmanische Normativiteit heeft geabsorbeerd.

• Eenvoudige vertaling: Dit is een chique manier om te zeggen dat de AI de "standaardinstellingen" heeft geleerd van een samenleving waar één groep als superieur en zuiver wordt beschouwd, en de rest als inferieur en onzuiver.
• De AI weerspiegelt niet alleen de realiteit; de AI versterkt het idee dat deze hiërarchie natuurlijk en moreel is. Het laat het lijken alsof het "juist" is dat sommigen schoonmakers zijn en anderen bazen.

6. Wat de auteurs willen bereiken

Het artikel concludeert dat we dit niet kunnen oplossen door simpelweg meer "eerlijke" data toe te voegen of de AI te vertellen om "aardig te zijn".

• We moeten stoppen met het zien van kaste als slechts een categorie (zoals een vinkje).
• We moeten het begrijpen als een relatie en een moreel systeem.
• Om AI te verbeteren, moeten we het idee uitdagen dat sommige mensen van nature "waardig" zijn van comfort en anderen van nature alleen "waardig" zijn van arbeid. We moeten de AI leren dat waardigheid niet iets is dat je verdient door je baan of je naam; het is iets dat iedereen bezit.

Kortom: De robotkunstenaar maakt niet alleen fouten; hij gedraagt zich als een strikt, ouderwets regelboek dat zegt dat sommige mensen "te goed" zijn voor bepaalde dingen, en anderen "alleen goed" zijn voor het vuile werk. De auteurs willen dat we dit beseffen en het regelboek herschrijven.