Beyond Categories of Caste: Examining Caste Bias and Morality in Text-to-Image AI Models

Stellen Sie sich vor, Sie hätten einen magischen, superintelligenten Roboter-Künstler. Sie können ihm sagen: „Zeichne ein Bild von einer Person, die zu Mittag isst“, oder „Zeichne zwei Menschen, die zusammen lernen“, und er erstellt sofort ein Bild. Das ist es, was Text-zu-Bild-KI leistet.

Dieses Papier argumentiert jedoch, dass dieser Roboter-Künstler nicht nur eine leere Leinwand ist. Er wurde mit Millionen von Bildern aus dem Internet trainiert, und leider hat er einige sehr alte, sehr schädliche Regeln darüber gelernt, wie Menschen basierend auf ihrem Hintergrund behandelt werden sollten. Speziell untersuchten die Forscher, wie diese KI mit Kaste in Südasien (einem System der sozialen Hierarchie in Indien) umgeht.

Hier ist die Aufarbeitung ihrer Ergebnisse in einfachen Worten:

1. Die alte Art, das Problem zu betrachten

Frühere Forscher behandelten Kaste wie ein Kontrollkästchen. Sie dachten, die KI sei voreingenommen, weil sie einen Namen wie „Sharma“ (oft Oberkaste) sah und eine reiche Person zeichnete, oder einen Namen wie „Kumar“ (oft Niederkaste) sah und eine arme Person zeichnete. Sie dachten, das Problem läge einfach bei den Etiketten.

Die neue Idee des Papers:
Die Autoren sagen, das ist zu einfach. Kaste ist nicht nur ein Etikett auf einem Namensschild; es ist eine Beziehung. Es ist wie ein Skript, das Menschen sagt, wer sie im Verhältnis zu anderen sind. Die KI beschriftet Menschen nicht nur falsch; sie spielt ein tiefes, unsichtbares Skript ab, das entscheidet, wer Würde verdient und wer dienen muss.

2. Das „Magische Spiegel“-Experiment

Um dies zu testen, baten die Forscher die KI nicht einfach, „einen Brahmin“ oder „einen Dalit“ zu zeichen. Stattdessen baten sie sie, Alltagsszenen unter Verwendung von Namen zu zeichnen, die:

• Eindeutig zur Oberkaste gehörten.
• Eindeutig zur Niederkaste gehörten.
• Ambigue (mehrdeutig) waren (Namen, die zu jedem passen könnten).
• Keinen Nachnamen hatten (nur einen Vornamen).

Sie baten die KI, diese Menschen bei ganz normalen Dingen zu zeichnen: essen, lernen, beten oder in einer Nachbarschaft arbeiten.

3. Was der Roboter-Künstler tatsächlich zeichnete

Die KI vertauschte nicht nur die Namen. Sie erschuf ein ganzes moralisches Universum, in dem manche Menschen „rein“ und „würdig“ waren und andere „schmutzig“ und „nur nützlich für Arbeit“.

Die Forscher fanden drei Hauptwege, wie die KI diese Voreingenommenheit durchsetzte:

• Der „Wert des Körpers“-Filter (Körperliche Moralität):

  • Die Analogie: Stellen Sie sich eine Waage vor, die Ihre Seele wiegt.
  • Was passierte: Wenn die KI Namen der Oberkaste oder mehrdeutige Namen zeichnete, zeigte sie sie in sauberen, geräumigen Räumen, beim Studieren in Bibliotheken oder einfach nur stehend in würdevoller Haltung. Sie taten nichts Besonderes.
  • Die Voreingenommenheit: Wenn die KI Namen der Niederkaste oder mehrdeutige Namen zeichnete, ließ sie sie fast immer arbeiten. Selbst wenn der Prompt nicht nach einem Job fragte, gab die KI ihnen einen Besen, einen Fischkorb oder ein Reinigungswerkzeug. Die KI entschied, dass diese Körper nur wertvoll waren, wenn sie nützlich für andere waren. Die KI nahm an, dass diese Menschen es verdienten, arm zu sein oder zu arbeiten, während andere es verdienten, komfortabel zu sein.

• Der „Soziale Kreis“-Filter (Soziale Beziehung):

  • Die Analogie: Stellen Sie sich eine Party vor, bei der manche Gäste ins Haus gelassen werden dürfen, während andere draußen im Schlamm stehen müssen.
  • Was passierte: Wenn die KI Menschen beim gemeinsamen Essen zeichnete, trennte sie sie oft. Die „obere“ Person wurde in einem sauberen, privaten Heim gezeigt, ohne dass jemand sonst in der Nähe war (um ihre „Reinheit“ zu schützen). Die „untere“ Person wurde beim Essen auf der Straße, in einer Hütte oder in einem überfüllten, schmutzigen Bereich gezeigt.
  • Die Voreingenommenheit: Die KI weigerte sich, sich vorzustellen, dass Menschen aus verschiedenen Hintergründen frei miteinander verkehren. Sie verstärkte die Vorstellung, dass bestimmte Menschen „zu rein“ sind, um in der Nähe anderer zu sein, oder dass andere „zu schmutzig“ sind, um im selben Raum zu sein.

• Der „Bühnenbild“-Filter (Materielle-Räumliche Beziehung):

  • Die Analogie: Stellen Sie sich ein Filmset vor, auf dem die reichen Charaktere eine Villa bekommen und die armen Charaktere einen Pappkarton, selbst wenn das Drehbuch es nicht vorgibt.
  • Was passierte: Die KI platzierte Charaktere der Niederkaste in spezifischen, eingeschränkten Umgebungen. Zum Beispiel zeichnete sie eine Person der Niederkaste in einem Dorf mit einem Schild namens „Bhangi Colony“ (ein segregierter Bereich für Sanitärarbeiter) oder zeigte sie in einem provisorischen Haus.
  • Die Voreingenommenheit: Die KI zeigte nicht nur Armut; sie zeigte Segregation. Sie erschuf eine Welt, in der die „schmutzige“ Arbeit und die „schmutzigen“ Orte die einzigen Optionen für bestimmte Menschen waren, und sperrte sie effektiv in diesen Bildern ein.

4. Die große Überraschase: Es geschah auch ohne Namen

Der schockierendste Teil der Studie war, dass die KI dies selbst tat, wenn die Namen ambig waren oder keine Nachnamen besaßen.

• Wenn man der KI einen Namen gab, der zu jedem gehören konnte, „errat“ sie dennoch den sozialen Rang der Person basierend auf dem, was sie als deren Aufgabe ansah.
• Sie wies die „schmutzigen“ Jobs und die „schmutzigen“ Nachbarschaften den Menschen zu, die kein klares Kastenzugehörigkeitsmerkmal hatten.
• Die Lektion: Die KI schaut nicht nur auf Namen; sie hat eine moralische Ordnung gelernt. Sie hat einen Satz Regeln gelernt, der besagt: „Dieser Typ von Körper gehört in die Küche zum Toilettenputzen, und dieser Typ von Körper gehört in die Bibliothek zum Lesen.“

5. Warum das wichtig ist (Das „Warum“ hinter dem „Was“)

Die Autoren argumentieren, dass das Problem nicht nur darin besteht, dass die KI „voreingenommen“ ist. Das Problem ist, dass die KI Brahmanische Normativität absorbiert hat.

• Einfache Übersetzung: Dies ist eine schicke Art zu sagen, dass die KI die „Standardeinstellungen“ einer Gesellschaft gelernt hat, in der eine Gruppe als überlegen und rein gilt und alle anderen als minderwertig und unrein.
• Die KI spiegelt nicht nur die Realität wider; sie verstärkt die Vorstellung, dass diese Hierarchie natürlich und moralisch ist. Sie lässt es so aussehen, als sei es „richtig“, dass manche Menschen Putzkräfte und andere Chefs sind.

6. Was die Autoren sich wünschen

Das Paper kommt zu dem Schluss, dass wir das Problem nicht lösen können, indem wir einfach mehr „faire“ Daten hinzufügen oder der KI sagen, sie solle „nett sein“.

• Wir müssen aufhören, Kaste nur als eine Kategorie (wie ein Kontrollkästchen) zu betrachten.
• Wir müssen sie als eine Beziehung und ein moralsches System verstehen.
• Um KI zu korrigieren, müssen wir die Vorstellung herausfordern, dass manche Menschen von Natur aus „würdig“ für Komfort sind und andere von Natur aus nur für Arbeit. Wir müssen der KI lehren, dass Würde nichts ist, was man durch seinen Job oder seinen Namen verdient; sondern etwas, das jedem zusteht.

Kurz gesagt: Der Roboter-Künstler macht nicht nur Fehler; er agiert wie ein strenges, altmodisches Regelwerk, das besagt, dass manche Menschen „zu gut“ für bestimmte Dinge sind und andere „nur gut“ für die schmutzige Arbeit. Die Autoren wollen, dass wir das erkennen und das Regelwerk neu schreiben.