Investigating Disability Representations in Text-to-Image Models

Diese Studie untersucht die Darstellung von Menschen mit Behinderungen in Text-zu-Bild-Modellen wie Stable Diffusion XL und DALL-E 3, identifiziert anhaltende Ungleichgewichte in der Repräsentation und unterstreicht die Notwendigkeit kontinuierlicher Evaluierung und Verbesserung für inklusivere Darstellungen.

Das Wesentliche

🎨 Wenn KI malt: Wer sitzt im Bild?

Stell dir vor, du hast einen magischen Maler-Roboter (eine KI), dem du sagst: „Malte mir ein Foto von einer Person mit einer Behinderung." Was passiert dann?

Diese Studie von Forschern der Universitäten Zürich, ETH Zürich und Lausanne hat genau das untersucht. Sie wollten wissen: Wie malt die KI Menschen mit Behinderungen? Und: Macht es einen Unterschied, ob der Roboter „gebremst" wird, um fairer zu sein?

Hier sind die wichtigsten Erkenntnisse, erklärt mit ein paar einfachen Vergleichen:

1. Der „Standard-Einstellungs"-Effekt (Experiment 1)

Wenn man dem Roboter einen neutralen Befehl gibt („Malte eine Person mit Behinderung"), neigt er dazu, eine ganz bestimmte Art von Behinderung zu malen.

• Die Analogie: Stell dir vor, du fragst jemanden: „Zeig mir ein Werkzeug." Wenn diese Person sofort nur einen Hammer in die Hand nimmt und vergisst, dass es auch Schraubenzieher oder Zangen gibt, dann hat sie ein verzerrtes Bild von „Werkzeug".
• Das Ergebnis: Die KI (sowohl Stable Diffusion als auch DALL·E 3) malte fast immer Menschen im Rollstuhl. Sie vergaß dabei fast komplett Menschen, die blind sind (mit weißem Stock) oder taub sind (mit Hörgerät).
• Der Unterschied: Der Roboter „Stable Diffusion" war noch stärker auf den Rollstuhl fixiert als der Roboter „DALL·E 3". DALL·E 3 hat zwar auch Rollstühle gemalt, aber er hat sich ein bisschen mehr Mühe gegeben, auch andere Behinderungen zu zeigen.

2. Die „Stimmungslage"-Falle (Experiment 2)

Dann haben die Forscher geschaut: Wie fühlen sich die gemalten Menschen an? Sind sie traurig, wütend oder glücklich?

Hier haben sie zwei Gruppen verglichen:

1. Körperliche/Sinnliche Behinderungen (Rollstuhl, Blindheit, Taubheit).
2. Psychische Erkrankungen (Depression, Angststörungen, bipolare Störung).

• Die Analogie: Stell dir vor, du malst eine Party.
  • Wenn du jemanden mit einem Rollstuhl malst, malst du ihn oft lachend in einer hellen, bunten Umgebung (wie auf einer Party).
  • Wenn du jemanden mit einer psychischen Erkrankung malst, malst du ihn oft allein in einem dunklen, grauen Raum, vielleicht mit dem Kopf in den Händen.
• Das Ergebnis: Die KI malt Menschen mit psychischen Problemen fast immer dramatischer und negativer als Menschen mit körperlichen Behinderungen.
  • Stable Diffusion malte diese Szenen sehr düster.
  • DALL·E 3 versuchte zwar, fairer zu sein, aber paradoxerweise malte er die psychischen Szenen sogar noch dramatischer und trauriger als der andere Roboter! Warum? Weil er versuchte, „tiefgründig" zu sein, und dabei in Klischees verfiel (dunkle Hintergründe, einsame Figuren).

3. Der Konflikt zwischen Computer und Mensch

Ein sehr spannender Punkt der Studie ist, wie unterschiedlich Computer und Menschen diese Bilder bewerten.

• Der Computer-Check: Ein automatischer Scanner (BLIP) schaute auf die Bilder und sagte: „Die Gesichter sehen neutral aus, also ist die Stimmung okay."
• Der Mensch-Check: Echte Menschen, die die Bilder ansahen, sagten: „Nein, das ist traurig! Der dunkle Hintergrund und die einsame Pose machen das Bild negativ."
• Die Lehre: Ein Computer kann oft nicht „fühlen". Er sieht nur Fakten (Gesichtsausdruck), aber Menschen spüren die Stimmung (Atmosphäre, Licht, Isolation). Die KI von DALL·E 3 war für den Computer „neutral", aber für uns Menschen wirkte sie deprimierend.

🚀 Was bedeutet das für uns?

Die Studie zeigt uns drei wichtige Dinge:

1. KI lernt von unseren Fehlern: Da die KI im Internet trainiert wurde, hat sie unsere Vorurteile übernommen. Sie denkt, „Behinderung" bedeutet automatisch „Rollstuhl".
2. Gute Absichten reichen nicht: Die Entwickler von DALL·E 3 wollten die KI fairer machen und haben Filter eingebaut. Aber manchmal führt das dazu, dass die KI andere Vorurteile entwickelt (z. B. psychische Krankheiten immer als tragisch darzustellen).
3. Wir brauchen echte Menschen: Man kann nicht nur auf Computer verlassen, um zu prüfen, ob KI fair ist. Echte Menschen müssen die Bilder ansehen, um zu spüren, ob die Stimmung stimmt oder ob Stereotype verstärkt werden.

Fazit: Damit KI wirklich für alle da ist, müssen wir nicht nur die Technik verbessern, sondern auch die „Stimmung" in den Bildern überprüfen und sicherstellen, dass sie die Vielfalt des Lebens – und nicht nur die dunklen Klischees – widerspiegeln.

Technische Zusammenfassung

1. Problemstellung

Text-to-Image (T2I) generative Modelle haben zwar beeindruckende Fortschritte bei der Bildqualität gemacht, reproduzieren jedoch oft gesellschaftliche Vorurteile und Stereotype aus ihren Trainingsdaten. Während Verzerrungen bezüglich Geschlecht und Ethnizität intensiv erforscht wurden, bleibt die Darstellung von Menschen mit Behinderungen (People with Disabilities, PwD) weitgehend unerforscht.
Das Paper adressiert zwei Hauptprobleme:

• Repräsentationsverzerrung: Neigen Modelle dazu, das Konzept „Behinderung" auf eine spezifische Kategorie (z. B. Mobilitätseinschränkungen/Rollstuhlnutzung) zu reduzieren, während andere Kategorien (z. B. Blindheit, Taubheit, psychische Erkrankungen) unterrepräsentiert sind?
• Einfluss von Minderungsstrategien: Wie wirken sich unterschiedliche technische Ansätze zur Risikominderung (Mitigation Strategies) auf die Darstellung aus? Ein offenes Modell (Stable Diffusion XL) wird mit einem stark gefilterten und gesteuerten Modell (DALL·E 3) verglichen.

2. Methodik

Die Studie besteht aus zwei Experimenten, die zwei State-of-the-Art-Modelle vergleichen: Stable Diffusion XL (SDXL) und DALL·E 3.

Experiment 1: Analyse der Repräsentationsunterschiede

• Prompt-Design: Es wurden generische Prompts („Foto einer Person mit Behinderung") mit spezifischen Prompts („Foto einer Person mit Mobilitätseinschränkung", „blind", „taub") verglichen.
• Datensatz: Jedes Modell generierte 100 Bilder pro Prompt-Kategorie (insgesamt 800 Bilder).
• Auswertungsmethode: Berechnung der Cosine-Similarität zwischen den CLIP-Embeddings der generierten Bilder.
  • Ziel: Zu messen, wie stark die generischen Bilder den spezifischen Kategorien ähneln. Eine hohe Ähnlichkeit deutet darauf hin, dass das Modell die spezifische Kategorie als „Standard" für Behinderung annimmt.
  • Statistische Analyse: Berechnung relativer Ähnlichkeitswerte ($\Delta$) und Signifikanztests (Kruskal-Wallis, Mann-Whitney U) zur Ermittlung systematischer Verzerrungen.

Experiment 2: Einfluss von Minderungsstrategien auf die emotionale Framing

• Fokus: Vergleich der emotionalen Valenz (Sentiment) bei der Darstellung von psychischen Störungen (bipolare Störung, Depression, Angststörungen) im Gegensatz zu physischen/sensorischen Behinderungen.
• Datensatz: 300 Bilder pro Kategorie und Modell (insgesamt 1200 Bilder).
• Auswertungsmethoden (Hybrid-Ansatz):
  1. Automatische Evaluation: Nutzung von BLIP VQA zur Generierung textbasierter Beschreibungen (Stimmung, Atmosphäre, Gesichtsausdruck), gefolgt von einer Sentiment-Analyse mit einem RoBERTa-Modell (positiv/neutral/negativ).
  2. Menschliche Evaluation: Drei Evaluatoren bewerteten 60 Bildpaare (Modellvergleich und Gruppenvergleich) in einer Pairwise-Comparison-Aufgabe. Sie mussten das Bild auswählen, das eine negativere Stimmung vermittelt, und ihre Zuversicht bewerten.

3. Wichtige Ergebnisse

Ergebnisse zu Experiment 1 (Repräsentationsverzerrung)

• Dominanz der Mobilitätseinschränkung: Beide Modelle neigen dazu, bei generischen Prompts („Person mit Behinderung") fast ausschließlich Bilder von Menschen mit Mobilitätseinschränkungen (Rollstuhl) zu generieren.
• Vergleich der Modelle:
  • SDXL: Zeigte eine stärkere Verzerrung hin zu Mobilitätseinschränkungen und eine deutliche Unterrepräsentation von Blindheit und Taubheit. Die Bilder waren sehr konsistent, aber stereotyp.
  • DALL·E 3: Wies eine ausgewogenere Verteilung auf, zeigte jedoch eine höhere Varianz (weniger stabile Outputs). Blindheit und Taubheit waren zwar besser vertreten als bei SDXL, aber immer noch unterrepräsentiert im Vergleich zu Mobilitätseinschränkungen.
• Statistik: Die Unterschiede in der Ähnlichkeit waren statistisch signifikant ($p < .001$).

Ergebnisse zu Experiment 2 (Sentiment und Framing)

• Diskrepanz zwischen automatischer und menschlicher Bewertung:
  • Automatisch (BLIP): SDXL produzierte mehr negative Deskriptoren. DALL·E 3 erzeugte öfter positive Begriffe.
  • Menschlich: Die Evaluatoren bewerteten DALL·E 3-Bilder als deutlich negativer als SDXL-Bilder.
  • Ursache: DALL·E 3 generiert reichhaltigere, kontextuell detaillierte Szenen (z. B. dunkle Hintergründe, isolierte Figuren, traurige Körperhaltung), die menschlich als negativ wahrgenommen werden, während BLIP oft nur neutrale Deskriptoren für fehlende Gesichtsausdrücke lieferte.
• Psychische vs. Physische Behinderungen:
  • Beide Modelle stellten psychische Störungen signifikant negativer dar als physische/sensorische Behinderungen.
  • DALL·E 3 verstärkte diese Kluft paradoxerweise: Während es physische Behinderungen in positiven, alltäglichen Umgebungen zeigte, stellte es psychische Störungen in düsteren, isolierten Settings dar, was Stereotype über psychische Erkrankungen (z. B. Gefahr, Instabilität) verstärkte.
  • SDXL zeigte weniger Kontextvielfalt, aber auch weniger extrem negative Framings für psychische Störungen.

4. Hauptbeiträge

1. Quantifizierung der „Default"-Darstellung: Der Nachweis, dass T2I-Modelle Behinderung systematisch auf Mobilitätseinschränkungen reduzieren, wobei andere Kategorien marginalisiert werden.
2. Kritische Analyse von Minderungsstrategien: Das Paper zeigt, dass strengere Filter und Mitigations-Strategien (wie bei DALL·E 3) nicht automatisch zu faireren Ergebnissen führen. Sie können unbeabsichtigt neue Stereotype verstärken (z. B. durch übertriebene negative Kontextualisierung psychischer Erkrankungen), um Risiken zu vermeiden.
3. Methodische Erkenntnis: Die Studie unterstreicht die Notwendigkeit einer Kombination aus automatischer und menschlicher Evaluation. Automatische Metriken (wie CLIP-Similarity oder NLP-basierte Sentiment-Analyse) erfassen oft nicht die subtilen, kontextuellen Nuancen, die für die menschliche Wahrnehmung von Stereotypen entscheidend sind.

5. Bedeutung und Implikationen

Die Studie liefert wichtige Erkenntnisse für die Entwicklung inklusiver KI:

• Technische Prioritäten: Die Trainingsdaten und die Vorverarbeitung (Filterung) von Modellen kodieren tief verwurzelte gesellschaftliche Vorurteile. Eine reine Filterung von „toxischen" Inhalten reicht nicht aus, um eine faire Repräsentation zu gewährleisten; sie kann sogar zu verzerrten Darstellungen führen, wenn Modelle versuchen, Risiken zu umgehen.
• Evaluation: Es bedarf neuer Evaluationsframeworks, die nicht nur die Diversität der Kategorien, sondern auch die affektive Rahmung (emotionaler Kontext) berücksichtigen.
• Gesellschaftliche Verantwortung: Die Ergebnisse warnen davor, dass generative KI ohne gezielte Intervention und Einbeziehung von Betroffenen (Co-Creation) bestehende Stigmata gegenüber Menschen mit Behinderungen (insbesondere psychischen Erkrankungen) zementieren und verschärfen kann.

Zusammenfassend demonstriert das Paper, dass die Darstellung von Behinderung in KI-Modellen kein neutraler technischer Prozess ist, sondern ein Spiegelbild gesellschaftlicher Bias, der durch aktuelle Minderungsstrategien teilweise sogar neu geformt und verstärkt wird.