Beyond wheelchairs and blindfolds: Investigating disability stereotypes in T2I models with INCLUDE-BENCH
Dieses Paper stellt INCLUDE-BENCH vor, den ersten groß angelegten Benchmark zur Evaluierung von behinderungsbezogenen Biases in Text-zu-Bild-Modellen, der aufzeigt, dass aktuelle Systeme systematisch auf enge Stereotype wie Rollstühle zurückgreifen und eine stärkere Ausrichtung an realweltlichen Vorurteilsassoziationen aufweisen, wenn sie Menschen mit Behinderungen darstellen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie hätten eine magische Kunstmaschine, die alles zeichnen kann, was Sie beschreiben. Sie sagen: „Zeichne einen Koch“, und sie spuckt ein Bild eines Menschen mit einer weißen Mütze aus, der kocht. Sie sagen: „Zeichne eine Person mit einer Behinderung“, und... nun ja, da wird die Magie ein wenig fehlerhaft.
Ein Forscherteam der Universität Utrecht beschloss, diesen Fehler mit einem riesigen Test namens INCLUDE-BENCH zu prüfen. Sie wollten nicht nur sehen, ob die Maschinen „voreingenommen“ waren; sie wollten sehen, wie sie voreingenommen waren, und nutzten dafür einen massiven Datensatz von 119.680 generierten Bildern. Sie baten 17 verschiedene Kunst-Engines (sowohl Open-Source-Modelle, die für jeden zugänglich sind, als auch zwei geschlossene, geheime Modelle), Menschen mit Behinderungen in verschiedensten Situationen zu zeichnen.
Hier ist das, was sie herausfanden, serviert mit einer Portion Realitätscheck.
Die „Rollstuhl“-Abkürzung
Die größte Überraschung? Die Maschinen sind besessen von Rollstühlen. Wenn die Forscher nach einer „mobilitätseingeschränkten“ Person oder einfach einer generischen „behinderten“ Person fragten, griffen fast alle Modelle sofort zum Rollstuhl. Es ist, als würde man einen Koch bitten, einen „Bäcker“ zu zeichnen, und er würde nur jemanden zeichnen, der einen Nudelholz hält, während er Öfen, Mehl oder das eigentliche Brot völlig ignoriert.
Das Paper zeigt, dass die Maschinen für diese spezifischen Prompts unglaublich konsistent darin sind, den Rollstuhl zu zeichnen, aber sie sind schrecklich darin, irgendetwas anderes zu zeichnen. Es ist eine visuelle Abkürzung. Die Maschinen denken: „Oh, Behinderung? Das bedeutet Rollstuhl“, und hören dort auf.
Der „Alt und Traurig“-Filter
Die Maschinen scheinen auch über einen seltsamen Filter für Alter und Stimmung zu verfügen. Wenn sie Menschen mit Mobilitätseinschränkungen zeichneten, waren diese überwiegend älter. Wenn die Person eine Frau war, wurde sie oft in einem Haus gezeichnet, beim Kochen oder Putzen. Wenn die Person ein Mann war, war er oft draußen, in einem Park oder einem Museum.
Die Forscher fanden heraus, dass die Maschinen im Grunde ein Spiel namens „Stereotypen-Bingo“ spielen. Sie wählen die offensichtlichsten, am leichtesten erkennbaren Merkmale (wie einen Rollstuhl oder eine Augenbinde), um sicherzustellen, dass man weiß, wer die Person ist, aber dadurch löschen sie alle anderen Details aus. Sie zeigen keine vielfältige Gruppe von Menschen, die ihr Leben leben; sie zeigen eine sehr enge, sehr alte und sehr spezifische Gruppe von Charakteren.
Der „Alignment vs. Diversity“-Trade-off
Hier ist ein schöner Weg, die Mathematik hinter der Magie zu verstehen. Die Forscher maßen zwei Dinge:
- Alignment (Übereinstimmung): Wie gut passt das Bild zu den Worten, die Sie getippt haben?
- Diversity (Vielfalt): Wie unterschiedlich sind die Bilder untereinander?
Sie fanden einen interessanten Trade-off. Die Bilder, die den Worten „mobilitätseingeschränkt“ oder „behindert“ am besten entsprachen (höchstes Alignment), waren am wenigsten divers. Sie sahen fast alle fast identisch aus: eine alte Person im Rollstuhl.
Aber wenn sie nach „blinden“ oder „tauben“ Menschen fragten, waren die Bilder etwas diverser. Man sah vielleicht eine Person mit einem Gehstock, jemanden mit einer Sonnenbrille oder vielleicht nur jemanden, der nachdenklich aussah. Aber selbst dann griffen die Maschinen zu den alten Tricks, wie etwa das Zeichnen von Augenbinden oder spezifischen Handgesten.
Der „Warmth and Competence“-Score
Die Forscher erfanden sogar eine neue Art, die Bilder zu bewerten, den sogenannten SCM-Score. Stellen Sie sich einen Graphen vor, bei dem eine Seite misst, „wie nett diese Person wirkt“ (Warmth/Wärme) und die andere, „wie fähig sie wirkt“ (Competence/Kompetenz).
In der realen Welt denken Menschen oft über Menschen mit Behinderungen nach, dass sie „nett, aber nicht besonders fähig“ sind. Das Paper fand heraus, dass die Kunstmaschinen genau diesen Vibe kopieren. Die Bilder von Menschen im Rollstuhl schnitten schlecht bei der „Kompetenz“ ab. Sie wirkten weniger fähig als die Bilder von Menschen ohne Behinderungen. Selbst wenn die Forscher die Maschinen baten, diese Menschen bei aktiven Tätigkeiten zu zeichnen (wie Gehen oder Plaudern), hatten die Maschinen immer noch Schwierigkeiten, sie kompetent darzustellen.
Was die Maschinen falsch gemacht haben (und was sie nicht getestet haben)
Es ist wichtig zu wissen, was dieser Test nicht getan hat. Die Forscher sagten explizit, dass sie keine kognitiven oder intellektuellen Behinderungen getestet haben. Warum? Weil diese nicht immer sichtbar sind. Man kann einen Denkprozess nicht wirklich auf die gleiche Weise „zeichnen“ wie einen Rollstuhl. Daher beziehen sich die Ergebnisse rein auf Dinge, die man sehen kann.
Auch behauptet das Paper nicht, das Problem „gelöst“ zu haben. Sie haben keinen magischen Schalter gefunden, um die Voreingenommenheit auszuschalten. Stattdessen haben sie ein riesiges Maßband gebaut (INCLUDE-BENCH), um uns zu zeigen, wie kaputt das Maßband im Moment eigentlich ist. Sie fanden heraus, dass selbst wenn sie den Kontext änderten (indem sie nach einer Person in einem Café statt in einem Park fragten), die Maschinen immer noch stark zu den Stereotypen neigten.
Das Faz-it
Das Paper legt nahe, dass diese Kunstmaschinen nicht nur versehentlich Fehler machen; sie reproduzieren aktiv dieselben engen, stereotypen Geschichten, die wir in der realen Welt sehen. Sie gewichten die „diagnostischen“ Hinweise (den Rollstuhl, den Gehstock) übermäßig stark und ignorieren den Rest des menschlichen Wesens.
Die Forscher sind sich dessen ziemlich sicher, da sie fast 120.000 Bilder generiert und diese mit Mathematik und KI-Tools überprüft haben. Sie raten nicht; sie haben es gemessen. Und die Messung sagt: Wenn Sie eine echte, diverse, fähige Person mit einer Behinderung sehen wollen, können Sie die Maschine noch nicht einfach danach fragen. Die Maschine steckt noch in der „Rollstuhl-und-Alter“-Schleife fest.
Obwohl die Technologie also fantastisch ist, lernt sie noch, dass ein Mensch mehr ist als nur seine Behinderung. Bis dahin zeichnet die magische Kunstmaschine hauptsächlich immer wieder dieselbe alte Geschichte.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.