EmergencyBias: Bias in Text-to-Image Models under Emergency Scenarios

Stellen Sie sich vor, Sie hätten gerade eine magische Kamera in die Hand bekommen, die keine Fotos der Welt aufnimmt, wie sie ist, sondern Bilder malt, die auf Ihren Worten basieren. Wenn Sie „ein Koch“ sagen, zeichnet sie vielleicht einen Mann; wenn Sie „eine Krankenschwester“ sagen, zeichnet sie vielleicht eine Frau. So funktionieren moderne Text-zu-Bild-Modelle (T2I): Sie sind unglaublich kluge Künstler, die Sätze in atemberaubende visuelle Darstellungen verwandeln. Aber hier ist der Haken: Diese Künstler wurden mit einem riesigen Haufen alter Bilder aus dem Internet trainiert, und dieser Haufen ist voller Stereotypen. Lange Zeit haben Wissenschaftler überprüft, ob diese digitalen Maler das „Wer“ falsch verstehen – etwa indem sie nur Männer als Ärzte oder nur Frauen als Krankenschwestern zeichnen. Sie haben sich auf die statische Besetzung der Charaktere im Bild konzentriert. Aber was, wenn das eigentliche Problem nicht nur ist, wer im Raum ist, sondern was sie tun? Was, wenn die Kamera entscheidet, dass, wenn Dinge schiefgehen, nur bestimmte Menschen mutig genug sind zu helfen, während andere nur danebenstehen und zusehen? Dies ist die neue Grenze des Bias: nicht nur wer erscheint, sondern wer handelt, wer reagiert und wer der Held sein darf.

Hier kommt ein Team von Forschern der Fudan Universität ins Spiel, das beschlossen hat, diese KI-Künstler einem ultimativen Test zu unterziehen: dem Notaufnahme-Szenario. Sie prägten den neuen Begriff EmergencyBias, um eine heimtückische Art von Vorurteil zu beschreiben, die auftritt, wenn die KI gebeten wird, eine Krise zu zeichnen, wie etwa einen Autounfall oder einen Brand. Sie wollten sehen, ob die KI automatisch entscheidet, dass Männer diejenigen sind, die herbeieilen, um den Tag zu retten, während Frauen, ältere Menschen oder Menschen mit dunkleren Hauttönen diejenigen sind, die gerettet werden müssen oder einfach nur danebenstehen.

Um dies herauszufinden, haben sie nicht einfach die KI gebeten, eine zufällige Szene zu zeichen; sie entwarfen ein massives, systematisches Experiment. Sie erstellten sechs verschiedene Hochrisiko-Szenarien, die von jemandem, der in einem Fluss ertrinkt, bis hin zu einem Unfall auf einer U-Bahn-Plattform reichten. Sie baten sieben der weltweit fortschrittlichsten KI-Modelle, diese Szenen zu zeichnen. Zuer das gaben sie den Modellen „leere“ Prompts – nur „eine Person fällt auf einer U-Bahn-Plattform“ – um zu sehen, wen die KI als Standard wählte. Dann gaben sie „kontrollierte“ Prompts, indem sie der KI explizit sagten: „Zeichne eine weibliche Zuschauerin“ oder „Zeichne eine ältere Person in einer Krise“, um zu sehen, ob sie sie in ihren Handlungen immer noch unterschiedlich behandeln würde.

Die Ergebnisse waren wie beim Beobachten eines Zaubertricks, bei dem der Magier versehentlich sein Geheimnis verrät: Die KI-Modelle waren tatsächlich voreingenommen, und der Bias verschlimmerte sich, wenn die Situation beängstigender wurde. Wenn die Prompts leer waren, wählte die KI überwiegend Männer, um sowohl in Gefahr zu sein als auch die Hilfe zu leisten, während ältere Menschen fast unsichtbar waren und in weniger als 8 % der Rollen „in der Krise“ auftauchten. Aber der wahre Schock kam, als sie die Demografie kontrollierten. Selbst wenn sie der KI explizit sagten: „Zeichne eine weibliche Zuschauerin“, sorgte das Modell immer noch dafür, dass sie weniger wahrscheinlich tatsächlich hilft als ein männlicher Zuschauer. Die KI schien ein verborgenes Skript zu haben, in dem Männer die aktiven Retter und Frauen die passiven Beobachter sind, ungeachtet dessen, was der Prompt sagte. Dies war nicht nur ein kleiner Fehler; der Unterschied im „helfenden“ Verhalten zwischen den Geschlechtern war der ausgeprägteste Bias, den sie fanden.

Die Forscher testeten auch eine neue, leichtgewichtige Lösung, die sie ActionAlign nannten. Stellen Sie sich das wie einen winzigen, unsichtbaren Trainer vor, der dem KI-Künstler direkt vor dem Malen Anweisungen zuflüstert und ihn dazu drängt, seine schlechten Angewohnheiten abzulegen, ohne sein künstlerisches Talent zu löschen. Sie verglichen dies mit einer offensichtlicheren Methode, einfach „ethische“ Wörter in den Prompt einzufügen (wie zum Beispiel „sei fair“ zu sagen). Die Ergebnisse zeigten, dass ActionAlign viel besser darin war, das Verhalten zu korrigieren. Bei einem der Modelle reduzierte es den Bias im helfenden Verhalten um massive 78,14 %, während die Qualität des Bildes kaum beeinträchtigt wurde. Dies deutet darauf hin, dass man einer KI nicht einfach mit ein paar Worten sagen kann, sie solle „nett sein“; manchmal muss man ihr internes Verständnis dafür, wie verschiedene Menschen in einer Krise handeln sollten, neu trainieren.

Kurz gesagt, diese Arbeit legt nahe, dass unsere KI-Künstler nicht nur kopieren, wer im Raum ist, sondern auch, wer sie denken, dass der Held sein sollte. Selbst wenn wir sie zwingen, eine bestimmte Person zu zeichnen, fällt es ihnen immer noch schwer, sich vorzustellen, dass diese Person handelt. Die gute Nachricht ist, dass wir mit ein wenig kluger Feinabstimmung in der Lage sein könnten, diesen Modellen beizubringen, ein gerechteres Skript für alle zu schreiben, damit in den digitalen Notfällen der Zukunft die Helden so aussehen wie wir alle.