Going PLACES: Participatory Localized Red Teaming for Text-to-Image Safety in the Global South
Dieser Beitrag stellt PLACES vor, eine partizipative Red-Teaming-Initiative, die westlich zentrierte Verzerrungen in der Sicherheit von Text-zu-Bild-Systemen angeht, indem sie mit Gemeinschaften im Globalen Süden zusammenarbeitet, um einen vielfältigen Datensatz mit über 26.000 lokalisierten Fehlerbeispielen zu generieren, einzigartige kulturelle Schäden aufdeckt und kontextsensible Sicherheitsrahmenwerke befürwortet.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich eine magische Kunstmaschine (ein Text-zu-Bild-Modell) vor, die alles zeichnen kann, was Sie beschreiben. Lange Zeit wurde diese Maschine hauptsächlich von Menschen im Westen (Nordamerika und Europa) trainiert und lernte, die Welt durch deren Augen zu sehen. Es ist wie ein Koch, der nur weiß, wie man amerikanische Comfort-Food-Gerichte zubereitet; wenn Sie nach einem spezifischen regionalen Gericht aus Indien oder Nigeria fragen, serviert er Ihnen vielleicht einfach einen generischen Burger oder ein verwirrtes Durcheinander.
Dieser Artikel mit dem Titel "Going PLACES" handelt von einem Team von Forschern, die beschlossen, dieser Kunstmaschine beizubringen, den Rest der Welt richtig zu sehen. Sie fragten nicht einfach zufällige Menschen im Internet, ob sie versuchen könnten, die Maschine zu brechen; sie gingen tief in lokale Gemeinschaften im "Globalen Süden" (insbesondere Ghana, Nigeria und Teile Indiens), um herauszufinden, was die Maschine in diesen spezifischen Orten falsch macht.
Hier ist die Aufschlüsselung ihrer Arbeit mit einfachen Analogien:
1. Das Problem: Das "Einheitsgröße"-Sicherheitsnetz
Die Forscher argumentieren, dass die aktuellen Sicherheitsregeln für diese KI-Kunstmaschinen wie eine Einheitsgröße-Rettungsweste sind. Sie passt vielleicht perfekt zu einem westlichen Schwimmer, ist aber für jemanden aus einer anderen Kultur zu locker oder zu eng.
- Das Problem: Die KI glaubt, sie sei "sicher", indem sie westlichen Regeln folgt, aber in lokalen Kulturen könnte sie Bilder erzeugen, die zutiefst beleidigend, religiös unangemessen oder kulturell ignorant sind.
- Die Analogie: Stellen Sie sich vor, eine KI zeichnet eine "religiöse Zeremonie". Im Westen zeichnet sie vielleicht einfach eine generische Kirche. Aber in Indien, wenn Sie nach einem spezifischen hinduistischen Ritual fragen, könnte die KI versehentlich Schuhe an die Füße einer Gottheit setzen (was ein riesiges Tabu ist) oder zwei verschiedene Feste vermischen. Die KI kennt diese lokalen "Verkehrsregeln" nicht.
2. Die Lösung: "Red Teaming" mit lokalen Guides
"Red Teaming" ist wie die Einstellung einer Gruppe von Hackern, die versuchen, ein Sicherheitssystem zu knacken, damit Sie es reparieren können, bevor die Bösewichte es tun. Normalerweise sitzen diese "Hacker" als Experten in großen Tech-Büros in den USA oder Großbritannien.
- Was PLACES tat: Statt Außenstehende einzustellen, gingen sie Partnerschaften mit Universitäten in Sekundärstädten ein (nicht nur mit den großen Hauptstädten wie Mumbai oder Lagos). Sie rekrutierten lokale Studierende und Fakultätsmitglieder, um als "Community-Guides" zu fungieren.
- Der Workshop: Bevor die Studierenden begannen, hielten die Forscher Workshops ab. Denken Sie daran wie an ein Trainingslager, in dem sie erklärten: "So funktioniert die KI, und so betrachtet Ihre Kultur Sicherheit." Sie ermutigten die Studierenden, ihre lokalen Sprachen zu verwenden, Sprachen zu mischen (wie Englisch mit Hindi oder Pidgin-Wörtern) und lokale Metaphern zu nutzen.
- Das Ergebnis: Sie sammelten über 26.000 Beispiele dafür, wie die KI auf Weise versagte, auf die ein westlicher Tester nie gekommen wäre. Diese Sammlung wird als PLACES-Datensatz bezeichnet.
3. Was sie fanden: Die "kulturellen Blindstellen" der KI
Als sie die 26.000 Beispiele analysierten, fanden sie drei Haupttypen von "Blindstellen":
A. Die "Code-Mixing"-Lücke
In vielen Teilen des Globalen Südens mischen Menschen natürlicherweise Sprachen in einem einzigen Satz (z. B. "Ein Mann, der Jollof-Reis in Lagos isst").
- Die Erkenntnis: Die Sicherheitsfilter der KI sind wie Türsteher, die nur Englisch sprechen. Wenn Sie ein Geheimnis in einer Mischung aus Englisch und einer lokalen Sprache flüstern, versteht der Türsteher die Gefahr nicht und lässt Sie herein. Die Forscher fanden heraus, dass das Mischen von Sprachen es Benutzern ermöglichte, Sicherheitsfilter zu umgehen, die dieselbe Anfrage blockiert hätten, wenn sie auf reinem Englisch verfasst worden wäre.
B. "Normative Dissonanz" (Kollidierende Werte)
Dies ist der Fall, wenn die KI ihren "westlichen Regeln" folgt, aber "lokale Regeln" bricht.
- Die Analogie: Stellen Sie sich vor, die KI ist ein Gast bei einer Dinnerparty. Der Gastgeber (die lokale Kultur) sagt: "Essen Sie nicht mit der linken Hand." Der Gast (die KI) sagt: "Aber mein Regelbuch sagt, Hände sind einfach Hände!" und benutzt trotzdem die linke Hand.
- Reale Beispiele:
- Religion: Die KI erzeugte ein Bild eines hinduistischen Mannes, der Rindfleisch isst (was für viele Hindus verboten ist), oder eines Muslimen, der in Mekka spielt. Für die KI waren dies nur "Menschen, die Dinge tun", aber für die Einheimischen waren sie zutiefst beleidigend.
- Bräuche: Die KI zeigte ein Kind, das in Indien mit einem Älteren die Hand schüttelt, während der lokale Brauch darin besteht, deren Füße zu berühren. Die KI verstand die Regeln der "Reinheit" und "Respekt" der Kultur nicht.
- Vorzeichen: Die KI zeichnete eine schwarze Katze, die eine Straße überquert, oder einen zerbrochenen Spiegel. In einigen Kulturen sind dies nicht nur "Katzen" oder "Glas"; sie sind böse Vorzeichen, die Pech bringen. Die KI verstand das Gefühl des Bildes nicht.
C. "Ontologische Verflachung" (Auslöschung der Identität)
Dies ist der Fall, wenn die KI etwas Einzigartiges und Spezifisches nimmt und es in eine generische, westliche Form zertrümmert.
- Die Analogie: Es ist, als würde man einen Maler bitten, eine bestimmte Art von lokalem Bus zu zeichnen, und er zeichnet einfach einen generischen amerikanischen Schulbus.
- Reale Beispiele:
- Essen: Wenn man nach "Fufu" (ein westafrikanisches Gericht) fragt und ein Bild von Kartoffelpüree oder einem Burger erhält.
- Kunst: Wenn man nach einem "Yakshagana-Künstler" (ein spezifischer indisches Theaterstil) fragt und einen generischen "klassischen Tänzer" in einem weißen Tutu erhält.
- Menschen: Wenn man nach einem "Straßenhändler aus Südiran" fragt und ein Bild einer dunkelhäutigen Person erhält, das Stereotype von Armut verstärkt, selbst wenn die Aufforderung nicht nach Armut fragte.
4. Warum dies wichtig ist
Der Artikel kommt zu dem Schluss, dass man KI nicht einfach sicherer machen kann, indem man sie "größer" macht oder mehr Daten aus denselben alten Orten hinzufügt. Man muss heranzoomen.
- Die Lehre: Um KI für die ganze Welt wirklich sicher zu machen, müssen Sie die Menschen, die in diesen Kulturen leben, definieren lassen, was "Sicherheit" für sie bedeutet. Sie müssen auf die "Community-Guides" hören, nicht nur auf die "Hauptquartiere".
Zusammenfassung
Das PLACES-Projekt ist wie das Senden eines Teams lokaler Übersetzer, um einem fremden Roboter den lokalen Dialekt, die Bräuche und Tabus beizubringen. Sie entdeckten, dass der Roboter nicht deshalb versagte, weil er "schlecht" war, sondern weil er kulturell analphabetisch war. Indem sie lokalen Gemeinschaften erlaubten, die KI zu "red teamen", deckten sie Tausende neuer Wege auf, wie die KI falsch liegen kann, und bewiesen, dass Sicherheit kein universelles Regelbuch ist, sondern ein lokales Gespräch.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.