Harm is not Universal: Community-Specific Toxicity Detection is Urgently Needed
Dieses Positionspapier argumentiert, dass universelle Toxizitätsdetektoren daran scheitern, marginalisierte Gemeinschaften, wie etwa Menschen mit Kleinwuchs oder Sehbehinderungen, zu schützen, und zeigt auf, dass gemeinschaftsspezifische Toxizitätserkennung, obwohl sie die Schadenserkennung durch promptbasierte Anpassung und Feinabstimmung signifikant verbessert, dennoch erheblicher Forschung bedarf, um das Leistungsniveau allgemeiner Systeme zu erreichen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie wandern durch eine riesige, magische Kunstgalerie, deren Wände aus lebendiger Farbe bestehen. Dies ist nicht irgendeine Galerie; sie wird von einem superintelligenten Roboter-Künstler angetrieben, der in der Lage ist, Ihre wildesten Worte sofort in Bilder zu verwandeln. Wenn Sie sagen: „eine Katze mit einem Hut“, malt er eine Katze mit einem Hut. Diese Technologie, die Text-zu-Bild-Generierung, ist wie ein digitaler Flaschengeist, der visuelle Wünsche erfüllt. Aber, genau wie jedes mächtige Werkzeug, kann sie manchmal Fehler machen. Manchmal malt sie etwas Gruseliges, Gewalttätiges oder einfach nur Unhöfliches. Um dies zu verhindern, haben Wissenschaftler „Sicherheitswächter“ gebaut – digitale Türsteher, die jedes Bild prüfen, bevor es an die Wand kommt. Wenn der Türsteher etwas Schlechtes sieht, blockiert er das Bild.
Lange Zeit wurden diese Türsteher mit einer „Einheitsregel“ trainiert. Ihnen wurde beigebracht, offensichtliche schlechte Dinge wie Gewalt oder Hassrede zu erkennen, was so ist, als würde man einem Sicherheitsmann beibringen, nur nach Menschen zu suchen, die Waffen tragen. Aber was, wenn die Gefahr nicht eine Waffe ist? Was, wenn die Gefahr ein subtiles, verletzendes Stereotyp ist, das nur eine bestimmte Gruppe von Menschen erkennen würde? Diese Arbeit taucht genau in dieses Problem ein. Sie fragt: Was, wenn der Sicherheitswächter so sehr damit beschäftigt ist, nach Schwertern Ausschau zu halten, dass er übersieht, dass er einen Rollstuhlfahrer mit Rädern anstelle von Beinen oder eine blinde Person mit einer Augenbinde beim Lesen eines Buches malt? Die Forscher argumentieren, dass wir eine neue Art von Sicherheitswächter brauchen – einen, der die spezifischen, einzigartigen Regeln verschiedener Gemeinschaften versteht, anstatt einfach nur die gleichen generischen Regeln für alle anzuwenden.
Das Problem: Der „universelle“ Türsteher schläft am Steuer
Die Forscher begannen, die aktuellen erstklassigen Sicherheitswächter (die „State-of-the-Art“-Detektoren) an Bildern zu testen, die für zwei spezifische Gemeinschaften generiert wurden: Menschen, die blind oder sehbehindert (BLV) sind, und Menschen mit Kleinwuchs (DWF). Sie erstellten einen Satz von 2.400 Bildern basierend auf echten Prompts aus diesen Gemeinschaften und baten die KI, sie bei alltäglichen Dingen wie Kochen, Arbeiten oder Spielen darzustellen.
Dann baten sie fünf Experten für Behinderungen, diese Bilder anzusehen und alles zu benennen, was sich falsch oder verletzend anfühlte. Die Experten fanden eine schockierende Lücke. Obwohl die aktuellen Sicherheitswächter diesen Bildern ein „Sicher“-Siegel verliehen hatten, fanden die Experten, dass 35 % von ihnen tatsächlich verletzend waren.
Um Ihnen ein konkretes Beispiel dafür zu geben, wie „verletzend“ hier aussieht:
- Für die Gemeinschaft der Blinden/Sehbehinderten: Die KI könnte eine Person mit roboterhaften, metallischen Augen zeichnen, oder einen Blindenführhund mit einer Augenbinde darstellen (was albern und verwirrend ist), oder einen Blindenstock verwenden, der wie ein Kochlöffel benutzt wird.
- Für die Gemeinschaft des Kleinwuchses: Die KI könnte einen Erwachsenen mit Kleinwuchs als Baby zeichnen, ihn in einen Fantasy-Charakter wie einen Zwerg aus einem Märchen verwandeln oder Frauen mit Kleinwuchs mit Bärten darstellen.
Dies sind nicht nur „Hoppala“-Momente; es sind tief sitzende, stereotype Fehler, die schädliche Vorstellungen verstärken. Die Arbeit zeigt, dass die aktuellen „universellen“ Detektoren völlig blind für diese Arten von spezifischen Verletzungen sind. Als die Forscher die Detektoren baten, die Bilder unter Anwendung der neuen, spezifischen Regeln zu prüfen, versagten die Detektoren kläglich. Tatsächlich war ihre Leistung oft schlechter als reines Raten. Es ist, als würde man einen Türsteher, der nur weiß, wie man Pistolen erkennt, fragen, einen falschen Schnurrbart zu finden; er hat einfach nicht die richtigen Werkzeuge für den Job.
Die Lösung: Dem Wächter die spezifischen Regeln beibringen
Da der „universelle“ Türsteher nicht funktionierte, versuchte das Team, der KI neue Tricks beizubringen, ohne den ganzen Roboter von Grund auf neu zu bauen. Sie testeten drei verschiedene Wege, um die Sicherheitswächter an diese spezifischen Gemeinschaften anzupassen:
- Die „Zeigen und Sagen“-Methode (In-Context Learning): Stellen Sie sich vor, man zeigt der KI ein paar Beispiele für schlechte Bilder und sagt: „Siehst du das? Das ist schlecht wegen X. Schau dir nun dieses neue Bild an.“ Diese Methode half ein wenig und verbesserte die Erkennungswerte, war aber inkonsistent. Manchmal hatte die KI es richtig, und manchmal war sie immer noch verwirrt.
- Die „Verhör“-Methode (Visual Question Answering): Anstatt nur zu fragen „Ist das sicher?“, stellten die Forscher der KI eine Reihe spezifischer Fragen wie: „Hat diese Person einen Bart?“ oder „Sind die Augen realistisch?“ Wenn die KI eine schlechte Sache mit „Ja“ beantwortete, wurde das Bild markiert. Dies funktionierte viel besser! Es zwang die KI, genau auf die Details zu achten. Für die Gemeinschaft des Kleinwuchses steigerte diese Methode den Erkennungswert auf ein vielversprechenderes Niveau.
- Die „Lernstunde“ (Fine-Tuning): Hier erhält die KI einen kleinen Crashkurs unter Verwendung eines winzigen Datensatzes von etwa 100 Beispielen. Sie brachten der KI die spezifischen Regeln für diese Gemeinschaften bei. Dies war die effektivste Methode für kleinere KI-Modelle und steigerte deren Leistung erheblich.
Der Haken: Es ist schwieriger, als es aussieht
Obwohl diese Methoden die Situation verbesserten, stellt die Arbeit sehr klar, dass wir das Problem noch nicht gelöst haben. Selbst mit den besten Methoden liegt die Fähigkeit der KI, diese spezifischen Verletzungen zu erkennen, immer noch weit unter ihrer Fähigkeit, allgemeine schlechte Inhalte zu erkennen. Die Forscher fanden heraus, dass die KI sehr empfindlich auf Veränderungen reagiert. Wenn die Gemeinschaft sagt: „Eigentlich halten wir diese spezifische Sache nicht mehr für verletzend“, wird die auf den alten Regeln trainierte KI verwirrt und kann sich nicht schnell anpassen.
Die Arbeit kommt zu dem Schluss, dass wir zwar Fortschritte gemacht haben, aber der Aufbau eines Sicherheitssystems, das marginalisierte Gemeinschaften wirklich respektiert und schützt, eine massive Herausforderung ist. Es geht nicht nur darum, ein besseres Regelwerk zu schreiben; es erfordert eine ständige, sich entwickelnde Partnerschaft zwischen den KI-Entwicklern und den Gemeinschaften selbst. Der „Einheitsansatz“ ist offiziell vorbei; die Zukunft der KI-Sicherheit muss ein Flickenteppich aus spezifischem, gemeinschaftsgeleitetem Verständnis sein. Die Forscher schlagen vor, dass wir weiter daran arbeiten müssen, denn solange wir diese subtilen Verletzungen nicht zuverlässig erkennen können, könnten die „sicheren“ Bilder, die wir sehen, immer noch Stereotypen verstärken, die echten Menschen schaden.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.