Epistemic Injustice in Language Models: An Audit of Pretraining Filters and Guardrails
Dieses Paper auditiert Pretraining-Filter und Guardrails zur Laufzeit in Sprachmodellen und zeigt auf, dass diese durch die Abhängigkeit von simplen lexikalischen Hinweisen überproportional häufig Erwähnungen marginalisierter Gruppen löschen, während sie gleichzeitig tatsächlichen Hassrede oder privaten Informationen nicht entgegenwirken, wodurch sie eine Form der epistemischen Ungerechtigkeit schaffen, die dem menschlichen Urteil widerspricht.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie bauen eine riesige Bibliothek mit Büchern auf, um einem superintelligenten Roboter beizubringen, wie man spricht und die Welt versteht. Dieser Roboter, ein Large Language Model (LLM), muss Milliarden von Sätzen aus dem Internet lesen, um zu lernen.
Bevor der Roboter jedoch mit dem Lesen beginnt, setzen Menschen Filter ein (wie einen strengen Bibliothekar), um „schlechte“ Bücher auszusortieren. Dann, wenn der Roboter anfängt, mit Menschen zu kommunizieren, setzen Menschen Leitplanken (Guardrails) ein (wie einen Sicherheitsinspektor), um ihn daran zu hindern, etwas „Unsicheres“ zu sagen.
Dieses Papier ist ein Audit – eine tiefgehende Untersuchung – darüber, wie diese Bibliothekare und Sicherheitsinspektoren ihre Arbeit erledigen. Die Forscher fanden heraus, dass diese Menschen, während sie versuchen, den Roboter sicher zu halten, versehentlich die Stimmen marginalisierter Gruppen löschen (wie Transgender-Personen, Frauen und Menschen aus Zentralamerika) und menschliches Urteilsvermögen durch starre, oft falsche Regeln ersetzen.
Hier ist eine Aufschlüsselung ihrer Ergebnisse unter Verwendung einfacher Analogien:
1. Die „Verbotene Wörter“-Falle
Die Forscher fanden heraus, dass viele dieser Sicherheitssysteme wie eine „Schwarze Liste“ eines Kindes funktionieren.
- Wie es funktioniert: Wenn ein Satz ein bestimmtes „schlechtes“ Wort enthält (wie ein Schimpfwort oder einen sexuellen Begriff), löscht das System diesen sofort, ohne auf den Kontext zu achten.
- Das Problem: Es ist, als würde ein Bibliothekar ein Buch über ein medizinisches Verfahren aus der Bibliothek werfen, nur weil es ein Körperteil erwähnt, oder eine Geschichte über die Rechte von Sexarbeiterinnen löschen, weil sie das Wort „Sex“ verwendet.
- Das Ergebnis: Die Systeme sind sehr gut darin, Wörter auf ihrer „Schwarzen Liste“ zu finden, aber sie sind schrecklich darin, tatsächliche Schäden zu erkennen, wie etwa Datenschutzverletzungen, Urheberrechtsdiebstahl oder echte Hassrede, die keine spezifischen verbotenen Wörter verwendet.
2. Der „Überprotektive“ Filter
Die Studie entdeckte, dass diese Filter überprotektiv gegenüber bestimmten Gruppen sind und wie ein Türsteher agieren, der verdächtig gegenüber jedem ist, der eine bestimmte Art von Hut trägt.
- Transgender-Personen: Sätze, die Transgender-Identitäten erwähnen, wurden viel häufiger zur Entfernung markiert als Sätze über cisgeschlechtliche (nicht-trans) Personen.
- Frauen: Erwähnungen von Frauen wurden signifikant häufiger markiert als Erwähnungen von Männern.
- Zentralamerikaner: Inhalte, die Menschen aus Zentralamerika erwähnten, wurden fast immer zur Entfernung markiert, während Inhalte über Menschen aus Westeuropa selten angefasst wurden.
- Die Analogie: Stellen Sie sich einen Sicherheitsmann in einem Museum vor, der jeden reinlässt, außer Menschen aus einem ganz bestimmten Viertel. Der Wachmann versucht nicht böswillig zu sein; er folgt lediglich einer fehlerhaften Regel, die davon ausgeht, dass Menschen aus diesem Viertel „riskant“ sind. Dies führt dazu, dass die KI (das Museum) niemals etwas über die Kultur dieses Viertels lernt.
3. Der Roboter vs. Der Mensch
Die Forscher baten freiwillige Helfer, sich die Sätze anzusehen, die die Roboter markiert hatten, und zu entscheiden: „Soll dieser Satz bleiben oder gehen?“
- Die schockierende Statistik: Die Menschen sagten in 88,5 % der Fälle „Behalten“ für Sätze, die die Pre-Training-Filter löschen wollten, und in 91,3 % der Fälle für die Sätze, die die Guardrails blockieren wollten.
- Die Analogie: Es ist, als würde ein Roboter-Koch eine Suppe probieren, entscheiden, dass sie „giftig“ ist, weil sie ein bestimmtes Kraut enthält, und dann den ganzen Topf wegwerfen. Ein menschlicher Koch probiert sie, stellt fest, dass es nur eine würzige Suppe ist, und sagt: „Nein, das ist köstlich und sicher zu essen.“
- Der Konflikt: Die automatisierten Systeme entfernen Inhalte, die Menschen tatsächlich als wertvoll, lehrreich oder harmlos empfinden. Durch das Löschen dieser Sätze verliert die KI die Fähigkeit, diese Gruppen und deren Erfahrungen zu verstehen.
4. Die „Stille Auslöschung“
Das Papier nennt dies „Epistemische Auslöschung“.
- Was es bedeutet: „Epistemisch“ bezieht sich auf Wissen. „Auslöschung“ bedeutet, etwas wegzuwischen.
- Die Metapher: Stellen Sie sich eine Weltkarte vor, auf der die KI die Kontinente zeichnet. Da die Filter ständig Sätze über Transgender-Personen oder Zentralamerikaner löschen, endet die Karte der KI mit leeren weißen Flecken, wo diese Gruppen eigentlich sein sollten. Die KI „weiß“ buchstäblich nicht, dass sie existieren oder wie ihr Leben aussieht, weil die Daten gelöscht wurden, bevor sie lernen konnte.
Zusammenfassung der Thesen des Papers
- Die Systeme sind uneinig: Die verschiedenen Filter und Guardrails widersprechen sich oft. Einige fangen Dinge ab, die andere übersehen, und sie verlassen sich stark auf einfache Wortlisten statt auf das Verständnis von Kontext.
- Bias ist systemisch: Dies ist kein bloßer Fehler; es ist ein Muster. Systeme verschiedener Unternehmen und aus verschiedenen Kontinenten scheinen alle dieselben marginalisierten Gruppen übermäßig zu markieren.
- Menschliches Urteilsvermögen ist anders: Menschen bewerten diese Sätze im Allgemeinen als sicher oder wichtig, während die Maschinen sie als gefährlich ansehen.
- Die Konsequenz: Indem wir uns auf diese automatisierten Systeme verlassen, gestalten wir die KI aktiv so, dass sie blind gegenüber der Realität von Transgender-Personen, Frauen und Menschen aus bestimmten Regionen ist, und verstummen sie damit effektiv in der digitalen Welt.
Das Papier kommt zu dem Schluss, dass wir, um dies zu beheben, uns nicht nur auf automatisierte „Schwarze Listen“ verlassen können. Wir müssen die Menschen, die betroffen sind, in den Entscheidungsprozess einbeziehen und Systeme schaffen, die Kontext verstehen, anstatt nur nach „schlechten Wörtern“ zu zählen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.