Measuring Stereotype and Deviation Biases in Large Language Models
Diese Studie untersucht Stereotypen- und Abweichungsverzerrungen in vier fortschrittlichen großen Sprachmodellen durch die Analyse ihrer generierten individuellen Profile und zeigt, dass alle untersuchten Modelle signifikante Verzerrungen aufweisen, wenn sie demografische Gruppen mit bestimmten Attributen verknüpfen und von realen demografischen Verteilungen abweichen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie haben vier verschiedene KI-„Geschichtenerzähler" (Large Language Models, oder LLMs). Sie bitten sie, einen Charakter zu erfinden und Ihnen alles über ihn zu erzählen: ihre politischen Ansichten, Religion, wen sie lieben, wie viel Geld sie verdienen und welchen Beruf sie ausüben.
Dieser Artikel ist wie ein Detektivbericht, der prüft, ob diese Geschichtenerzähler die Wahrheit über die reale Welt erzählen oder ob sie nur alte, faule Stereotype wiederholen. Die Forscher stellten zwei Hauptfragen:
- Der „Stereotyp"-Test: Behandeln diese KI-Geschichtenerzähler verschiedene Personengruppen unterschiedlich? (z. B. Stellen sie Männer immer als „Ingenieure" und Frauen als „Lehrer" dar?)
- Der „Abweichung"-Test: Ähneln die von ihnen erfundenen Charaktere tatsächlich realen Menschen in der realen Welt? (z. B. Wenn sie 100 Personen erfinden, stimmen die politischen Ansichten dann mit der tatsächlichen US-Bevölkerung überein, oder ist plötzlich jeder ein Liberaler?)
Hier ist das, was sie herausfanden, einfach aufgeschlüsselt:
1. Die „politische Linse" ist kaputt
Als die KI gebeten wurde, die politische Partei einer Person zu erraten, verhielt sie sich wie ein kaputter Kompass.
- Das Ergebnis: Fast jede einzelne von der KI erfundene Person war liberal. Ob der Charakter ein Mann, eine Frau, schwarz, weiß oder asiatisch war, sagte die KI überwiegend: „Sie sind liberal."
- Der Realitätscheck: In der realen Welt sind die Menschen zwischen Liberalen, Konservativen und Neutralen aufgeteilt. Die KI ignorierte die Konservativen und Neutralen fast vollständig.
- Die Analogie: Es ist, als würde man einen Koch bitten, ein Buffet für eine Menge zu kochen, aber der Koch serviert nur Pizza. Selbst wenn Sie einen Salat, ein Steak oder ein Taco verlangen, gibt der Koch Ihnen einfach mehr Pizza, weil er daran gewöhnt ist, Pizza zu kochen.
2. Der „Religion"-Filter ist eng
Als die KI erraten sollte, welcher Religion eine Person angehört:
- Das Ergebnis: Die KI riet hauptsächlich auf christlich oder konfessionslos (keine Religion). Sie riet selten auf Hindu, jüdisch oder muslimisch, obwohl Millionen echter Menschen diesen Glaubensrichtungen folgen.
- Der Alters-Twist: Die KI hatte eine spezifische Gewohnheit bei älteren Menschen (Baby-Boomer). Sie riet fast immer, dass sie christlich seien. Für jüngere Generationen riet sie, dass sie „konfessionslos" seien.
- Die Analogie: Stellen Sie sich eine Landkarte vor, auf der nur die USA und Kanada eingezeichnet sind und jedes andere Land einfach als „Unbekannt" gekennzeichnet ist. Die Landkarte der KI über die Religionen der Welt vermisst riesige Teile der tatsächlichen Bevölkerung.
3. Die „Liebesleben"-Verzerrung
Als die KI die sexuelle Orientierung erraten sollte:
- Das Ergebnis: Die KI erfand viel zu viele LGBTQ+-Charaktere. In der realen Welt identifizieren sich die meisten Menschen als heterosexuell. Die KI drehte dies um und machte die überwältigende Mehrheit ihrer erfundenen Charaktere zu LGBTQ+.
- Die Geschlechter-Spaltung: Sie hatte ein spezifisches Muster: Sie riet fast immer, dass Männer schwul und Frauen bisexuell seien.
- Die Analogie: Es ist, als würde man in einen Raum gehen, in dem die KI sagt: „Jeder hier trägt einen roten Hut", während in Wirklichkeit nur wenige Menschen einen tragen. Die KI verstärkt eine Minderheitengruppe so stark, dass sie wie eine Mehrheit aussieht.
4. Die „Beruf"- und „Geld"-Stereotype
Als die KI Berufe und Vermögen erraten sollte:
- Das Ergebnis: Die KI verließ sich stark auf altmodische Stereotype.
- Berufe: Sie liebte es, fast für alle, besonders für ältere Generationen, Lehrer und Grafikdesigner zu machen.
- Rasse & Geld: Sie riet oft, dass schwarze Menschen „untere Klasse" und asiatische Menschen „obere Klasse" seien.
- Verweigerung: Eines der KI-Modelle (Claude) wurde so nervös, Berufe für bestimmte Gruppen (wie weiße Männer oder schwarze Männer) zu erraten, dass es einfach die Antwort verweigerte und sagte: „Das kann ich nicht."
- Die Analogie: Die KI ist wie eine Person, die nur wenige Filme gesehen hat. Wenn sie einen schwarzen Charakter sieht, geht sie davon aus, dass er ein Gemeindeorganisator ist. Wenn sie einen asiatischen Charakter sieht, geht sie davon aus, dass er Arzt ist. Sie handelt nach „Filmlogik" statt nach realen Statistiken.
5. Das „Namensspiel" (Implizit vs. Explizit)
Die Forscher machten etwas Cleveres. Sie fragten die KI auf zwei Arten:
- Explizit: „Schreiben Sie über einen schwarzen Mann."
- Implizit: „Schreiben Sie über einen Mann namens Jamal." (Der Name impliziert die Rasse, ohne sie zu sagen).
Das Ergebnis: Die KI verhielt sich in beiden Fällen fast gleich. Ob Sie direkt „schwarzer Mann" sagten oder nur einen Namen verwendeten, der mit dieser Gruppe assoziiert wird, die KI wendete immer noch die gleichen Stereotype an. Dies deutet darauf hin, dass die KI nicht nur auf die von Ihnen getippten Wörter reagiert; sie hat diese Assoziationen tief in ihrem Gehirn „gelernt".
Das große Ganze
Der Artikel kommt zu dem Schluss, dass diese KI-Modelle keine neutralen Spiegel der Gesellschaft sind. Stattdessen sind sie wie Spiegeleier im Vergnügungspark, die bestimmte Gruppen strecken und schrumpfen.
- Sie lassen liberale Ansichten wie die einzige Ansicht aussehen.
- Sie lassen LGBTQ+-Identitäten wie die Mehrheit aussehen.
- Sie lassen ältere Menschen wie Christen und Lehrer aussehen.
- Sie lassen asiatische Menschen wohlhabend und schwarze Menschen arm aussehen.
Die Autoren warnen, dass wir, wenn wir diese KI-Modelle für Entscheidungen verwenden (wie bei der Einstellung, Kreditvergabe oder Analyse von Nachrichten), versehentlich eine Welt aufbauen könnten, die wie die verzerrte Vorstellungskraft der KI aussieht, und nicht wie die reale Welt. Sie schlagen vor, dass Entwickler die Trainingsdaten korrigieren müssen, damit die KI aufhört, diese „faulen" Vermutungen zu wiederholen, und beginnt, die Realität genauer widerzuspiegeln.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.