Probing Social Identity Bias in Chinese LLMs with Gendered Pronouns and Social Groups
Diese Studie bewertet soziale Identitätsverzerrungen in zehn chinesischen großen Sprachmodellen mittels mandarin-spezifischer Prompts, um Ingroup- und Outgroup-Rahmungen über 240 soziale Gruppen hinweg zu vergleichen, und zeigt, dass zwar durch Instruction Tuning Sentiment-Asymmetrien reduziert werden, Toxizitätslücken jedoch bestehen bleiben und durch die Verwendung explizit femininer Pluralpronomen weiter verschärft werden.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie haben eine Gruppe sehr intelligenter, digitaler Geschichtenerzähler (Large Language Models oder LLMs), die Chinesisch sprechen. Diese Modelle haben fast alles gelesen, was im Internet geschrieben wurde, und kennen daher viel über die Welt. Doch genau wie Menschen haben sie sich möglicherweise unterwegs einige versteckte Vorurteile angeeignet.
Dieser Artikel ist wie eine Detektivgeschichte, in der Forscher diese digitalen Geschichtenerzähler auf die Probe stellen, um zu sehen, ob sie „uns" anders behandeln als „sie".
Das Setup: „Wir" gegen „Sie"
Die Forscher wollten herausfinden, ob die Modelle einer Gruppe gegenüber netter sind, wenn die Geschichte aus der Innenperspektive erzählt wird („Wir sind..."), im Vergleich dazu, wenn sie aus der Außenperspektive erzählt wird („Sie sind...").
Stellen Sie sich einen Schulspielplatz vor. Wenn ein Schüler sagt: „Wir sind die Fußballmannschaft", klingt er vielleicht stolz und glücklich. Aber wenn er sagt: „Sie sind die Fußballmannschaft" (und dabei auf das Rivalenteam verweist), klingt er vielleicht kritisch oder gemein. Die Forscher fragten: Verhalten sich diese KI-Modelle so?
Sie testeten 10 verschiedene chinesische KI-Modelle mit 240 verschiedenen sozialen Gruppen (wie Menschen unterschiedlichen Alters, verschiedener Berufe oder Hintergründe).
Die spezielle chinesische Wendung: Das Pronomen „Er" vs. „Sie"
Hier wird die Studie wirklich clever. Im Englischen wird das Wort „they" für eine Gruppe von Menschen unabhängig vom Geschlecht verwendet. Aber im Chinesischen gibt es einen visuellen Unterschied in der Schrift:
- 他们 (Tāmen): Das Standard-„sie" für eine gemischte Gruppe oder wenn das Geschlecht unbekannt ist. Es sieht aus wie eine „Person" mit einem „Pferd" (ein neutrales Symbol).
- 她们 (Tāmen): Das spezifische „sie" für eine rein weibliche Gruppe. Es sieht aus wie eine „Person" mit einem „weiblichen" Symbol.
Die Forscher nutzten diesen Unterschied als ein spezielles Werkzeug. Sie baten die KI, über Gruppen mit dem neutralen „sie" und dann mit dem weiblich-spezifischen „sie" zu sprechen. Sie wollten herausfinden, ob die KI nur deshalb gemeiner wurde, weil die Gruppe explizit als weiblich gekennzeichnet war.
Was sie fanden
1. Der Bias „Wir ist besser als Sie"
Genau wie in der Spielplatz-Analogie mochten die KI-Modelle die „Wir"-Gruppen im Allgemeinen mehr als die „Sie"-Gruppen.
- Wenn die KI sagte „Wir sind...", waren die Antworten wärmer und positiver.
- Wenn die KI sagte „Sie sind...", waren die Antworten kälter und manchmal sogar feindselig.
- Der Haken: Dies war keine gewaltige Explosion des Hasses, sondern ein subtiler, konsistenter Muster. Es ist wie ein leichtes Stirnrunzeln beim Sprechen über Außenseiter im Vergleich zu einem Lächeln für Insider.
2. Der „Lehrer" gegen den „Schüler" (Instruction Tuning)
Die Forscher testeten zwei Arten von Modellen:
- Base Models: Diese sind wie rohe Schüler, die viel gelesen haben, aber noch nicht gelernt haben, sich höflich zu verhalten. Diese Modelle waren viel eher geneigt, gegenüber den „Sie"-Gruppen gemein zu sein.
- Instruction-Tuned Models: Diese sind wie Schüler, die von Lehrern (Menschen) unterrichtet wurden, hilfreich und sicher zu sein. Diese Modelle waren besser darin, gegenüber allen höflich zu sein. Sie verringerten die Lücke zwischen „Lächeln" und „Stirnrunzeln".
- Allerdings: Selbst die „guten Schüler" (die höflichen) hatten immer noch ein verstecktes Problem. Obwohl sie in ihrem Tonfall nicht mehr gemein waren, zeigten sie immer noch Anzeichen von Toxizität (unhöfliche oder unsichere Sprache), wenn sie über „Sie"-Gruppen sprachen, insbesondere wenn die Gruppe als weiblich gekennzeichnet war.
3. Die „weibliche" Strafe
Dies war eine überraschende Entdeckung. Bei mehreren Modellen waren die Antworten, wenn die KI das weiblich-spezifische Pronomen (她们) verwendete, tatsächlich toxischer (unhöflicher oder schädlicher) als wenn sie das neutrale Pronomen (他们) verwendete.
- Es ist, als ob die KI, selbst wenn sie höflich sein wollte, unbewusst dachte: „Oh, diese Gruppe besteht nur aus Frauen", und sofort in ihrer Sprache etwas kritischer oder unsicherer wurde. Dies ist ein Vorurteil, das man im Englischen nicht sehen würde, weil das Englische keinen visuellen Unterschied für „they" hat.
4. Realitätscheck
Die Forscher untersuchten auch echte Gespräche zwischen Menschen und KI (aus einem öffentlichen Datensatz). Sie fanden heraus, dass die KI auch im echten Leben tendenziell netter zu „uns" und etwas kritischer gegenüber „sie" war, was darauf hindeutet, dass dies nicht nur ein Laborexperiment ist – es passiert auch in der realen Welt.
Das Fazit
Die Studie kommt zu dem Schluss, dass chinesische KI-Modelle keine neutralen Roboter sind. Sie tragen soziale Vorurteile in sich:
- Sie bevorzugen „Wir" gegenüber „Sie".
- Sie können gegenüber „Sie" gemeiner sein, als sie gegenüber „Wir" nett sind.
- Sie haben eine spezifische, versteckte Voreingenommenheit gegen Gruppen, die als weiblich gekennzeichnet sind, die sich als unhöfliche Sprache zeigt, selbst wenn die KI versucht, höflich zu sein.
Die Forscher sagen, dass wir, um dies zu beheben, nicht einfach englische Regeln anwenden können. Wir müssen die spezifischen Eigenheiten der chinesischen Sprache verstehen (wie diese Pronomenunterschiede), um diese KI-Tools für alle fair und sicher zu machen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.