💬 NLP

Is She Even Relevant? When BERT Ignores Explicit Gender Cues

Diese Studie zeigt, dass ein von Grund auf neu trainiertes niederländisches BERT-Modell starke, beständige geschlechtsspezifische Verzerrungen entwickelt, die einen männlichen Standard setzen und explizite kontextuelle Hinweise überlagern, was belegt, dass seine gelernten Repräsentationen nicht dynamisch genug sind, um anti-stereotypische Geschlechterinformationen korrekt zu kodieren, obwohl die Sprache eine offensichtliche morphologische Geschlechtermarkierung aufweist.

Ursprüngliche Autoren: Jonas Klein, Chiara Manna, Eva Vanmassenhove

Veröffentlicht 2026-05-11

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Jonas Klein, Chiara Manna, Eva Vanmassenhove

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Ganze: Ein Roboter, der Vorurteile nicht verlernen kann

Stellen Sie sich vor, Sie lehren einem Roboter, menschliche Sprache zu verstehen, indem Sie ihm Millionen von Büchern zeigen. Sie wollen, dass der Roboter klug genug ist zu verstehen, dass, wenn jemand sagt: „Sie ist Klempnerin", der Roboter weiß, dass die Klempnerin eine Frau ist, selbst wenn der Roboter in seinen Trainingsbüchern überwiegend männliche Klempner gesehen hat.

Dieses Papier stellt eine einfache Frage: Hört der Roboter tatsächlich auf das Wort „Sie", oder ignoriert er es einfach und hält an seinen alten Gewohnheiten fest?

Die Forscher bauten eine Version eines berühmten KI-Modells (genannt BERT) von Grund auf neu, lehrten es jedoch Niederländisch statt Englisch. Niederländisch ist eine knifflige Sprache, weil sie eine Mischung aus geschlechtsspezifischen Wörtern (wie „er" und „sie") und neutralen Wörtern enthält, die früher männlich waren, aber nun für alle verwendet werden.

Das Experiment: Der „Klempner"-Test

Um den Roboter zu testen, stellten die Forscher ein Spiel mit Satzmustern auf. Sie gaben dem Roboter Sätze wie:

„Er ist Krankenschwester." (Dies entspricht dem Vorurteil: Männer sind selten Krankenschwestern).
„Sie ist Klempnerin." (Dies bricht das Vorurteil: Frauen sind selten Klempnerinnen).

Dann fragten sie den Roboter: „Basierend auf dem Wort 'Klempner' oder 'Krankenschwester' in diesem Satz, glauben Sie, diese Person ist männlich oder weiblich?"

Sie maßen dies, indem sie das „Gehirn" des Roboters (seine innere Mathematik) betrachteten, um zu sehen, auf welcher Seite einer Geschwindigkeitsskala das Wort landete.

Wichtige Erkenntnisse: Was sie entdeckten

1. Der Roboter lernt Geschwindigkeit schnell, bleibt aber stecken

Die Forscher beobachteten, wie der Roboter im Laufe der Zeit lernte. Sie stellten fest, dass der Roboter sehr schnell herausfand, wie man „männlich" von „weiblich" unterscheidet (etwa am 20. Tag des Trainings). Sobald er dies gelernt hatte, wurde er darin wirklich gut.

Die Analogie: Stellen Sie sich einen Schüler vor, der am ersten Tag den Unterschied zwischen „Katzen" und „Hunden" lernt. Bis zum 20. Tag kann er eine Katze oder einen Hund sofort erkennen. Aber hier ist das Problem: Der Roboter lernte, sie basierend darauf zu erkennen, was er normalerweise sieht, und nicht basierend darauf, was sich gerade vor ihm befindet.

2. Der „männliche" Standard ist allgegenwärtig

Die Forscher stellten fest, dass das Verständnis des Roboters von „männlich" wie eine breite, bequeme Decke ist, die fast alles bedeckt. Das Verständnis von „weiblich" ist wie ein spezifischer, schmaler Scheinwerfer.

Männlich: Der Roboter verbreitet die Idee von „männlich" über viele verschiedene Teile seines Gehirns. Es ist die „Standard"-Einstellung.
Weiblich: Der Roboter verwendet nur wenige spezifische Teile seines Gehirns, um „weiblich" zu identifizieren.

Das Ergebnis: Wenn der Roboter verwirrt ist, greift er auf die „Decke" (Männlich) zurück. Selbst wenn Sie ihm sagen „Sie ist Klempnerin", sagt die innere Mathematik des Roboters oft immer noch „Klempner = Männlich", weil dies die breite, bequeme Standardvorstellung ist, die er aus den Büchern gelernt hat.

3. Der Roboter ignoriert das „Sie"

Dies ist der überraschendste Teil. Der Roboter soll „kontextsensitiv" sein, was bedeutet, dass er seine Meinung basierend auf dem Satz ändern sollte.

Wenn der Satz „Sie ist Klempnerin" lautet, sollte der Roboter „Weiblich" denken.
Was tatsächlich passierte: Der Roboter ignorierte das Wort „Sie" größtenteils. Er sah sich das Wort „Klempner" an, erinnerte sich daran, dass Klempner in seinen Trainingsdaten meist Männer sind, und blieb bei dieser Antwort.

Die Analogie: Stellen Sie sich vor, Sie sind auf einer Party. Sie sehen eine Person mit einer Kochmütze (Vorurteil: männlicher Koch). Ihr Freund zeigt darauf und sagt: „Das ist meine Schwester, sie ist die Köchin!" (Expliziter Hinweis: weiblich).

Ein Mensch würde sagen: „Ah, ich verstehe, sie ist die Köchin."
Dieser Roboter würde sagen: „Nein, die Mütze sagt Koch, und Köche sind Männer. Ich ignoriere deinen Freund."

4. Das Einzige, was funktioniert: Der „Suffix"-Trick

Die Forscher fanden eine Sache, die den Roboter tatsächlich dazu zwang, seine Meinung zu ändern: Morphologie (die Form des Wortes).

Im Niederländischen kann man eine spezielle Endung an einen Berufstitel anhängen, um ihn explizit weiblich zu machen (wie das Hinzufügen von „-ster", um aus „Krankenschwester" eine „weibliche Krankenschwester" zu machen).

Wenn der Satz „Sie ist eine verpleegster" (weibliche Krankenschwester) lautete, identifizierte der Roboter sie korrekt als weiblich.
Wenn der Satz „Sie ist ein verpleger" (neutraler/männlicher Krankenpfleger) lautete, ignorierte der Roboter das „Sie" und ging davon aus, dass die Krankenschwester männlich sei.

Die Analogie: Der Roboter ist wie eine Person, die nur auf die Uniform hört, die jemand trägt, und nicht auf das Namensschild, das er hält. Wenn die Uniform „männliche Krankenschwester" sagt, glaubt der Roboter es, selbst wenn das Namensschild „Sie" sagt. Aber wenn die Uniform ein spezielles „weibliches" Abzeichen (das Suffix) hat, dann achtet der Roboter endlich darauf.

Das Fazit: Warum das wichtig ist

Das Papier kommt zu dem Schluss, dass dieses KI-Modell nicht so „klug" oder „flexibel" ist, wie wir hoffen. Wir gehen davon aus, dass es, weil es den ganzen Satz betrachtet, Vorurteile überwinden kann. Aber diese Studie zeigt, dass die inneren Gewohnheiten des Roboters stärker sind als der unmittelbare Kontext.

Der „männliche" Standard ist so stark, dass selbst explizite Wörter wie „Sie" ihn nicht immer brechen können.
Der Roboter verlässt sich auf oberflächliche Hinweise (wie Wortendungen) statt auf ein tiefes Verständnis (wie wer im Satz angesprochen wird).

Kurz gesagt: Der Roboter hat die Statistiken der Welt (Klempner sind meist Männer) so gut gelernt, dass er aufhörte, auf die spezifische Geschichte zu hören, die im Satz erzählt wird (diese spezifische Klempnerin ist eine Frau). Es ist ein Roboter, der die Regeln des Spiels kennt, aber nicht mitspielen kann, wenn sich die Regeln vor seinen Augen ändern.

Technische Zusammenfassung: "Ist sie überhaupt relevant? Wenn BERT explizite Geschlechterhinweise ignoriert"

Problemstellung
Während Geschlechterverzerrungen in Large Language Models (LLMs) für die englische Sprache umfassend untersucht wurden, bleiben Sprachen mit grammatischem oder morphologischem Geschlecht vergleichsweise untererforscht. Diese Lücke ist kritisch, da grammatische Strukturen die Messung sozialer Stereotype verschleiern oder verzerren können. Der Fokus liegt auf dem Niederländischen, einer Sprache, die eine Zwischenposition zwischen vollständig geschlechtsspezifischen Systemen (wie dem Deutschen) und weitgehend geschlechtsneutralen Systemen (wie dem Englischen) einnimmt. Das Niederländische zeigt eine Spannung zwischen „Neutralisierung" (wobei historisch männliche, morphologisch unmarkierte Formen als generische Begriffe fungieren) und „Feminisierung" (wobei explizit weibliche Formen durch Suffixe abgeleitet werden). Die Autoren untersuchen, wie ein von Grund auf trainiertes niederländisches BERT-Modell Geschlechterinformationen kodiert und ob explizite kontextuelle Hinweise (z. B. das Pronomen zij im Sinne von „sie") erlernte statistische Assoziationen (z. B. Klempner $\rightarrow$ männlich) innerhalb der internen Repräsentationen des Modells überlagern können.

Methodik
Die Studie führt eine Analyse auf Checkpoint-Ebene eines niederländischen BERT-Modells durch, das vollständig von Grund auf auf dem SoNaR-500-Korpus (Buch-Subset, $\approx$ 26 Mio. Wörter) trainiert wurde. Die Methodik integriert statische Subraum-Projektionstechniken mit kontrollierten Satzvorlagen, um die Entwicklung von Verzerrungen während des Trainings nachzuverfolgen.

Modelltraining: Ein BERT-Modell wird über 100 Epochen von Grund auf trainiert. Zwischenspeicherpunkte (Checkpoints) werden gespeichert, um das Entstehen von Geschlechterrepräsentationen im Zeitverlauf zu verfolgen.
Konstruktion des Geschlechtersubraums: Zu jedem Checkpoint wird ein linearer Support Vector Machine (SVM) auf kontextuellen Embeddings von 60 eindeutigen geschlechtsspezifischen Wortpaaren (z. B. man vs. vrouw) trainiert, um eine dynamische Geschlechterachse abzuleiten. Die Autoren vermeiden mehrdeutige Pronomen (wie zij, das „sie" oder „sie [Plural]" bedeuten kann), um sicherzustellen, dass der Subraum klare Geschlechterunterscheidungen widerspiegelt.
Bias-Evaluierung: Die Autoren projizieren Embeddings von Berufsbegriffen aus kontrollierten Satzvorlagen auf die erlernten Geschlechtersubräume. Die Vorlagenstruktur lautet [ZIEL] is een [ATTRIBUT] (z. B. „Sie ist eine Klempnerin").
- Variablen: Die Studie variiert systematisch das Zielgeschlecht (männlich/weiblich), die morphologische Markierung des Attributs (neutral/unmarkiert vs. weiblicher Suffix) und die Stereotypen-Übereinstimmung (pro-stereotypisch vs. anti-stereotypisch basierend auf Arbeitsmarktstatistiken).
- Metrik: Die Genauigkeit wird gemessen, indem geprüft wird, ob das projizierte Berufs-Embedding mit dem durch den Satzkontext spezifizierten Geschlecht (dem Ziel) übereinstimmt und nicht mit der Standard-Statistik-Assoziation des Modells.

Hauptergebnisse
Die Analyse liefert vier wesentliche Erkenntnisse zur Bildung und zum Verhalten von Geschlechterrepräsentationen:

Entstehung linearer Trennbarkeit: Geschlechterinformationen werden im Embedding-Raum um die 20. Epoche herum klar linear trennbar. Während die Genauigkeit stetig ansteigt, flacht sie knapp über 0,92 ab, was darauf hindeutet, dass Geschlecht bereits früh im Trainingsprozess ein stabiles Merkmal der erlernten Repräsentationen ist.
Verteilung von Geschlechterinformationen: Im Gegensatz zur Vorstellung einer einzelnen „Geschlechtseinheit" sind Geschlechterinformationen über mehrere Embedding-Dimensionen verteilt. Die Verteilung ist jedoch asymmetrisch:
- Männliche Repräsentationen sind diffus über viele Dimensionen kodiert und fungieren als robustes, unmarkiertes Default.
- Weibliche Repräsentationen sind in einer kleineren, spezifischeren Teilmenge von Dimensionen konzentriert.
Versagen der kontextuellen Überlagerung: Explizite kontextuelle Hinweise können erlernte Priors oft nicht überlagern. In anti-stereotypischen Kontexten (z. B. „Sie ist eine Klempnerin") bleibt die interne Repräsentation des Berufs im Modell signifikant häufiger mit dem stereotypen männlichen Geschlecht ausgerichtet als mit dem kontextuellen weiblichen Hinweis. Stereotypische Paarungen werden mit 82,5 % Genauigkeit vorhergesagt, während anti-stereotypische Paarungen auf 43,7 % absinken.
Dominanz morphologischer Marker: Das Modell verlässt sich stark auf oberflächliche morphologische Hinweise, anstatt kontextuelle Informationen zu integrieren. Wenn ein Beruf einen expliziten weiblichen Suffix trägt (z. B. verpleegster), stimmt die Repräsentation mit hoher Genauigkeit (83 % in anti-stereotypischen Kontexten) mit dem weiblichen Subraum überein. Wenn das Attribut jedoch morphologisch neutral ist (z. B. verpleger), greift das Modell auf die männliche Interpretation zurück, selbst wenn das Subjekt explizit weiblich ist.

Hauptbeiträge

Analyse auf Checkpoint-Ebene: Diese Arbeit liefert eine der ersten kontrollierten Untersuchungen auf Checkpoint-Ebene, wie Geschlechterinformationen in einer Transformer-basierten Architektur entstehen, und erweitert damit frühere Arbeiten zu rekurrenten Modellen (LSTMs) auf moderne BERT-Modelle.
Kontextuelle Subraum-Projektion: Die Autoren passen die projektionsbasierte Subraum-Analyse an einen kontextuellen Rahmen an und kombinieren sie mit kontrollierten Satzvorlagen, um die Interaktion zwischen expliziten Geschlechterhinweisen und erlernten Geschlechterkonnotationen direkt zu messen.
Einblicke in morphologisches Geschlecht: Durch die Verwendung des Niederländischen zeigt die Studie, dass selbst starke, explizite weibliche Hinweise (Pronomen) durch stereotypische Defaults überlagert werden können, wenn der Berufsbegriff morphologisch unmarkiert ist. Dies unterstreicht die spezifischen Herausforderungen von Verzerrungen in Sprachen, in denen grammatisches Geschlecht und soziale Stereotype komplex interagieren.
Mechanistischer Baseline: Die Ergebnisse etablieren eine Baseline für das Verständnis, wie strukturelle Geschlechterverzerrungen entstehen und stabilisieren, und legen nahe, dass „Kontextualisierung" in diesen Modellen entlang der Geschlechterrichtung nicht dynamisch genug ist, um explizite Hinweise in anti-stereotypischen Szenarien zuverlässig widerzuspiegeln.

Bedeutung und Behauptungen
Die Studie behauptet, dass ihre Ergebnisse die Annahme herausfordern, dass kontextuelle Embeddings lokale Hinweise robust integrieren, um Wortrepräsentationen anzupassen. Stattdessen argumentieren die Autoren, dass für das niederländische BERT-Modell kontextuelle Hinweise häufig durch interne Priors und morphologische Marker überschattet werden. Das „Männlich-als-Default"-Verhalten persistiert, da die unmarkierten, historisch männlichen Formen im Trainingsdaten als generische Begriffe fungieren und so einen strukturellen Vorteil für männlich codierte Repräsentationen schaffen.

Die Autoren schließen, dass das Modell zwar lernt, Geschlecht zu unterscheiden, dies jedoch auf eine Weise tut, die bestehende Asymmetrien verstärkt: Männlich ist das diffuse Default, während Weiblich ein markiertes, konzentriertes Signal ist, das eine explizite morphologische Suffixierung erfordert, um zuverlässig kodiert zu werden. Folglich können Anwendungen, die auf diesen Repräsentationen basieren (wie Übersetzung oder Coreferenzauflösung), Geschlechterstereotype reproduzieren, selbst wenn die Eingabe ihnen explizit widerspricht. Die Studie vermerkt bescheiden, dass diese Schlussfolgerungen auf der durch die Proben erfassten Repräsentationsebene beschränkt sind und nicht direkt die Leistung in nachgelagerten Aufgaben messen, sie bieten jedoch kritische Einblicke in die Mechanismen der Entstehung von Verzerrungen im mehrsprachigen NLP.