💬 NLP

GECOBench: A Gender-Controlled Text Dataset and Benchmark for Quantifying Biases in Explanations

Dieses Paper führt GECOBench ein, einen geschlechterkontrollierten Datensatz und ein Evaluierungsframework, das zeigt, wie das Fine-Tuning vortrainierter Modelle wie BERT, insbesondere durch das erneute Trainieren der Embedding-Layer, den Gender Bias in den von Methoden der erklärbaren KI generierten Feature-Attributionen signifikant abschwächt.

Ursprüngliche Autoren: Rick Wilming, Artur Dox, Hjalmar Schulz, Marta Oliveira, Benedict Clark, Stefan Haufe

Veröffentlicht 2026-01-22

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Rick Wilming, Artur Dox, Hjalmar Schulz, Marta Oliveira, Benedict Clark, Stefan Haufe

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie hätten einen sehr klugen, belesenen Roboter namens BERT. BERT hat Millionen von Büchern, Websites und Artikeln (wie Wikipedia) gelesen, um zu lernen, wie man spricht und uns versteht. Weil er so viel gelesen hat, hat er auch die verborgenen Vorurteile und Stereotypen absorbiert, die in diesen alten Texten stecken. Er könnte zum Beispiel unterbewusst denken, dass „Arzt“ zu „er“ gehört und „Krankenschwester“ zu „sie“, selbst wenn diese Wörter eigentlich nicht der Grund für eine Entscheidung sind.

Stellen Sie sich nun vor, Sie fragen BERT, warum er eine bestimmte Entscheidung getroffen hat. Er zeigt auf bestimmte Wörter und sagt: „Ich habe mich dafür entschieden, weil diese Wörter da sind!“ Das nennt man Erklärbare KI (Explainable AI oder XAI). Das Problem ist: Sagt BERT die Wahrheit, oder zeigt er nur auf die Wörter, die zu seinen alten Stereotypen passen?

Dieses Paper stellt ein neues Werkzeug namens GECOBench vor, um zu testen, ob diese Erklärungen der KI ehrlich sind, insbesondere im Hinblick auf das Geschlecht.

Das „Gender-Flip“-Spiel (GECO-Datensatz)

Um BERT zu testen, haben die Forscher einen speziellen Spielplatz namens GECO geschaffen. Denken Sie an ein Spiel wie „Lückentext“, aber mit einer strengen Regel: Ändere nur die Pronomen.

Sie nahmen einen Satz wie:

„Sie liebt es, Zeit mit ihrer Lieblingskatze zu verbringen.“

Dann erstellten sie zwei identische Zwillinge dieses Satzes, wobei nur die geschlechtsspezifischen Wörter geändert wurden:

Männliche Version: „Er liebt es, Zeit mit seinem Lieblingskater zu verbringen.“
Nicht-binäre Version: „Sie lieben es, Zeit mit ihrer Lieblingskatze zu verbringen.“ (Im Englischen: „They love to spend time with their favorite cat.“)

Alles andere – die Katze, das Lieben, die verbrachte Zeit – bleibt exakt gleich.

Warum ist das ein Spiel?
In diesem Spiel ist der einzige Grund, warum sich die Antwort von „männlich“ zu „weiblich“ ändert, das Pronomen. Wenn eine KI den Satz betrachtet und sagt: „Ich weiß, dass dies über eine Frau handelt, wegen des Wortes ‚Katze‘“, dann liegt sie falsch. Die „Katze“ ist ein Ablenkungsmanöver; sie ist eine Ablenkung. Der einzige „wahre“ Hinweis ist das Pronomen.

Da die Forscher diese Sätze so konstruiert haben, kennen sie die Grundwahrheit (Ground Truth): Die KI muss auf das Pronomen hinweisen, um korrekt zu sein. Wenn sie auf die Katze zeigt, ist die Erklärung eine Lüge (oder zumindest voreingenommen).

Der „Wahrheitsdetektor“ (GECOBench)

Die Forscher nutzten diesen Datensatz, um ein Test-Framework namens GECOBench aufzubauen. Sie fütterten BERT mit diesen Sätzen und fragten: „Welche Wörter haben dich dazu gebracht, dich zu entscheiden?“

Sie verglichen dann die Antwort von BERT mit der „Grundwahrheit“ (dem Pronomen). Sie verwendeten ein Bewertungssystem namens Mass Accuracy.

Perfekter Wert: Die KI zeigt nur auf das Pronomen.
Niedriger Wert: Die KI zeigt auf das Pronomen und andere, nicht zusammenhängende Wörter (wie „Katze“ oder „Küche“) oder übersieht das Pronomen komplett.

Was sie herausfanden

Die Forscher testeten BERT in verschiedenen „Trainingsmodi“, um zu sehen, wie man seine schlechten Erklärungen korrigieren kann:

Der „eingefrorene“ BERT: Sie ließen BERT sein vortrainiertes Gehirn nutzen, ohne etwas zu ändern.
- Ergebnis: Die Erklärungen waren chaotisch. BERT zeigte immer wieder auf stereotype Wörter (wie „Küche“ oder „Auto“) anstatt nur auf das Pronomen. Es war voreingenommen.
Der „Feingetunte“ BERT: Sie trainierten spezifische Teile von BERTs Gehirn mit ihren neuen „Gender-Flip“-Sätzen nach.
- Ergebnis: Als sie die Embedding-Schicht (den Teil des Gehirns, der die grundlegende Bedeutung von Wörtern versteht) nachjustierten, wurden die Erklärungen viel besser. BERT lernte schließlich, die Stereotypen zu ignorieren und sich nur auf das Pronomen zu konzentrieren.

Das wichtigste Ergebnis:
Selbst wenn ein Modell die richtige Antwort gibt (z. B. korrekt „Er“ als männlich identifiziert), kann seine Erklärung immer noch lügen, wenn sie auf verborgenen Vorurteilen basiert. Das Paper zeigt, dass man der Erklärung einer KI nicht einfach vertrauen kann; man muss prüfen, ob sie auf die richtigen Hinweise zeigt.

Die „Pattern“-Baseline

Die Forscher verglichen BERT auch mit einer einfachen, altmodischen mathematischen Methode namens Pattern Variant. Diese Methode besitzt kein „Gehirn“ voller Vorurteile; sie schaut einfach auf die Mathematik der Häufigkeit von Wörtern.

Überraschung: Die einfache mathematische Methode war in vielen Fällen tatsächlich besser darin, die „Wahrheit“ zu finden, als die komplexe KI. Dies beweist, dass die Komplexität der KI der Ehrlichkeit im Wege stand.

Zusammenfassung

Das Problem: KI-Modelle liefern oft Erklärungen, die gut aussehen, aber tatsächlich auf verborgenen Vorurteilen (wie Geschlechterstereotypen) basieren.
Die Lösung: Ein neuer Datensatz (GECO), in dem sich nur das Geschlecht ändert, wodurch eine „Wahrheit“ entsteht, der die KI folgen muss.
Das Ergebnis: Indem wir das Verständnis der KI für Wörter (Embeddings) neu trainieren, können wir sie dazu zwingen, ehrliche Erklärungen zu liefern, die sich auf die tatsächlichen Hinweise konzentrieren und nicht auf Stereotypen.

Das Paper kommt zu dem Schluss, dass dies ein erster Schritt ist. Es ist, als würde man einen Schüler lehren, nicht aufgrund von Stereotypen zu raten, sondern nach den tatsächlichen Beweisen zu suchen. Obwohl dieser spezifische Test über das Geschlecht handelt, kann die Methode verwendet werden, um zu prüfen, ob eine KI bei jedem beliebigen Thema ehrlich ist.

Technisches Resümee: GECOBench: Ein geschlechtergesteuertes Textdatensatz- und Benchmark-Verfahren zur Quantifizierung von Biases in Erklärungen

Problemstellung

Große vortrainierte Sprachmodelle (PLMs) wie BERT werden auf riesigen Korpora trainiert, die inhärente gesellschaftliche Biases enthalten, einschließlich Geschlechterstereotypen. Während diese Biases bekannt dafür sind, Modellgewichte und Vorhersageverhalten zu beeinflfen, bleibt unklar, in welchem Maße sie sich in Merkmalsattribuierungen (Feature Attributions) fortpflanzen, die von Methoden der erklärbaren Künstlichen Intelligenz (XAI) generiert werden. Insbesondere mangelt es an rigorosen, datenzentrierten Frameworks, um zu bewerten, ob XAI-Methoden die Merkmale korrekt identifizieren, die eine Vorhersage antreiben, oder ob sie unbeabsichtigt voreingenommene, nicht-kausale Korrelationen hervorheben, die in den Vortrainierungsdaten vorhanden sind. Aktuelle Benchmarks stützen sich oft auf „Faithfulness“-Metriken oder menschlich annotierte Rationales, die möglicherweise nicht mit statistischen Assoziationen oder der Ground-Truth-Merkmalsrelevanz übereinstimmen, was eine objektive Bewertung der Korrektheit von Erklärungen in Gegenwart von Bias erschwert.

Methodik

1. Der GECO-Datensatz

Die Autoren führen GECO ein, einen geschlechtergesteuerten Textdatensatz, der Ground-Truth-Merkmalsattribuierungen für Geschlechtsklassifizierungsaufgaben bereitstellt.

Konstruktion: Sätze stammen aus Wikipedia-Seiten, die klassischen Romanen entsprechen (via Gutenberg-Projekt).
Manipulation: Jeder Satz wird in drei grammatikalischen Geschlechtsvarianten generiert: Männlich ( $x^M$ $x^{M}$ ), Weiblich ( $x^F$ $x^{F}$ ) und Nicht-binär ( $x^{NB}$ $x^{N B}$ ).
- Subjekt-nur-Manipulation ( $D_S$ ): Nur die grammatikalischen Subjektpronomen werden geändert (z. B. „She“ $\to$ „He“). Dies schafft eine anspruchsvollere Aufgabe, bei der das Modell zwischen Subjekt- und Objektgeschlechtern unterscheiden muss.
- All-Gender-Manipulation ( $D_A$ ): Alle geschlechtsspezifischen Wörter (Pronomen, Possessivpronomen und geschlechtsspezifische Nomen wie „Aunt“ $\to$ „Uncle“) werden geändert.
Ground Truth: Durch die Konstruktion sind die geänderten Wörter die einzigen diskriminativen Merkmale. Daher ist die Ground-Truth-Merkmalsattribuierungskarte binär: 1 für die geänderten Wörter, 0 für alle anderen. Dies ermöglicht die objektive Bewertung, ob eine XAI-Methode die statistisch assoziierten Merkmale hervorhebt (Statistical Association Property - SAP).
Bias-Verifizierung: Die Autoren verifizieren, dass der Datensatz selbst unvoreingenommen ist, indem sie eine Ko-Okkurrenz-Metrik verwenden, um sicherzustellen, dass Abweichungen in den Modellerklärungen aus den Vortrainierungs-Biases des Modells und nicht aus den Daten resultieren.

2. Das GECOBench-Framework

GECOBench ist ein quantitatives Evaluierungsframework, das auf dem GECO-Datensatz angewendet wird, um die XAI-Leistung zu bewerten.

Modelle: Das Framework evaluiert das vortrainierte BERT-Modell unter vier verschiedenen Trainingsparadigmen, um den Einfluss verschiedener architektonischer Schichten zu isolieren:
1. BERT-C: Nur die Klassifizierungsschicht wird neu trainiert; Embedding- und Attention-Schichten sind fixiert.
2. BERT-CE: Embedding- und Klassifizierungsschichten werden von Grund auf neu trainiert; Attention ist fixiert.
3. BERT-CEf: Embedding- und Klassifizierungsschichten werden feinjustiert (fine-tuned); Attention ist fixiert.
4. BERT-CEfAf: Embedding-, Attention- und Klassifizierungsschichten werden alle feinjustiert.
- Baselines: Ein Zero-Shot-BERT-Modell (BERT-ZS) und ein einfaches One-Layer-Attention-Modell (OLA-CEA), das von Grund auf neu auf GECO trainiert wurde (frei von Vortrainierungs-Bias), dienen als Vergleich.
Evaluierte XAI-Methoden: Die Studie wendet verschiedene Post-hoc-Attribuierungsmethoden an, darunter gradientenbasierte Ansätze (Saliency, InputXGradient, DeepLift, Guided Backpropagation, Integrated Gradients) sowie Surrogat-Methoden (LIME, Kernel SHAP, Gradient SHAP).
Evaluierungsmetrik: Die Mass Accuracy (MA) Metrik wird verwendet, um die Korrektheit zu quantifizieren. MA misst die Überlappung zwischen den normalisierten Attributionswerten und der binären Ground-Truth-Maske, wobei False Positives (Hervorhebung von Nicht-Ground-Truth-Wörtern) bestraft werden, während sie robust gegenüber False Negatives (Übersehen einiger Ground-Truth-Wörter) ist.
Bias-Quantifizierung: Die Autoren definen die Relative Mass Accuracy (RMA), um die Abweichung der Erklärung-Leistung von einer Zero-Shot-Baseline zu messen und so den „Erklärungs-Bias“ zu quantifizieren.

Wichtigste Beiträge

GECO-Datensatz: Ein neuartiger, geschlechtergesteuerter Datensatz mit Ground-Truth-Merkmalsattribuierungen auf Wortebene, der die objektive Bewertung der XAI-Korrektheit basierend auf statistischer Assoziation ermöglicht.
GECOBench: Ein rigoroser Benchmarking-Workflow zur Quantifizierung dessen, wie Vortrainierungs-Biases die Merkmalsattribuierungen beeinflussen und wie Feinjustierungsstrategien diese Biases mildern.
Empirische Analyse von Bias in Erklärungen: Die Arbeit zeigt, dass Merkmalsattribuierungsmethoden anfällig für Vortrainierungs-Biases sind und dass die Korrektheit dieser Erklärungen stark davon abhängt, welche Schichten des Modells feinjustiert werden.

Ergebnisse

Erklärung-Leistung (RQ1)

Datensatz-Schwierigkeit: Die Leistung auf dem Subjekt-nur-Datensatz ( $D_S$ ) ist generell niedriger als auf dem All-Gender-Datensatz ( $D_A$ ) über alle Methoden hinweg, was wahrscheinlich auf die geringere Anzahl diskriminativer Token zurückzuführen ist.
Methodenvergleich: Integrated Gradients, LIME und Gradient SHAP schneiden konsistent besser ab als andere Methoden und die Random-Baseline.
Baseline-Vergleich: Die Pattern Variant (eine modellunabhängige Methode basierend auf Input-Target-Kovarianz) dient als obere Schranke für die Leistung. Obwohl keine Methode den Score der Pattern Variant erreicht, zeigen Integrated Gradients und Gradient SHAP im Transfer-Learning-Regime eine gute Leistung.
Unbiased Modell: Das OLA-CEA-Modell (von Grund auf neu trainiert ohne Vortrainierung) zeigt eine signifikant höhere Erklärung-Leistung über alle Methoden hinweg, was bestätigt, dass Vortrainierungs-Biases die Qualität der Erklärungen verschlechtern.

Bias-Mitigierung (RQ2)

Schicht-Abhängigkeit: Es besteht eine klare Abhängigkeit zwischen der Erklärung-Leistung und der Anzahl der feinjustierten Schichten.
Embedding-Einfluss: Modelle, bei denen die Embedding-Schicht neu trainiert oder feinjustiert wird (BERT-CE, BERT-CEf), zeigen die signifikanteste Verbesserung der Erklärung-Korrektheit im Vergleich zu Modellen, bei denen die Embeddings fixiert sind (BERT-C).
Residualer Bias: Selbst wenn die Klassifizierungsgenauigkeit über verschiedene Trainingsregime hinweg konstant gehalten wird, behalten Modelle mit fixierten Embeddings residuale Biases, die die Korrektheit der Merkmalsattribuierungen negativ beeinflussen. Die Feinjustierung der Embeddings erweist sich als die effektivste Strategie, um diese Biase zu mildern.
Spezifische Beobachtungen: In einigen Fällen heben XAI-Methoden auf voreingenommenen Modellen irrelevante Wörter hervor (z. B. „Bella“ statt des Pronomens „she“) aufgrund von Vortrainierungs-Assoziationen, während unvoreingenommene Modelle korrekt auf die geänderten Pronomen fokussieren.

Bedeutung und Behauptungen

Das Paper behauptet, dass GECOBench das erste prinzipienbasierte, datenzentrierte Framework zur Bewertung der Korrektheit von Merkmalsattribuierungen in NLP bereitstellt, das speziell das Spannungsfeld zwischen modellzentrierten und datenzentrierten Erklärungen adressiert.

Bias-Propagation: Die Studie stellt fest, dass Biases in Vortrainierungs-Korpora nicht nur auf Vorhersage-Outputs beschränkt sind, sondern auch in die durch XAI-Methoden generierten Erklärungen einsickern.
Korrektheit als Bias-Indikator: Die Autoren argumentieren, dass die datenzentrierte Korrektheit von Merkmalsattribuierungen (speziell die Einhaltung der SAP) ein Indikator für zugrunde liegende Modell-Biases ist.
Mitigierungsstrategie: Die Ergebnisse legen nahe, dass die bloße Feinjustierung des Klassifizierungs-Heads nicht ausreicht, um unvoreingenommene Erklärungen zu erhalten; das Re-Training oder die Feinjustierung der Embedding-Schichten ist notwendig, um den Einfluss von Vortrainierungs-Biases auf die Merkmalsattribuierungen zu mildern.
Umfang: Die Autoren positionieren diese Arbeit als ersten Schritt zu einer systematischen Bias-Evaluierung in XAI. Sie räumen Einschränkungen ein, wie etwa die Vereinfachung des Geschlechts auf Pronomen-Änderungen und den Fokus auf univariate statistische Assoziationen, betonen jedoch, dass das Framework erfolgreich den Einfluss von Bias auf die Korrektheit der Erklärungen in einem kontrollierten Setting isoliert und quantifiziert.

Das Paper schließt mit dem Hinweis, dass beim Einsatz von XAI-Methoden für das Modell-Debugging oder Downstream-Aufgaben (wie Sentiment-Analyse) auf vortrainierten Modellen Vorsicht geboten ist, da voreingenommene Attribuierungen eher spureneigene geschlechtsspezifische Token als semantisch relevante Merkmale hervorheben könnten.