GKnow: Measuring the Entanglement of Gender Bias and Factual Gender

Technische Zusammenfassung: GKnow: Messung der Verschränkung von Geschlechterbias und faktischem Geschlecht

Problemstellung
Die jüngste Forschung zur mechanischen Interpretierbarkeit hat sich auf die Identifizierung und Minderung von Geschlechterbias in Large Language Models (LLMs) durch die Analyse spezifischer Komponenten, die für verzerrte Ausgaben verantwortlich sind, konzentriert. Allerdings leiden aktuelle Ansätze unter zwei primären Einschränkungen: (i) sie zielen häufig auf sehr spezifische Aufgaben ab, wie etwa die Vorhersage geschlechtsspezifischer Pronomen, und (ii) sie unterscheiden nicht zwischen faktischem Geschlecht (der korrekten semantischen Assoziation zwischen einem Substantiv und seinem Geschlecht, z. B. „Frau" $\to$ „sie") und stereotypischem Geschlecht (Ausgaben, die auf sozialen Stereotypen basieren, z. B. „Krankenschwester" $\to$ „sie").

Dieses Fehlen einer Unterscheidung führt zu einem kritischen Nebeneffekt bei Entbiasing-Bemühungen: der Verschlechterung des faktischen Geschlechterwissens eines Modells. Bestehende Arbeiten deuten darauf hin, dass Geschlechterbias und Signale für faktisches Geschlecht in den internen Repräsentationen des Modells verschränkt sind, doch die mechanistische Geschichte dieser Verschränkung auf Ebene der Schaltkreise und Neuronen bleibt weitgehend unerklärt. Folglich können einfache Entbiasing-Techniken wie die Ablation von Neuronen unabsichtlich die Fähigkeit des Modells entfernen, faktisches Geschlecht korrekt vorherzusagen, während gleichzeitig Erfolge auf Bias-Benchmarks behauptet werden.

Methodik
Um diese Lücken zu adressieren, schlagen die Autoren einen mehrdimensionalen Ansatz vor, der Datensatzkurierung, Schaltkreisanalyse und Neuronen-Ablations-Experimente an zwei Decoder-only-Transformer-Modellen kombiniert: Llama-3.1-8b und Olmo-7b.

1. Datensatzkurierung (GKnow):
   Die Autoren stellen GKnow vor, einen Benchmark, der entwickelt wurde, um Geschlechterwissen und Bias über diverse Vorhersagetypen hinweg zu bewerten. GKnow kategorisiert Prompts nach der Annahme (Subjekt) und der erwarteten Ausgabe. Der Datensatz umfasst:

   • Faktische Teilmengen: Basierend auf lexikalisch geschlechtsspezifischen Substantiven (z. B. „Frau"), Namen und expliziten Geschlechtsindikatoren.
   • Stereotypische Teilmengen: Basierend auf stereotypisch geschlechtsspezifischen Berufen (z. B. „Krankenschwester") oder Eigenschaften (z. B. „fürsorglich").
   • Vorhersagetypen: Vorhersage geschlechtsspezifischer Pronomen, Geschlechtsidentifikation und Namenvorhersage.
     GKnow ermöglicht die Trennung von Aufgaben in „stereotypische" (bias-anfällige) und „faktische" (wissensbasierte) Kategorien, um die Verschränkung zu messen.

2. Schaltkreisanalyse:
   Mithilfe von EAP-IG (Edge Attribution Patching mit Integrated Gradients) identifizieren die Autoren minimale, vertrauenswürdige Schaltkreise, die für geschlechtsspezifische Vorhersagen verantwortlich sind. Sie analysieren:

   • Intersection over Union (IoU): Messung der Überlappung von Kanten und Knoten zwischen Schaltkreisen für verschiedene Aufgaben.
   • Cross-task Faithfulness (Vertrauenswürdigkeit über Aufgaben hinweg): Bewertung, ob ein für eine Aufgabe identifizierter Schaltkreis (z. B. stereotypische Vorhersage) das Verhalten einer anderen Aufgabe (z. B. faktische Vorhersage) vertrauenswürdig reproduzieren kann.

3. Neuronale Analyse und Ablation:
   Die Autoren setzen Integrated Gradients ein, um aufgabenrelevante Neuronen zu identifizieren, insbesondere jene, die mit stereotypischen Vorhersagen assoziiert sind (da dies die typischen Ziele für Entbiasing sind). Sie führen eine Neuronen-Ablation (Setzen der Aktivierungen auf Null) an den top 10 und 50 identifizierten Neuronen durch.

   • Evaluation: Der Einfluss der Ablation wird auf GKnow, StereoSet und DiFair (ein Benchmark für die entkoppelte Bewertung von Geschlechterwissen und Bias) gemessen.
   • Metriken: Die Studie verfolgt $P_{exp}$ (Wahrscheinlichkeit des erwarteten Tokens), $P_{opp}$ (Gegen-Geschlecht-Token), $P_{other}$ und die Wahrscheinlichkeitslücke ($\Delta$) zwischen maskulinen und femininen Ausgaben.

Hauptergebnisse

• Verschränkung auf Schaltkreisebene:

  • Schaltkreise, die für stereotypische und faktische Geschlechtervorhersagen verantwortlich sind, zeigen eine hohe Überlappung und eine geringe Trennung.
  • Die Cross-task Faithfulness ist hoch: Schaltkreise, die für stereotypische Aufgaben identifiziert wurden, können die Leistung faktischer Aufgaben wiederherstellen (und umgekehrt). Beispielsweise erreichte die Anwendung des Schaltkreises gender_prediction_based_on_stereo auf die Teilmenge gender_prediction_based_on_pronoun eine Faithfulness von 1,0.
  • Dies zeigt, dass faktisches und stereotypisches Geschlecht auf Schaltkreisebene stark verschränkt sind.

• Verschränkung auf Neuronenebene und Ablationseffekte:

  • Die Ablation von Neuronen, die über stereotypische Prompts identifiziert wurden, führt zu einem signifikanten Rückgang der Fähigkeit des Modells, faktisches Geschlecht vorherzusagen.
  • In den GKnow Factual-Teilmengen führte die Ablation der top-Neuronen zu einem starken Abfall von $P_{exp}$ (z. B. Rückgang von 91,49 % auf 79,86 % bei Llama für 50 Neuronen) und einem Anstieg von $P_{opp}$ und $P_{other}$.
  • Entscheidend ist, dass die Ablation zwar oft Metriken auf stereotypischen Benchmarks verbessert (z. B. Reduzierung von $P_{exp}$ für stereotypische Vorhersagen in StereoSet), diese „positiven" Ergebnisse jedoch gleichzeitig einen Zusammenbruch der Kompetenz für faktisches Geschlecht verschleiern.
  • Die Wahrscheinlichkeitslücke ($\Delta$) zwischen maskulinen und femininen Ausgaben nimmt signifikant ab, was einen Verlust an Zuversicht bei geschlechtsspezifischen Vorhersagen sowohl in faktischen als auch in stereotypischen Teilmengen anzeigt.

• Menschliche Interpretierbarkeit:

  • Mithilfe der Logit Lens-Technik stellten die Autoren fest, dass gemeinsame Neuronen über verschiedene Geschlechteraufgaben hinweg menschlich interpretierbar sind. Beispielsweise wurde festgestellt, dass bestimmte Neuronen in Olmo und Llama spezifische geschlechtsspezifische Tokens (z. B. Pronomen wie „sie" oder Namen wie „Mary") sowohl in faktischen als auch in stereotypischen Kontexten unterdrücken oder fördern.

Hauptbeiträge

1. GKnow-Benchmark: Die Kurierung von GKnow, die eine Lücke in den verfügbaren Ressourcen zur Bewertung der Verschränkung von Geschlechterbias und faktischem Geschlechterwissen über verschiedene Aufgabentypen im Englischen schließt.
2. Evidenz auf Schaltkreisebene: Der Nachweis mittels EAP-IG, dass stereotypische und faktische Geschlechtssignale innerhalb derselben rechnerischen Schaltkreise verschränkt sind, was die Annahme herausfordert, dass sie leicht getrennt werden können.
3. Analyse der Neuronen-Ablation: Die empirische Feststellung, dass eine einfache Neuronen-Ablation, obwohl sie möglicherweise effektiv ist, um stereotypischen Bias auf spezifischen Benchmarks zu reduzieren, das faktische Geschlechterwissen schwerwiegend beeinträchtigt. Dies deutet darauf hin, dass Ablation eine unzuverlässige Alleinstellungsmethode für Entbiasing ist.

Bedeutung und Behauptungen
Die Arbeit argumentiert, dass die Verschränkung von Geschlechterbias und faktischem Geschlecht eine fundamentale Eigenschaft aktueller LLM-Architekturen ist, die sowohl auf Schaltkreis- als auch auf Neuronenebene beobachtbar ist. Die Autoren behaupten:

• Aktuelle Entbiasing-Methoden sind fehlerhaft: Techniken wie die Neuronen-Ablation, die auf „Bias-Neuronen" abzielen, zerstören unabsichtlich faktisches Wissen, da die zugrundeliegenden Mechanismen geteilt werden.
• Evaluationsbenchmarks sind unzureichend: Benchmarks, die faktisches Geschlecht nicht berücksichtigen (wie StereoSet), können die Verschlechterung der sprachlichen Kompetenz durch Entbiasing-Versuche verbergen.
• Zukünftige Arbeiten erfordern robuste Evaluation: Es besteht ein dringender Bedarf an Datensätzen zur Bewertung von Geschlechterbias, die explizit die Bewahrung des faktischen Geschlechterwissens neben der Bias-Reduktion messen.

Die Autoren schließen mit einer Warnung vor „ungefilterter Neuronen-Ablation" als alleiniger Methode für Geschlechter-Entbiasing und betonen, dass ohne robuste Benchmarks wie GKnow die Gefahr besteht, Bias-Metriken auf Kosten des grundlegenden Sprachverständnisses zu verbessern. Die Arbeit erkennt Einschränkungen an und stellt fest, dass die Ergebnisse derzeit spezifisch für das Englische und relativ kleine Modelle sind und dass Geschlechterbias sich in Formen manifestieren kann, die von ihren berufs- und adjektivbasierten Stereotypen nicht abgedeckt werden.