💬 NLP

Neuron-Level Interventions for Gendered and Gender-Neutral Generation in Language Models

Dieses Paper stellt eine Interventionsmethode auf Neuronen-Ebene vor, die geschlechtsspezifische Neuronen identifiziert und manipuliert, welche primär in den frühesten Schichten von Sprachmodellen konzentriert sind, um eine präzise Kontrolle über feminine, maskuline und geschlechtsneutrale Generierung zu erreichen, während gleichzeitig Bias gemindert und die semantische Bedeutung bewahrt wird.

Ursprüngliche Autoren: Zhiwen You, Nafiseh Nikeghbal, Jana Diesner

Veröffentlicht 2026-06-01

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Zhiwen You, Nafiseh Nikeghbal, Jana Diesner

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich ein großes Sprachmodell (wie die, die Chatbots antreiben) wie eine riesige, geschäftige Fabrik vor. In dieser Fabrik gibt es Millionen winziger Arbeiter, die Neuronen genannt werden. Wenn Sie die Fabrik bitten, einen Satz zu schreiben, leuchten diese Arbeiter auf und geben Nachrichten aneinander weiter, um das fertige Ergebnis aufzubauen.

Das Problem ist, dass die Fabrik manchmal versehentlich eine Geschlechtervoreingenommenheit (Gender Bias) hinzufügt, selbst wenn Sie nach einer neutralen Geschichte fragen (z. B. „Der Arzt behandelte den Patienten“), und den Arzt basierend auf alten Stereotypen in „er“ oder „sie“ verwandelt.

Dieses Paper ist wie ein Team von Detektiven, die in die Fabrik eingedrungen sind, um herauszufinden, genau welche Arbeiter dafür verantwortlich sind, zu entscheiden, ob ein Satz „maskulin“, „feminin“ oder „geschlechtsneutral“ klingt.

Hier ist die Aufschlüsselung ihrer Untersuchung unter Verwendung einfacher Analogien:

1. Die neue Landkarte: Drei Farben, nicht nur zwei

Die meisten bisherigen Studien betrachteten die Fabrik nur durch eine „binäre“ Linse: Erstellt der Arbeiter etwas Rotes (Maskulin) oder Blaues (Feminin)? Dabei ignorierten sie oft die Grünen (Geschlechtsneutralen) Arbeiter.

Die Autoren erkannten, dass wir in der realen Welt alle drei Farben brauchen. Sie wollten die spezifischen Arbeiter finden, die zuständig sind für:

Rot: Wörter wie er, Mann, Vater.
Blau: Wörter wie sie, Frau, Mutter.
Grün: Wörter wie sie (Plural/neutral), Person, Elternteil.

2. Die Detektivarbeit: Die „Spezialisten“ finden

Die Forscher entwickelten eine neue Methode, um diese spezifischen Arbeiter zu identifizieren. Sie haben nicht nur geraten; sie verwendeten eine „Bewertungskarte“, um zu sehen, welche Neuronen am stärksten „feuerten“, wenn das Modell über ein bestimmtes Geschlecht sprach, während sie die anderen ignorierten.

Die Entdeckung:
Sie fanden heraus, dass diese geschlechtsspezifischen Spezialisten-Arbeiter nicht wahllos in der Fabrik verstreut sind. Stattdessen drängen sie sich zusammen in den allerersten Räumen (den frühen Schichten) der Fabrik.

Analogie: Stellen Sie sich ein Staffellauf vor. Die Entscheidung darüber, „wer diesen Lauf bestreitet“ (das Geschlecht), wird fast unmittelbar an der Startlinie getroffen, nicht erst an der Ziellinie. Sobald die ersten Arbeiter entschieden haben: „Dies ist eine ‚Sie‘-Geschichte“, folgt der Rest der Fabrik einfach diesem Beispiel.

3. Das Experiment: Der „Stummschalt-Test“

Um zu beweisen, dass sie die richtigen Arbeiter gefunden hatten, führten die Forscher ein „kontrolliertes Experiment“ durch. Sie nahmen einen Satz und baten das Modell, ihn in ein anderes Geschlecht umzuschreiben (z. B. eine Geschichte über einen „Mann“ in eine Geschichte über eine „Frau“ zu ändern).

Die Baseline: Ohne Hilfe wird das Modell oft verwirrt oder lässt Wörter aus der falschen Kategorie durchsickern (z. B. „Die Frau Feuerwehrfrau“ zu sagen, aber später „er“ zu verwenden).
Die Intervention: Die Forscher verwendeten einen „Stummschalter“ (Maskierung), um alle Arbeiter stummzuschalten, außer denen, die für das Zielgeschlecht verantwortlich sind.
- Wenn sie eine feminine Geschichte wollten, brachten sie die „maskulinen“ und „neutralen“ Arbeiter zum Schweigen und ließen nur die „femininen“ Arbeiter sprechen.
- Ergebnis: Das Modell wurde viel besser darin, sich an das gewünschte Geschlecht zu halten. Es war, als würde man das Hintergrundrauschen ausschalten, damit die spezifische Stimme klar gehört werden kann.

4. Die Ergebnisse: Präzision und Qualität

Das Paper behauptet, dass ihre Methode besser als bisherige Versuche ist, weil:

Weniger Durchsickern: Es verhindert, dass das Modell versehentlich Geschlechter vermischt (z. B. „sie“ zu sagen, wenn Sie nach „sie (Plural/neutral)“ gefragt haben).
Bedeutung bleibt erhalten: Die Geschichte verlor nicht ihre ursprüngliche Bedeutung; sie änderte lediglich die Geschlechtsbezeichnungen korrekt.
Effizienz: Da sie fanden, dass die „Geschlechts-Arbeiter“ in den frühen Schichten konzentriert sind, mussten sie nicht die ganze Fabrik abschalten, sondern nur einige spezifische Räume.

5. Die Datensätze: Die „Trainingsplätze“

Um dies zu testen, bauten die Autoren zwei neue „Trainingsplätze“ (Datensätze), die mit tausenden Sätzen gefüllt sind.

Ein Datensatz wurde erstellt, indem bestehende geschlechtsspezifische Sätze genommen und zu neutralen umgeschrieben wurden.
Der andere wurde von Grund auf neu erstellt, unter Verwendung eines Wörterbuchs aus geschlechtsspezifischen und neutralen Begriffen, um sicherzustellen, dass jeder Satz perfekt als Rot, Blau oder Grün etikettiert ist.
Menschen überprüften diese Sätze, um sicherzustellen, dass sie grammatikalisch korrekt sind und tatsächlich dem beabsichtigten Geschlecht entsprechen.

Zusammenfassung

Kurz gesagt sagt dieses Paper: „Wir haben die spezifischen Schalter im Gehirn der KI gefunden, die das Geschlecht steuern. Diese befinden sich hauptsächlich am Anfang des Denkprozesses. Indem wir diese spezifischen Schalter umlegen und die anderen stummschalten, können wir die KI dazu zwingen, in einem bestimmten Geschlecht (männlich, weiblich oder neutral) zu schreiben, ohne den Satz zu zerstören oder die ursprüngliche Bedeutung zu verlieren.“

Die Autoren stellen den Code und die Datensätze zur Verfügung, damit andere diese „Schalter-Umleg“-Technik selbst ausprobieren können.

Technische Zusammenfassung: Neuronale Interventionen für geschlechtsspezifische und geschlechtsneutrale Generierung in Sprachmodellen

Problemstellung
Große Sprachmodelle (LMs) generieren häufig geschlechtsspezifische Sprache und verstärken Stereotypen, selbst wenn sie mit neutralen Eingaben gefüttert werden. Während die bisherige Forschung Geschlechter-Bias intensiv durch eine binäre Brille (feminin vs. maskulin) untersucht hat, gibt es ein begrenztes Verständnis darüber, wie geschlechtsneutrale Formen (z. B. das singuläre „they“, neutrale Berufsbezeichnungen) innerhalb der Repräsentationen von Modellen kodiert sind. Zudem operieren bestehende Minderungsstrategien oft auf der Inferenzebene (z. B. Few-Shot-Prompting, strukturierte Constraints), ohne die internen Mechanismen explizit zu lokalisieren, die für geschlechtsspezifisches Verhalten verantwortlich sind. Die spezifische Frage lautet, ob geschlechtsspezifische Signale auf bestimmte Neuronen innerhalb der Feed-Forward-Netzwerke (FFN) von Transformern lokalisiert werden können und ob diese Neuronen kausal manipuliert werden können, um die Generierung in Richtung femininer, maskuliner oder geschlechtsneutraler Formen zu steuern, während die semantische Bedeutung erhalten bleibt.

Methodik
Die Autoren schlagen ein Framework für neuronale Interventionen vor, das aus drei primären Phasen besteht:

Neuronale Aktivierung und Identifikation:
Die Studie konzentriert sich auf die intermediären Neuronen innerhalb der Multi-Layer-Perceptron (MLP)-Blöcke von Transformer-Modellen. Für drei Gender-Kategorien ( $g \in \{maskulin, feminin, neutral\}$ ) berechnen die Autoren die Aktivierungsstatistiken für jedes Neuron über geschlechtsspezifische Textkorpora hinweg. Um Neuronen zu identifizieren, die stark an ein bestimmtes Geschlecht gebunden sind und gleichzeitig Überschneidungen minimieren, führen sie einen Combined Exclusivity Score ein. Dieser Score aggregiert drei komplementäre Maße für jedes Neuron $j$ in Schicht $l$ :

Effektstärke (Cohen's $d$ ): Die standardisierte Differenz der mittleren Aktivierungen zwischen dem Zielgeschlecht und allen anderen Geschlechtern.
Log-Odds-Differenz ( $\Delta$ ): Die relative Wahrscheinlichkeit einer positiven Aktivierung für das Zielgeschlecht gegenüber anderen.
Relative Mittelwertdifferenz ( $r$ ): Die proportionale Differenz der Aktivierungsmagnitude.
Ein Neuron wird nur dann für ein spezifisches Geschlecht ausgewählt, wenn es den höchsten Exclusivity Score für diese Kategorie erreicht und vordefinierte Schwellenwerte über alle drei Metriken hinweg erfüllt.

Kontrollierte Generierung via Maskierung:
Um Kausalität zu validieren, führen die Autoren Interventionen zur Inferenzzeit durch. Sie generieren „Baseline“-Outputs und „maskierte“ Outputs. In der maskierten Bedingung wenden sie eine „Keep-only“-Strategie an: Für ein Zielgeschlecht $g$ bleiben die für $g$ identifizierten Neuronen aktiv, während die für die anderen zwei Geschlechter identifizierten Neuronen maskiert (deaktiviert) werden. Dies testet, ob die identifizierten Neuronen ausreichen, um das Modell in Richtung der Zielgender-Form zu steuern.
Evaluationsprotokoll:
Die Effektivität der Intervention wird anhand zweier Datensätze evaluiert: GCGender (abgeleitet aus bestehenden binären Datensätzen mit hinzugefügten neutralen Versionen) und InclusiveGender (kuratiert mittels inklusiver Sprachlexika). Die Evaluationsmetriken umfassen:

Schlüsselwort-basierte Analyse: Messung der Veränderung des Verhältnisses von geschlechtsspezifischen Begriffen (maskulin, feminin, neutral) im Output relativ zur Baseline.
Menschliche Evaluation: Bewertung der „Erhaltung der Gesamtid“ (semantische Integrität) und der „Realisierung des Zielgeschlechts“ (Korrektheit der geschlechtsspezifischen Wortwahl).

Wesentliche Beiträge

Tripartite Gender-Analyse: Die Arbeit erweitert vorangegangene binäre Gender-Studien, indem sie explizit Neuronen für drei Kategorien identifiziert und kontrolliert: feminin, maskulin und geschlechtsneutral.
Neuartige Identifikationsmetrik: Die Einführung eines kombinierten Exclusivity-Scoring-Systems, um Neuronen zu isolieren, die eindeutig an eine einzige Gender-Kategorie gebunden sind, was die Herausforderung überlappender Aktivierungen adressiert.
Neue Datensätze: Die Kuratierung von InclusiveGender (8.600 Sätze pro Kategorie) und die Erweiterung von GCGender um geschlechtsneutrale Varianten, validiert durch menschliche Annotation für hohe Qualität und geringe Ambiguität.
Kausale Validierung: Ein rigoroses Protokoll, das zeigt, dass das Maskieren spezifischer Neuronen die geschlechtsspezifische Ausgabe kausal verändert, während die semantische Integrität gewahrt bleibt.

Ergebnisse
Experimente mit Llama-3.1-8B und Qwen2.5-7B lieferten folgende Erkenntnisse:

Schichtverteilung: Geschlechtsspezifische Neuronen sind nicht gleichmäßig verteilt. Sie konzentrieren sich stark in den frühen Schichten (typischerweise Schichten 0–3) der Modelle, mit signifikant geringeren Beiträgen aus mittleren und späteren Schichten. Dies steht im Gegensatz zu konkurrierenden Methoden (LAPE, sNeuron-TST), die dazu neigen, Neuronen in späteren Schichten zu identifizieren.
Kontrollpräzision: Die vorgeschlagene Methode erreicht eine präzisere Geschlechtskontrolle als bestehende Baselines. Wenn ein spezifisches Geschlecht angesteuert wird, schafft es die Methode erfolgreich, das Verhältnis von Zielgeschlecht-Begriffen zu bewahren oder zu erhöhen und gleichzeitig Nicht-Ziel-Begriffe zu unterdrücken. Konkurrierende Methoden zeigten ein höheres Maß an „Leakage“, indem sie oft unbezogene Gender-Verhältnisse aufblähten (z. B. Erhöhung neutraler Begriffe beim Ansteuern von maskulin).
Qualitäts-Trade-offs: Die menschliche Evaluation zeigte, dass die Interventionsmethode die „Realisierung des Zielgeschlechts“ im Vergleich zu Baselines signifikant verbessert. Obwohl es eine geringfügige, von Annotatoren abhängige Abnahme der „Erhaltung der Gesamtid“ gab (aufgrund subjektiver Urteile über Formulierungsänderungen), blieb die Kernbedeutung weitgehend erhalten.
Datensatz-Sensitivität: Die Studie stellte fest, dass kleinere Trainingsmengen (wie bei GCGender) zu verrauschteren Neuronen-Identifikationen führen können, insbesondere für die neutrale Kategorie, was darauf hindeutet, dass das Datenvolumen die Präzision der Exclusivity-Filterung beeinflusst.

Bedeutung und Ansprüche
Das Paper behauptet, einen einfachen, aber effektiven Ansatz zum Verständnis der Kodierung von Geschlecht in LMs zu bieten. Durch den Nachweis, dass geschlechtsspezifische Repräsentationen auf einen kleinen Bruchteil von Neuronen (oft <0,5 % der Gesamtparameter) konzentriert sind, die in frühen Schichten liegen, bietet die Arbeit eine mechanistische Erklärung für geschlechtsspezifische Generierung. Die Autoren behaupten, dass ihre neuronale Intervention ein klareres Verständnis des internen Modellverhaltens bietet als reine Output-basierte Minderungsstrategien. Sie positionieren diese Arbeit als einen grundlegenden Schritt hin zu kontrollierter Geschlechtsintervention, der ein Werkzeug sowohl zur Evaluierung von neuron-basierter Bias-Minderung als auch zur potenziellen Reduzierung von Gender-Bias in zukünftigen Modell-Deployments bietet. Die Autoren bleiben hinsichtlich der Limitationen bescheiden und räumen ein, dass ihre Ergebnisse derzeit auf 7–8B Parameter Modelle beschränkt sind und kleinere Datensätze Rauschen bei der Neuronen-Selektion einführen können.