GKnow: Measuring the Entanglement of Gender Bias and Factual Gender

Technische Samenvatting: GKnow: Het Meten van de Verstrengeling van Genderbias en Feitelijke Genderinformatie

Probleemstelling
Recent onderzoek naar mechanistische interpreteerbaarheid heeft zich gericht op het identificeren en mitigeren van genderbias in Large Language Models (LLMs) door specifieke componenten verantwoordelijk voor vooroordeelachtige outputs te analyseren. Echter, huidige benaderingen lijden onder twee primaire beperkingen: (i) ze richten zich vaak op zeer specifieke taken, zoals het voorspellen van gendergebonden voornaamwoorden, en (ii) ze onderscheiden niet tussen feitelijke gender (de correcte semantische associatie tussen een zelfstandig naamwoord en zijn geslacht, bijv. "vrouw" $\to$ "zij") en stereotyperende gender (outputs gebaseerd op sociale stereotypen, bijv. "verpleegkundige" $\to$ "zij").

Dit gebrek aan onderscheid leidt tot een kritiek neveneffect in ontzuiveringsinspanningen: de degradatie van de feitelijke genderkennis van een model. Bestaand werk suggereert dat genderbias en feitelijke gendersignalen verstrengeld zijn binnen de interne representaties van het model, maar het mechanistische verhaal van deze verstrengeling op circuit- en neuronenniveau blijft grotendeels onverklaard. Bijgevolg kunnen eenvoudige ontzuiveringstechnieken, zoals neuronale ablatie, per ongeluk het vermogen van het model om feitelijke gender correct te voorspellen verwijderen, terwijl er claim wordt gemaakt op succes op bias-benchmarks.

Methodologie
Om deze gaten aan te pakken, stellen de auteurs een veelzijdige aanpak voor die datasetcuratie, circuitanalyse en neuronale ablatie-experimenten combineert op twee decoder-only transformer-modellen: Llama-3.1-8b en Olmo-7b.

1. Datasetcuratie (GKnow):
   De auteurs introduceren GKnow, een benchmark ontworpen om genderkennis en bias te beoordelen over diverse voorspellingstypen. GKnow categoriseert prompts op basis van de aanname (onderwerp) en de verwachte output. De dataset omvat:

   • Feitelijke subsets: Gebaseerd op lexicaal gendergebonden zelfstandige naamwoorden (bijv. "vrouw"), namen en expliciete genderindicatoren.
   • Stereotyperende subsets: Gebaseerd op stereotyperend gendergebonden beroepen (bijv. "verpleegkundige") of eigenschappen (bijv. "zorgzaam").
   • Voorspellingstypen: Voorspelling van gendergebonden voornaamwoorden, genderidentificatie en naamvoorspelling.
     GKnow maakt het mogelijk om taken te scheiden in "stereotyperende" (bias-gevoelige) en "feitelijke" (kennisgebaseerde) categorieën om verstrengeling te meten.

2. Circuitanalyse:
   Met behulp van EAP-IG (Edge Attribution Patching met Integrated Gradients) identificeren de auteurs minimale trouwe circuits die verantwoordelijk zijn voor gendergebonden voorspellingen. Ze analyseren:

   • Intersection over Union (IoU): Het meten van de overlap van randen en knooppunten tussen circuits voor verschillende taken.
   • Cross-task trouw: Het evalueren of een circuit dat voor één taak is geïdentificeerd (bijv. stereotyperende voorspelling) het gedrag van een andere taak (bijv. feitelijke voorspelling) trouw kan reproduceren.

3. Neuronenniveau-analyse en Ablatie:
   De auteurs maken gebruik van Integrated Gradients om taakrelevante neuronen te identificeren, specifiek die geassocieerd met stereotyperende voorspellingen (aangezien dit de typische doelen zijn voor ontzuivering). Ze voeren neuronale ablatie uit (het instellen van activeringen op nul) op de top 10 en 50 geïdentificeerde neuronen.

   • Evaluatie: De impact van ablatie wordt gemeten op GKnow, StereoSet en DiFair (een benchmark voor ontwarde beoordeling van genderkennis en bias).
   • Maten: De studie volgt $P_{exp}$ (kans op verwachte token), $P_{opp}$ (token van tegenovergesteld geslacht), $P_{other}$ en de kansgrootte ($\Delta$) tussen mannelijke en vrouwelijke outputs.

Belangrijkste Resultaten

• Verstrengeling op Circuitniveau:

  • Circuits die verantwoordelijk zijn voor stereotyperende en feitelijke gendervoorspellingen tonen een hoge overlap en lage scheiding.
  • Cross-task trouw is hoog: circuits die voor stereotyperende taken zijn geïdentificeerd, kunnen de prestaties van feitelijke taken herstellen (en omgekeerd). Bijvoorbeeld, het toepassen van het gender_prediction_based_on_stereo-circuit op de gender_prediction_based_on_pronoun-subset bereikte een trouw van 1,0.
  • Dit geeft aan dat feitelijke en stereotyperende gender ernstig verstrengeld zijn op circuitniveau.

• Verstrengeling op Neuronenniveau en Effecten van Ablatie:

  • Het ableren van neuronen geïdentificeerd via stereotyperende prompts veroorzaakt een significante afname in het vermogen van het model om feitelijke gender te voorspellen.
  • In GKnow Factual-subsets leidde ablatie van topneuronen tot scherpe dalingen in $P_{exp}$ (bijv. dalen van 91,49% naar 79,86% in Llama voor 50 neuronen) en toenames in $P_{opp}$ en $P_{other}$.
  • Cruciaal: terwijl ablatie vaak de maten op stereotyperende benchmarks verbetert (bijv. het verminderen van $P_{exp}$ voor stereotyperende voorspellingen in StereoSet), maskeren deze "positieve" resultaten een gelijktijdige ineenstorting van feitelijke gendercompetentie.
  • De kansgrootte ($\Delta$) tussen mannelijke en vrouwelijke outputs neemt significant af, wat wijst op een verlies aan vertrouwen in gendergebonden voorspellingen over zowel feitelijke als stereotyperende subsets.

• Menselijke Interpreteerbaarheid:

  • Met behulp van de Logit Lens-techniek vonden de auteurs dat gedeelde neuronen over verschillende gendertaken menselijk interpreteerbaar zijn. Bijvoorbeeld, specifieke neuronen in Olmo en Llama bleken specifieke gendergebonden tokens (bijv. voornaamwoorden als "zij" of namen als "Mary") te onderdrukken of te bevorderen in zowel feitelijke als stereotyperende contexten.

Belangrijkste Bijdragen

1. GKnow-benchmark: De curatie van GKnow, die een gat vult in beschikbare middelen voor het evalueren van de verstrengeling van genderbias en feitelijke genderkennis over verschillende taaaktypen in het Engels.
2. Bewijs op Circuitniveau: De demonstratie, via EAP-IG, dat stereotyperende en feitelijke gendersignalen verstrengeld zijn binnen dezelfde computationele circuits, wat de aanname uitdaagt dat ze eenvoudig kunnen worden gescheiden.
3. Analyse van Neuronale Ablatie: De empirische bevinding dat eenvoudige neuronale ablatie, hoewel potentieel effectief in het verminderen van stereotyperende bias op specifieke benchmarks, feitelijke genderkennis ernstig ondermijnt. Dit suggereert dat ablatie een onbetrouwbare standalone-methode is voor ontzuivering.

Betekenis en Claims
Het artikel betoogt dat de verstrengeling van genderbias en feitelijke gender een fundamentele eigenschap is van huidige LLM-architecturen, waarneembaar op zowel circuit- als neuronenniveau. De auteurs stellen het volgende:

• Huidige ontzuiveringsmethoden zijn gebrekkig: Technieken zoals neuronale ablatie, die zich richten op "bias-neuronen", vernietigen per ongeluk feitelijke kennis omdat de onderliggende mechanismen gedeeld worden.
• Evaluatie-benchmarks zijn ontoereikend: Benchmarks die geen rekening houden met feitelijke gender (zoals StereoSet) kunnen de degradatie van linguïstische competentie veroorzaakt door ontzuiveringspogingen verbergen.
• Toekomstig werk vereist robuuste evaluatie: Er is een dringende behoefte aan datasets voor genderbias-evaluatie die expliciet het behoud van feitelijke genderkennis meten naast het verminderen van bias.

De auteurs sluiten af met een waarschuwing tegen "ongefilterde neuronale ablatie" als enige methode voor genderontzuivering, met de nadruk dat zonder robuuste benchmarks zoals GKnow het veld het risico loopt bias-maten te verbeteren ten koste van basis taalbegrip. Het artikel erkent beperkingen, waarbij wordt opgemerkt dat de bevindingen momenteel specifiek zijn voor het Engels en relatief kleine modellen, en dat genderbias zich kan manifesteren in vormen die niet worden gedekt door hun op beroepen en bijvoeglijke naamwoorden gebaseerde stereotypen.