Mechanics of Bias and Reasoning: Interpreting the Impact of Chain-of-Thought Prompting on Gender Bias in LLMs

Technische Samenvatting: Mechanica van Bias en Redeneren: Interpretatie van de Impact van Chain-of-Thought Prompting op Genderbias in LLM's

Probleemstelling
Grote Taalmodellen (LLM's) worden steeds vaker ingezet in sociaal gevoelige contexten, maar ze blijven genderbias coderen en verspreiden. Hoewel Chain-of-Thought (CoT) prompting is voorgesteld als een mechanisme om dergelijke bias te verminderen door stap-voor-stap redeneren te stimuleren, vertrouwen bestaande evaluaties voornamelijk op benchmarkprestatiemetrics. Deze metrics falen vaak om onderscheid te maken tussen echte verminderingen van interne biasmechanismen en oppervlakkige uitlijning of benchmarkconformiteit. Bijgevolg blijft het onduidelijk of CoT prompting fundamenteel verandert hoe modellen genderbias coderen, verwerken en manifesteren, of dat de waargenomen verbeteringen louter artefacten zijn van datasetvertrouwdheid en memorisatie.

Methodologie
De auteurs presenteren een systematische studie die benchmarkgebaseerde evaluatie, mechanistische interpreteerbaarheid en analyse van redeneerketens-falen combineert. De experimentele opzet omvat:

1. Datasets en Modellen: De studie evalueert vijf LLM's (Qwen2.5-7B, Qwen2.5-32B, QwQ, Llama3-8B en Mistral-7B) over vier genderbias-benchmarks: BBQ, StereoSet, CrowS-Pairs en SocioEconomicQA. Prompts zijn opgemaakt als meerkeuzevragen met stereotiepe, anti-stereotiepe en "onbekende" (onthouding) opties.
2. Voorwaarden: Modellen worden getest onder twee voorwaarden: Standaard prompting en Zero-shot CoT prompting (toevoegen van "Let's think step by step").
3. Mechanistische Interpreteerbaarheid:
   • Stereotype Attention Score (SAS): Aangepast aan eerder werk, deze metric kwantificeert de aandachtsgewicht die wordt gericht op stereotiepe versus anti-stereotiepe tokens over specifieke attention heads. De auteurs identificeren clusters van attention heads waar bias geconcentreerd is.
   • Hidden State Probing: Lineaire probes (2-laags MLP's) worden getraind op verborgen staten die uit redeneerketens zijn gehaald om het door het model geselecteerde antwoordtype te voorspellen (stereotiep, anti-stereotiep of onbekend). Dit beoordeelt of genderbiasinformatie nog steeds is gecodeerd in interne representaties, zelfs wanneer de output onbevooroordeeld lijkt.
4. Analyse van Redeneerketens: Een taxonomie van zeven redeneergedragingen (Redeneercorrectheid, Onthouding, Dissociatie, Task Hacking, Promptschending, Autoriteit en Bias) werd ontwikkeld. Drie auteurs noteerden een steekproef van 257 ketens, en binaire classifiers werden getraind om 27.308 redeneerketens over alle modellen en datasets te analyseren.

Belangrijkste Bijdragen

• Systematische Evaluatie: Het paper biedt een uitgebreide evaluatie van de effectiviteit van CoT voor genderbiasmitigatie over meerdere modellen en datasets, en daagt de aanname uit dat CoT consistent bias vermindert.
• Mechanistisch Inzicht: Het past analyse van attention heads en hidden state probing toe op de specifieke context van genderbias, en onthult dat bias blijft bestaan in interne representaties, zelfs wanneer CoT wordt gebruikt.
• Taxonomie van Redeneerfalen: De auteurs ontwikkelen en toepassen een nieuwe taxonomie om redeneerketensgedrag te categoriseren, en onderscheiden tussen genuine redenering en gedragingen zoals "task hacking" of "dissociatie" die leiden tot bevooroordeelde output.

Resultaten

• Benchmarkprestaties: CoT prompting vermindert de biaskloof (Diff-Bias) niet consistent. Hoewel het de onthoudingspercentages voor sommige modellen verbeterde (Llama-8B, Mistral-7B), verminderde het de prestaties of verhoogde het de biascores voor andere (Qwen-familie, QwQ). Het effect is sterk afhankelijk van modelarchitectuur, grootte en dataset.
• Attentionmechanismen: CoT vermindert de globale Stereotype Attention Score (SAS) door aandachtsbalans in plaats van door het onderdrukken van bevooroordeelde heads. Echter, specifieke clusters van attention heads (bijvoorbeeld rond lagen 8–17 voor Qwen-7B) blijven doorslaggevend bij antwoordselectie, en hun activiteit wordt niet consistent onderdrukt door CoT.
• Verborgen Representaties: Probing-experimenten onthullen dat genderbiasinformatie blijft gecodeerd in verborgen staten over alle lagen, ongeacht of CoT wordt gebruikt. Hoge probe-fideliteit geeft aan dat de interne staat van het model nog steeds onderscheid maakt tussen bevooroordeelde en onbevooroordeelde paden, wat suggereert dat CoT slechts oppervlakkige mitigatie biedt.
• Redeneergedragingen: Analyse van redeneerketens toont aan dat "Redeneercorrectheid" geen onbevooroordeelde output garandeert. Bevooroordeelde antwoorden komen vaak voor met gedragingen zoals "Dissociatie" (inconsistent redeneren), "Task Hacking" (exploiteren van promptgrammatica) en appeals aan "Autoriteit".
• Datacontaminatie: De studie identificeert bewijs van datasetcontaminatie. Modellen vertonen hogere onthoudingspercentages en lagere bias op vertrouwde datasets (zoals BBQ), maar worstelen met onbekende data (SocioEconomicQA). In sommige gevallen bevatten redeneerketens woordelijk tekst uit de trainingsdata, wat suggereert dat de schijnbare biasmitigatie voortkomt uit memorisatie in plaats van genuine redenering.

Betekenis en Claims
Het paper betoogt dat CoT prompting een oppervlakkige gedragscorrectie produceert in plaats van een fundamentele verandering in hoe LLM's genderbias coderen en manifesteren. De auteurs claimen dat:

1. Interne Bias Blijft Bestaan: Ondanks CoT-geïnduceerde veranderingen in output, blijft genderbias ingebed in verborgen representaties en specifieke clusters van attention heads.
2. Memorisatie versus Redenering: Verbeteringen in biasmetrics worden vaak gedreven door datasetvertrouwdheid en memorisatie (datacontaminatie) in plaats van het vermogen van een model om over sociale bias te redeneren.
3. Beperkingen van CoT: CoT is ontoereikend voor het mitigeren van sociale bias omdat het vertrouwen stelt op statistische patronen en moeite heeft uitzonderingen te formaliseren of de impliciete, niet-formaliseerbare aard van sociale bias te hanteren.
4. Behoefte aan Diepere Mitigatie: Echte biasmitigatie vereist strategieën die de impliciete representaties die ten grondslag liggen aan modelgedrag targeten, in plaats van uitsluitend te vertrouwen op promptgebaseerde redeneerstrategieën die mogelijk "overdenken" of ontwijkende reacties stimuleren.

De auteurs concluderen dat, hoewel CoT de redeneercorrectheid kan verbeteren, het genderbias niet betrouwbaar vermindert en het in bepaalde contexten zelfs kan verergeren door complexe maar gebrekkige redeneringspatronen te induceren.