BiasCause: Evaluate Socially Biased Causal Reasoning of Large Language Models

1. Probleemstelling

Hoewel Large Language Models (LLMs) een steeds belangrijkere rol spelen in de samenleving, genereren ze nog steeds inhoud die sociale vooroordelen tegen kwetsbare groepen weerspiegelt. Bestaande benchmarks zijn effectief in het identificeren van deze vooroordelen (bijvoorbeeld door te testen of een model een stereotiep antwoord geeft), maar er bestaat een kritiek gat in het begrijpen van de onderliggende redeneerprocessen die tot deze vooroordelen leiden.

De kernvraag die dit paper adresseert is: Hoe redeneren LLMs op een manier die leidt tot vooroordeelrijke antwoorden? Bestaande methoden kijken vaak alleen naar het eindresultaat, maar niet naar de causale structuur die het model gebruikt om tot dat resultaat te komen.

2. Methodologie: Het BiasCause Framework

Het paper introduceert BiasCause, een evaluatieframework dat bestaat uit drie hoofdcomponenten om de causale redenering van LLMs te analyseren:

A. Formeel Schema voor Causale Redenering

De auteurs definiëren een schema om door LLMs gegenereerde causale grafieken (Directed Acyclic Graphs - DAGs) te classificeren. Een DAG bestaat uit knopen (concepten) en gerichte randen (causale claims). De classificatie is gebaseerd op drie categorieën:

1. Mistaken (Verkeerd): De grafiek bevat randen die niet bestaan in de feitelijke causale wereld (hallucinaties of verwarring tussen correlatie en causaliteit).
2. Biased (Vooroordeelsvol): De grafiek bevat een pad van een gevoelig attribuut (bijv. geslacht, ras) naar een uitkomstvariabele die onderhevig is aan eerlijkheidseisen (bijv. toegang tot zorg, intelligentie). Dit is problematisch omdat gevoelige attributen deze uitkomsten niet causaal mogen beïnvloeden.
3. Contextually-grounded (Contextueel onderbouwd): De grafiek bevat een pad van een gevoelig attribuut naar een uitkomst, maar deze is acceptabel omdat de context (bijv. historische feiten) de causaliteit rechtvaardigt zonder sociale vooroordelen te versterken.

Daarnaast wordt een nieuwe categorie geïntroduceerd: "Mistaken-biased". Hierbij verwart het model eerst correlatie met causaliteit (bijv. afleiden van geslacht uit een naam) en past vervolgens vooroordeelsvolle redenering toe op die afgeleide groep.

B. Dataset Generatie

Er is een semi-synthetische dataset samengesteld met 1.788 vragen die zijn gegenereerd door LLMs en gevalideerd door mensen. De dataset omvat acht gevoelige attributen (geslacht, ras, leeftijd, etc.) en is onderverdeeld in drie typen vragen:

• Biased Questions: Ontworpen om vooroordeelsvolle antwoorden te provoceren (waarbij het juiste antwoord "onbepaald" zou moeten zijn).
• Contextually-grounded Questions: Vragen waarbij een specifiek antwoord op een gevoelige groep juist en feitelijk correct is (bijv. historische feiten).
• Mistaken-biased Questions: Taken waarbij een model moet raden op basis van een naam (bijv. baan of persoonlijkheid), wat test of het model demografische attributen hallucineert en daarop vooroordelen toepast.

C. Evaluatie en Autoraters

Het framework gebruikt twee geautomatiseerde beoordelaars (autoraters), aangedreven door LLMs, om:

1. De correctheid van het antwoord te evalueren.
2. De causale redenering te classificeren in de bovengenoemde categorieën.
   Deze autoraters zijn getest tegen menselijke annotaties met een hoge overeenkomst (97,8% voor antwoordcorrectheid en 91,4% voor causale classificatie).

3. Experimenten en Resultaten

De auteurs hebben vier state-of-the-art LLMs geëvalueerd: Gemma-27B-IT, Llama-3.1-70B-Instruct, Gemini-1.5-pro-002 en Claude-3.5-sonnet-v2.

Belangrijkste Bevindingen:

1. Prevalentie van Vooroordeelsvolle Redenering:
   Bij vragen die vooroordelen moeten provoceren, presteren alle modellen slecht. Zelfs het beste model (Gemini-1.5-pro-002) haalt slechts 13,8% nauwkeurigheid. Bijna alle fouten worden veroorzaakt door "biased" causale grafieken, waarbij het model een gevoelig attribuut onterecht koppelt aan een uitkomst.

2. Het "Mistaken-biased" Fenomeen:
   Bij vragen die zowel hallucinatie als vooroordelen testen, presteren alle modellen extreem slecht (<14,7% nauwkeurigheid). Een aanzienlijk deel van de fouten (46,4% tot 62,5%) wordt veroorzaakt door "mistaken-biased" redenering: het model infereert eerst een gevoelig attribuut uit een naam (correlatie) en gebruikt dit vervolgens als basis voor vooroordeelsvolle causale redenering.

3. Strategieën om Vooroordelen te Vermijden:
   Uit de analyse van de correcte antwoorden (waarbij het model geen vooroordeel toont) zijn drie strategieën geïdentificeerd die LLMs gebruiken:

   • Expliciete Weigering: Het model herkent dat de vraag vooroordelen vereist en weigert te antwoorden (label "n").
   • Vermijden van Gevoelige Attributen: Het model geeft een antwoord dat niet gebaseerd is op een gevoelige groep, zelfs als de vraag hiernaar vraagt (label "nr").
   • Contextuele Beperkingen: Het model voegt strikte contextuele beperkingen toe die de generalisatie voorkomen, waardoor het antwoord "contextueel onderbouwd" wordt in plaats van vooroordeelsvol (label "g").

4. Contextueel Onderbouwde Vragen:
   Bij vragen waarvoor een gevoelig antwoord feitelijk correct is (bijv. historische feiten), presteren alle modellen goed (>90% nauwkeurigheid). Dit toont aan dat de modellen niet overmatig "debiasen" (d.w.z. weigeren om feitelijke antwoorden te geven die een groep betreffen).

4. Bijdragen en Significantie

• Nieuw Perspectief: Dit paper verschuift de focus van het evalueren van of een model vooroordelen heeft, naar hoe het model redeneert om tot die vooroordelen te komen. Het introduceert het concept van causale grafieken als een meetinstrument voor bias.
• Formele Definitie: Het biedt een formele definitie van "mistaken-biased" redenering, wat een cruciaal inzicht is in hoe LLMs fouten cumuleren (eerst hallucineren, dan vooroordelen toepassen).
• Strategische Inzichten: Door de strategieën te identificeren die modellen gebruiken om bias te vermijden (weigeren, vermijden, beperken), biedt het paper een blauwdruk voor toekomstig onderzoek naar het trainen of prompten van modellen om eerlijker te redeneren zonder hun nuttigheid te verliezen.
• Praktische Toepasbaarheid: De framework is relevant voor hoog-risico toepassingen (zoals leningen of sollicitaties) waar niet alleen een beslissing, maar ook een transparante, eerlijke onderbouwing vereist is.

Conclusie

BiasCause onthult dat huidige geavanceerde LLMs niet alleen sociale vooroordelen reproduceren, maar dat ze dit doen via specifieke, vaak complexe causale redeneerpaden die correlatie met causaliteit verwarren. Hoewel modellen soms strategieën ontwikkelen om deze valkuilen te vermijden, is de neiging tot vooroordeelsvolle redenering nog steeds dominant. Dit werk legt de basis voor een dieper begrip van de "black box" van bias in LLMs en biedt richtlijnen voor effectiever debiasing.