Side-by-side Comparison Amplifies Dialect Bias in Language Models

Technische Samenvatting: Zij-aan-zij Vergelijking Versterkt Dialectbias in Taalmodellen

Probleemstelling
Grote Taalmodellen (LM's) vertonen systematische bias tegen sprekers op basis van dialectale variaties, een fenomeen bekend als covert dialectbias. Dit treedt op zelfs wanneer expliciete dialectlabels ontbreken, aangezien modellen negatieve stereotypen associëren met African-American Vernacular English (AAVE) ten opzichte van Standaard Amerikaans Engels (SAE). Hoewel eerdere onderzoeken het bestaan van deze bias in isolatie hebben vastgesteld, is het onduidelijk hoe bias zich manifesteert in situaties met hoge risico's voor besluitvorming, waarbij modellen kandidaten moeten rangschikken of zij-aan-zij moeten vergelijken. Bovendien is het onbekend of het expliciet specificeren van dialectlabels (overt bias) deze dispariteiten vermindert of verergert in vergelijking met impliciete inferentie (covert bias). Bestaande evaluatiekaders vertrouwen vaak op absolute prompting (het evalueren van tweets in isolatie), wat de ernst van bias in vergelijkende settings kan onderschatten.

Methodologie
De auteurs maken gebruik van een matched-guise-probingtechniek met een dataset van 2.019 tweetparen met gelijkwaardige intenties (één SAE, één AAVE), afgeleid van Groenwold et al. [20]. De studie evalueert drie modellen: LLaMA-3.1-8B, DeepSeek-V3 en GPT-4.0-mini.

De evaluatie wordt uitgevoerd in vier distincte condities:

1. Absolute Prompting: SAE- en AAVE-tweets worden onafhankelijk beoordeeld.
2. Contrastive Prompting: SAE- en AAVE-tweets worden zij-aan-zij gepresenteerd voor directe vergelijking.
3. Covert Setting: Er worden geen expliciete dialectlabels verstrekt; het model infereert het dialect uit linguïstische kenmerken.
4. Overt Setting: Expliciete dialectlabels (bijv. "Deze tweet is geschreven in AAVE") zijn opgenomen in de prompt.

Modellen krijgen de opdracht elke tweet te beoordelen op een 1–5 Likert-schaal voor 12 stereotiepe eigenschappen, gegroepeerd in zes valentieparen (bijv. Intelligentie/Stompzinnigheid, Beleefdheid/Onbeleefdheid), gebaseerd op de Princeton Trilogies [18, 25, 26].

Om bias te kwantificeren, maakt de studie gebruik van:

• Cohen's $d$: Om de effectgrootte van score-dispariteiten tussen SAE en AAVE te meten.
• Counterfactual Fairness Gap (CF Gap): Om de genormaliseerde gemiddelde absolute fout te meten tussen scores die zijn toegewezen aan paren met gelijkwaardige intenties.
• $Q$-Value: Een log-likelihood ratio-maatstaf om het vertrouwen van het model te beoordelen bij het toewijzen van specifieke scores aan verschillende dialecten.

Voor mitigatie passen de auteurs counterfactual fairness finetuning toe op LLaMA-3.1-8B. Dit houdt in dat het model wordt getraind om identieke eigenschapsscores toe te wijzen aan SAE- en AAVE-tweetparen, waarbij de eigen SAE-scores van het model uit de absolute setting worden gebruikt als ground truth. Een op prompting gebaseerde debiasing-aanpak wordt ook getest als baseline.

Belangrijkste Resultaten

1. Versterking in Contrastieve Settings: De meest significante bevinding is dat zij-aan-zij vergelijking covert dialectbias aanzienlijk versterkt. Bij alle modellen zijn de effectgroottes (Cohen's $d$) en CF-gaps in de contrastieve setting substantieel groter dan in de absolute setting. Bijvoorbeeld, DeepSeek-V3 vertoonde een toename van 51,78% in Cohen's $d$-waarden bij de overstap van absolute naar contrastieve prompting. Dit suggereert dat vergelijkende contexten, zoals bij werving of contentmoderatie, bestaande bias verergeren tot buiten wat in isolatie wordt waargenomen.
2. Verergering van Overt Bias: In tegenstelling tot de aanname dat expliciete labeling bias zou kunnen verminderen door het model bewust te maken van de context, versterkt het expliciet specificeren van dialectlabels (overt setting) de bias vaak verder, met name in contrastieve scenario's. In de overt contrastieve setting bereikten dispariteiten voor eigenschappen zoals Articulatie en Verfijning grote effectgroottes.
3. Modellensensitiviteit: LLaMA-3.1-8B toonde de hoogste gevoeligheid voor dialectale variatie, met de grootste CF-gaps en de minst consistente zelfconsistentie (stabiliteit van scores bij herhaalde prompts) voor AAVE-inputs in vergelijking met SAE.
4. Beperkingen van Mitigatie: Counterfactual fairness finetuning slaagde erin de bias voor een subset van eigenschappen (bijv. Onverfijndheid, Stompzinnigheid, Incoherentie) in de absolute setting te verminderen. Deze verbeteringen hielden echter niet consequent stand in de contrastieve setting. In sommige gevallen verhoogde finetuning de dispariteiten voor andere eigenschappen (bijv. Intelligentie, Beleefdheid) wanneer modellen werden gedwongen dialecten direct te vergelijken. Prompt-based debiasing liet gemengde resultaten zien en was minder betrouwbaar vanwege gevoeligheid voor de formulering van de prompt.

Betekenis en Bijdragen
Het artikel levert vier primaire bijdragen:

1. Contrastieve Versterking: Het toont aan dat covert dialectbias niet statisch is, maar dynamisch wordt versterkt wanneer modellen vergelijkende oordelen vellen, een cruciaal inzicht voor real-world toepassingen die rangschikking of selectie omvatten.
2. Vergelijking Overt versus Covert: Het biedt een directe vergelijking die aantoont dat overt dialectkaders bias niet mitigeren maar vaak versterken, wat de effectiviteit van huidige veiligheidsalignatiestrategieën bij het hanteren van expliciete identiteitskaders uitdaagt.
3. Evaluatiekader: Het benadrukt dat standaard evaluatiesettingen (absolute prompting) de ernst van dialectbias aanzienlijk kunnen onderschatten, wat noodzaakt tot het opnemen van contrastieve testen in eerlijkheidsaudits.
4. Uitdagingen bij Mitigatie: Het onthult dat hoewel counterfactual fairness finetuning de aggregatiebias kan verminderen, het ontoereikend is om consistente eerlijkheid te garanderen over alle eigenschappen en evaluatiecontexten, met name in hoog-risico vergelijkende scenario's.

De auteurs concluderen dat dialectbias een onopgelost probleem blijft in LM's, waarbij bestaande mitigatiestrategieën falen om de versterkingseffecten aan te pakken die inherent zijn aan contrastieve besluitvorming. Zij pleiten voor robuustere evaluatiekaders die rekening houden met deze vergelijkende dynamiek om de versterking van structurele ongelijkheden in geautomatiseerde systemen te voorkomen.