💬 NLP

GECOBench: A Gender-Controlled Text Dataset and Benchmark for Quantifying Biases in Explanations

Dit artikel introduceert GECOBench, een gendergecontroleerde dataset en evaluatiekader dat aantoont hoe het finetunen van vooraf getrainde modellen zoals BERT, met name door het hertrainen van embedding-lagen, de genderbias in de feature-attributies gegenereerd door explainable AI-methoden aanzienlijk vermindert.

Oorspronkelijke auteurs: Rick Wilming, Artur Dox, Hjalmar Schulz, Marta Oliveira, Benedict Clark, Stefan Haufe

Gepubliceerd 2026-01-22

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Rick Wilming, Artur Dox, Hjalmar Schulz, Marta Oliveira, Benedict Clark, Stefan Haufe

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer slimme, goed onderlegde robot hebt genaamd BERT. BERT heeft miljoenen boeken, websites en artikelen (zoals Wikipedia) gelezen om te leren hoe hij spreekt en ons begrijpt. Omdat hij zoveel heeft gelezen, heeft hij ook de verborgen vooroordelen en stereotypen geabsorbeerd die in die oude teksten te vinden zijn. Bijvoorbeeld, hij kan onbewust denken dat "arts" bij "hij" hoort en "verpleegkundige" bij "zij", zelfs wanneer die woorden er eigenlijk niet toe doen voor een beslissing.

Stel je nu voor dat je BERT vraagt waarom hij een specifieke beslissing heeft genomen. Hij wijst naar bepaalde woorden en zegt: "Ik koos dit vanwege deze woorden!" Dit wordt Explainable AI (XAI) genoemd. Het probleem is: vertelt BERT de waarheid, of wijst hij gewoon naar de woorden die overeenkomen met zijn oude stereotypen?

Dit artikel introduceert een nieuwe tool genaamd GECOBench om te testen of de verklaringen van AI eerlijk zijn, specifiek met betrekking tot gender.

Het "Gender-Flip" Spel (GECO Dataset)

Om BERT te testen, hebben de onderzoekers een speciale speeltuin gecreëerd genaamd GECO. Denk aan het als een spelletje "Mad Libs", maar dan met een strikte regel: Verander alleen de voornaamwoorden.

Ze namen een zin zoals:

"Zij houdt ervan om tijd door te brengen met haar favoriete kat."

Vervolgens maakten ze twee identieke tweelingen van deze zin, waarbij ze alleen de gender-woorden veranderden:

Mannelijke versie: "Hij houdt ervan om tijd door te brengen met zijn favoriete kat."
Non-binaire versie: "Zij/Die houdt ervan om tijd door te brengen met hun favoriete kat."

Alles wat overblijft — de kat, het houden van, de doorgebrachte tijd — blijft exact hetzelfde.

Waarom is dit een spel?
In dit spel is de enige reden dat het antwoord verandert van "Mannelijk" naar "Vrouwelijk", het voornaamwoord. Als een AI naar de zin kijkt en zegt: "Ik weet dat dit over een vrouw gaat vanwege het woord 'kat'", dan heeft hij het fout. De "kat" is een rode haring; het is een afleiding. De enige "eerlijke" aanwijzing is het voornaamwoord.

Omdat de onderzoekers deze zinnen op deze manier hebben opgebouwd, weten zij de Ground Truth: De AI moet naar het voornaamwoord wijzen om correct te zijn. Als hij naar de kat wijst, is de uitleg een leugen (of in ieder geval bevooroordeeld).

De "Waarheidsdetector" (GECOBench)

De onderzoekers gebruikten deze dataset om een testframework te bouwen genaamd GECOBench. Ze voerden deze zinnen aan BERT en vroegen: "Welke woorden zorgden ervoor dat je dit besloot?"

Vervolgens vergeleken ze het antwoord van BERT met de "Ground Truth" (het voornaamwoord). Ze gebruikten een scoresysteem genaamd Mass Accuracy.

Perfecte score: De AI wijst alleen naar het voornaamwoord.
Lage score: De AI wijst naar het voornaamwoord en andere ongerelateerde woorden (zoals "kat" of "keuken"), of mist het voornaamwoord volledig.

Wat ze vonden

De onderzoekers testten BERT in verschillende "trainingsmodi" om te zien hoe ze de slechte verklaringen konden oplossen:

De "Bevroren" BERT: Ze lieten BERT zijn vooraf getrainde brein gebruiken zonder iets te veranderen.
- Resultaat: De verklaringen waren slordig. BERT bleef wijzen naar stereotype woorden (zoals "keuken" of "auto") in plaats van alleen naar het voornaamwoord. Het was bevooroordeeld.
De "Fine-Tuned" BERT: Ze hertrainden specifieke delen van BERTs brein op hun nieuwe "Gender-Flip" zinnen.
- Resultaat: Toen ze de embedding layer (het deel van het brein dat de basisbetekenis van woorden begrijpt) hertrainden, werden de verklaringen veel beter. BERT leerde eindelijk de stereotypen te negeren en zich alleen op het voornaamwoord te concentreren.

De Belangrijkste Conclusie:
Zelfs als een model het juiste antwoord geeft (bijv. correct "Hij" identificeren als mannelijk), kan de uitleg ervan nog steeds liegen als deze gebaseerd is op oude vooroordelen. Het artikel laat zien dat je de verklaring van een AI niet zomaar kunt vertrouwen; je moet controleren of hij naar de juiste aanwijzingen wijst.

De "Pattern" Baseline

De onderzoekers vergeleken BERT ook met een eenvoudige, ouderwetse wiskundige methode genaamd de Pattern Variant. Deze methode heeft geen "brein" vol vooroordelen; het kijkt simpelweg naar de wiskunde van hoe woorden voorkomen.

Verrassing: De eenvoudige wiskundige methode was in veel gevallen zelfs beter in het vinden van de "waarheid" dan de complexe AI. Dit bewijst dat de complexiteit van de AI in de weg stond van eerlijkheid.

Samenvatting

Het Probleem: AI-modellen geven vaak verklaringen die er goed uitzien, maar die eigenlijk gebaseerd zijn op verborgen vooroordelen (zoals genderstereotypen).
De Oplossing: Een nieuwe dataset (GECO) waarbij alleen het gender verandert, wat een "waarheid" creëert die de AI moet volgen.
Het Resultaat: Door het begrip van de AI over woorden (embeddings) te hertrainen, kunnen we de AI dwingen eerlijke verklaringen te geven die zich richten op de werkelijke aanwijzingen, en niet op de stereotypen.

Het artikel concludeert dat dit een eerste stap is. Het is alsof je een student leert om te stoppen met gokken op basis van stereotypen en te beginnen met het kijken naar het werkelijke bewijs. Hoewel deze specifieke test over gender gaat, kan de methode worden gebruikt om te controleren of AI eerlijk is over elk willekeurig onderwerp.

Technische Samenvatting: GECOBench: Een gendergecontroleerde tekstdataset en benchmark voor het kwantificeren van biases in verklaringen

Probleemstelling

Grote voorgetrainde taalmodellen (PLMs), zoals BERT, worden getraind op enorme corpora die inherente maatschappelijke biases bevatten, waaronder genderstereotypen. Hoewel deze biases bekend zijn om hun invloed op modelgewichten en voorspellingsgedrag, blijft het onduidelijk in welke mate ze doorwerken in de kenmerktoekenningen (feature attributions) gegenereerd door Explainable Artificial Intelligence (XAI)-methoden. Specifiek is er een gebrek aan rigoureuze, datacentrische kaders om te evalueren of XAI-methoden correct de kenmerken identificeren die een voorspelling drijven, of dat ze onbedoeld bevooroordeelde, niet-causale correlaties uit de pre-training data benadrukken. Huidige benchmarks vertrouwen vaak op "trouwheid" (faithfulness) metrieken of menselijk geannoteerde rationales, die mogelijk niet overeenkomen met statistische associaties of de grondwaarheid van kenmerkbelang, wat het moeilijk maakt om de correctheid van verklaringen objectief te beoordelen in aanwezigheid van bias.

Methodologie

1. De GECO Dataset

De auteurs introduceren GECO, een gendergecontroleerde tekstdataset die ontworpen is om grondwaarheid voor kenmerktoekenningen voor genderclassificatietaken te bieden.

Constructie: Zinnen zijn afkomstig van Wikipedia-pagina's die corresponderen met klassieke romans (via het Gutenberg-project).
Manipulatie: Elke zin wordt gegenereerd in drie grammaticale gender-varianten: Mannelijk ( $x^M$ $x^{M}$ ), Vrouwelijk ( $x^F$ $x^{F}$ ) en Non-binair ( $x^{NB}$ $x^{N B}$ ).
- Onderwerp-alleen manipulatie ( $D_S$ ): Alleen de grammaticale onderwerp-voornaamwoorden worden gewijzigd (bijv. "Zij" $\to$ "Hij"). Dit creëert een uitdagendere taak waarbij het model onderscheid moet maken tussen onderwerp- en object-genders.
- Alle-gender manipulatie ( $D_A$ ): Alle gender-gerelateerde woorden (voornaamwoorden, bezittelijke voornaamwoorden en gendered zelfstandige naamwoorden zoals "Tante" $\to$ "Oom") worden gewijzigd.
Grondwaarheid: Door constructie zijn de gewijzigde woorden de enige onderscheidende kenmerken. Daarom is de grondwaarheid van de kenmerktoekenning kaart binair: 1 voor gewijzigde woorden, 0 voor alle overige woorden. Dit maakt de objectieve evaluatie mogelijk of een XAI-methode de statistisch geassocieerde kenmerken benadrukt (Statistical Association Property - SAP).
Bias Verificatie: De auteurs verifiëren dat de dataset zelf onbevooroordeeld is met behulp van een co-occurrence metriek, om te garanderen dat afwijkingen in modelverklaringen voortkomen uit de pre-training biases van het model en niet uit de data.

2. Het GECOBench Framework

GECOBench is een kwantitatief evaluatieframework toegepast op de GECO-dataset om de XAI-prestaties te beoordelen.

Modellen: Het framework evalueert het voorgetrainde BERT-model onder vier verschillende trainingsparadigma's om de impact van verschillende architecturale lagen te isoleren:
1. BERT-C: Alleen de classificatielaag wordt opnieuw getraind; Embedding- en Attention-lagen zijn vastgezet.
2. BERT-CE: Embedding- en classificatielagen worden vanaf nul opnieuw getraind; Attention is vastgezet.
3. BERT-CEf: Embedding- en classificatielagen worden gefinetuned; Attention is vastgelegd.
4. BERT-CEfAf: Embedding-, Attention- en classificatielagen worden allemaal gefinetuned.
- Baselines: Een zero-shot BERT-model (BERT-ZS) en een standaard één-laags attention-model (OLA-CEA) dat vanaf nul op GECO is getraind (vrij van pre-training bias) worden gebruikt voor vergelijking.
Geëvalueerde XAI-methoden: De studie past diverse post-hoc attributiemethoden toe, waaronder gradiënt-gebaseerde benaderingen (Saliency, InputXGradient, DeepLift, Guided Backpropagation, Integrated Gradients) en surrogaatmethoden (LIME, Kernel SHAP, Gradient SHAP).
Evaluatiemetriek: De Mass Accuracy (MA) metriek wordt gebruikt om de correctheid te kwantificeren. MA meet de overlap tussen de genormaliseerde attributiescores en de grondwaarheid binaire masker, waarbij fout-positieven (het benadrukken van niet-grondwaar woorden) worden bestraft terwijl het robuust is tegen fout-negatieven (het missen van sommige grondwaar woorden).
Bias Kwantificatie: De auteurs definiëren Relative Mass Accuracy (RMA) om de afwijking van de verklaring-prestaties van een zero-shot baseline te meten, waarmee "verklaring-bias" wordt gekwantificeerd.

Belangrijkste Bijdragen

GECO Dataset: Een nieuwe, gendergecontroleerde dataset met grondwaarheid voor kenmerktoekenningen op woordniveau, wat de objectieve beoordeling van XAI-correctheid op basis van statistische associatie mogelijk maakt.
GECOBench: Een rigoureus benchmarking-workflow om te kwantificeren hoe pre-training biases de kenmerktoekenningen beïnvloeden en hoe fine-tuning strategieën deze biases mitigeren.
Empirische Analyse van Bias in Verklaringen: Het artikel demonstreert dat kenmerktoekenning-methoden vatbaar zijn voor pre-training biases en dat de correctheid van deze verklaringen sterk afhangt van welke lagen van het model worden gefinetuned.

Resultaten

Verklaring-Prestaties (RQ1)

Dataset Moeilijkheidsgraad: Prestaties op de onderwerp-alleen dataset ( $D_S$ ) zijn over het algemeen lager dan op de alle-gender dataset ( $D_A$ ) voor alle methoden, waarschijnlijk door het verminderde aantal onderscheidende tokens.
Methode Vergelijking: Integrated Gradients, LIME en Gradient SHAP presteren consequent beter dan andere methoden en de random baseline.
Baseline Vergelijking: De Pattern Variant (een model-onafhankelijke methode gebaseerd op input-target covariantie) dient als een bovengrens voor prestaties. Hoewel geen enkele methode de score van de Pattern Variant bereikt, presteren Integrated Gradients en Gradient SHAP goed in het transfer learning regime.
Onbevooroordeeld Model: Het OLA-CEA model (getraind vanaf nul zonder pre-training) vertoont aanzienlijk hogere verklaring-prestaties over alle methoden, wat bevestigt dat pre-training biases de kwaliteit van de verklaring verslechteren.

Bias Mitigatie (RQ2)

Laag Afhankelijkheid: Er is een duidelijke afhankelijkheid tussen de prestaties van de verklaring en het aantal gefinetunede lagen.
Embedding Impact: Modellen waarbij de embedding laag opnieuw getraind of gefinetuned wordt (BERT-CE, BERT-CEf), laten de meest significante verbetering zien in de correctheid van de verklaring vergeleken met modellen waar embeddings vaststaan (BERT-C).
Residuele Bias: Zelfs wanneer de classificatienauwkeurigheid constant wordt gehouden over verschillende trainingsregimes, behouden modellen met vaste embeddings residuele biases die de correctheid van kenmerktoekenningen negatief beïnvloeden. Het finetunen van de embeddings blijkt de meest effectieve strategie te zijn om deze biases te mitigeren.
Specifieke Observaties: In sommige gevallen benadrukken XAI-methoden op bevooroordeelde modellen irrelevante woorden (bijv. "Bella" in plaats van het voornaamwoord "zij") vanwege pre-training associaties, terwijl onbevooroordeelde modellen correct focussen op de gewijzigde voornaamwoorden.

Betekenis en Claims

Het artikel claimt dat GECOBench de eerste principiële, datacentrische framework biedt voor het evalueren van de correctheid van kenmerktoekenningen in NLP, waarbij specifiek wordt ingegaan op de spanning tussen model-centrische en datacentrische verklaringen.

Bias Propagatie: De studie stelt vast dat biases in pre-training corpora niet beperkt zijn tot voorspellingsoutputs, maar ook doorwerken in de verklaringen gegenereerd door XAI-methoden.
Correctheid als Bias Indicator: De auteurs stellen dat de datacentrische correctheid van kenmerktoekenningen (specifiek de naleving van de SAP) indicatief is voor onderliggende modelbiases.
Mitigatiestrategie: De resultaten suggereren dat het simpelweg finetunen van de classificatiekop onvoldoende is voor het verkrijgen van onbevooroordeelde verklaringen; het opnieuw trainen of finetunen van de embedding lagen is noodzakelijk om de invloed van pre-training biases op kenmerktoekenningen te mitigeren.
Omvang: De auteurs positioneren dit werk als een eerste stap naar systematische bias-evaluatie in XAI. Ze erkennen beperkingen, zoals de vereenvoudiging van gender naar voornaamwoord-wijzigingen en de focus op univariate statistische associaties, maar benadrukken dat het framework erin slaagt om de impact van bias op de correctheid van verklaringen in een gecontroleerde setting te isoleren en te kwantificeren.

Het artikel concludeert dat voorzichtigheid geboden is bij het gebruik van XAI-methoden voor model debugging of downstream taken (zoals sentimentanalyse) op voorgetrainde modellen, aange omdat bevooroordeelde toekenningen spook-gender-gerelateerde tokens kunnen benadrukken in plaats van semantisch relevante kenmerken.