💬 NLP

Is She Even Relevant? When BERT Ignores Explicit Gender Cues

Dit artikel toont aan dat een van nul opgebouwd Nederlands BERT-model sterke, persistente mannelijke-standaard-genderbias ontwikkelt die expliciete contextuele aanwijzingen overstemt, wat aantoont dat de geleerde representaties onvoldoende dynamisch zijn om anti-stereotyperende genderinformatie correct te coderen, ondanks de openlijke morfologische gendermarkering van de taal.

Oorspronkelijke auteurs: Jonas Klein, Chiara Manna, Eva Vanmassenhove

Gepubliceerd 2026-05-11

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Jonas Klein, Chiara Manna, Eva Vanmassenhove

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Geheel: Een Robot die Stereotypen niet kan Ontleren

Stel je voor dat je een robot leert menselijke taal te begrijpen door hem miljoenen boeken te tonen. Je wilt dat de robot slim genoeg is om te begrijpen dat wanneer iemand zegt: "Zij is een loodgieter", de robot moet weten dat de loodgieter een vrouw is, zelfs als de robot in zijn trainingsboeken vooral mannelijke loodgieters heeft gezien.

Dit artikel stelt een simpele vraag: Luistert de robot echt naar het woord "Zij", of negeert hij het gewoon en blijft hij vastzitten aan zijn oude gewoontes?

De onderzoekers bouwden een versie van een beroemd AI-model (genaamd BERT) vanaf nul, maar in plaats van Engels, leerden ze het Nederlands. Nederlands is een lastige taal omdat het een mix heeft van geslachtsgebonden woorden (zoals "hij" en "zij") en neutrale woorden die vroeger mannelijk waren, maar nu voor iedereen worden gebruikt.

Het Experiment: De "Loodgieter"-test

Om de robot te testen, zetten de onderzoekers een spel op met zinspatronen. Ze gaven de robot zinnen zoals:

"Hij is een verpleger." (Dit past bij het stereotype: mannen zijn zelden verplegers).
"Zij is een loodgieter." (Dit breekt het stereotype: vrouwen zijn zelden loodgieters).

Vervolgens vroegen ze de robot: "Op basis van het woord 'loodgieter' of 'verpleger' in deze zin, denk je dat deze persoon mannelijk of vrouwelijk is?"

Ze maten dit door te kijken naar het "brein" van de robot (zijn interne wiskunde) om te zien aan welke kant van een genderschaal het woord belandde.

Belangrijkste Bevindingen: Wat Ze Ontdekten

1. De Robot Leert Geslacht Snel, Maar Blijft Steken

De onderzoekers zagen hoe de robot in de loop van de tijd leerde. Ze ontdekten dat de robot zeer snel begreep hoe hij "mannelijk" van "vrouwelijk" moest onderscheiden (rond de 20e dag van training). Eenmaal dit geleerd, werd hij er heel goed in.

De Analogie: Stel je een student voor die op dag één het verschil leert tussen "katten" en "honden". Op dag 20 kunnen ze een kat of hond direct herkennen. Maar hier is het probleem: de robot leerde ze te herkennen op basis van wat hij meestal ziet, niet op basis van wat er nu echt voor hem staat.

2. De "Mannelijke" Standaard is Overal

De onderzoekers ontdekten dat het begrip van de robot voor "mannelijk" lijkt op een brede, comfortabele deken die bijna alles bedekt. Het begrip voor "vrouwelijk" is als een specifiek, smal schijnwerperlicht.

Mannelijk: De robot verspreidt het idee van "mannelijk" over vele verschillende delen van zijn brein. Het is de "standaard" instelling.
Vrouwelijk: De robot gebruikt slechts een paar specifieke delen van zijn brein om "vrouwelijk" te identificeren.

Het Resultaat: Wanneer de robot in de war raakt, grijpt hij terug naar de "deken" (Mannelijk). Zelfs als je hem vertelt "Zij is een loodgieter", zegt de interne wiskunde van de robot vaak nog steeds "Loodgieter = Mannelijk", omdat dat de brede, comfortabele standaard is die hij uit de boeken heeft geleerd.

3. De Robot Negeert het "Zij"

Dit is het meest verrassende deel. De robot zou "contextueel" moeten zijn, wat betekent dat hij zijn mening moet aanpassen op basis van de zin.

Als de zin zegt "Zij is een loodgieter", zou de robot moeten denken "Vrouwelijk".
Wat er echt gebeurde: De robot negeerde het woord "Zij" grotendeels. Hij keek naar het woord "loodgieter", herinnerde zich dat loodgieters meestal mannen zijn in zijn trainingsdata, en bleef bij dat antwoord.

De Analogie: Stel je voor dat je op een feestje bent. Je ziet een persoon met een chef-kokpet (stereotype: mannelijke chef-kok). Je vriend wijst en zegt: "Dat is mijn zus, zij is de chef!" (Expliciete aanwijzing: vrouwelijk).

Een mens zou zeggen: "Oh, ik zie het, zij is de chef."
Deze robot zou zeggen: "Nee, het petje zegt chef, en chefs zijn mannen. Ik negeer je vriend."

4. Het Enige Wat Werkt: De "Achtervoegsel"-truc

De onderzoekers vonden één ding dat de robot wel dwong zijn mening te wijzigen: Morfologie (de vorm van het woord).

In het Nederlands kun je een speciale uitgang toevoegen aan een beroepsnaam om deze expliciet vrouwelijk te maken (zoals "-ster" toevoegen om "verpleger" te maken tot "vrouwelijke verpleegster").

Als de zin was "Zij is een verpleegster", identificeerde de robot haar correct als vrouwelijk.
Als de zin was "Zij is een verpleger" (neutraal/mannelijk verpleger), negeerde de robot het "Zij" en ging hij ervan uit dat de verpleger mannelijk was.

De Analogie: De robot is als een persoon die alleen luistert naar het uniform dat iemand draagt, niet naar het naamplaatje dat ze vasthouden. Als het uniform "Mannelijke Verpleger" zegt, gelooft de robot dat, zelfs als het naamplaatje "Zij" zegt. Maar als het uniform een speciaal "Vrouwelijk" badge heeft (het achtervoegsel), dan besteedt de robot eindelijk aandacht.

De Conclusie: Waarom Dit Belangrijk Is

Het artikel concludeert dat dit AI-model niet zo "slim" of "flexibel" is als we hopen. We gaan ervan uit dat omdat het de hele zin bekijkt, het stereotypen kan overstijgen. Maar deze studie toont aan dat de interne gewoontes van de robot sterker zijn dan de directe context.

De "Mannelijke" standaard is zo sterk dat zelfs expliciete woorden als "Zij" het niet altijd kunnen doorbreken.
De robot vertrouwt op oppervlakkige aanwijzingen (zoals woorduitgangen) in plaats van op diep begrip (zoals waarover de zin gaat).

Kortom: De robot heeft de statistieken van de wereld (loodgieters zijn meestal mannen) zo goed geleerd dat hij ophield te luisteren naar het specifieke verhaal dat in de zin wordt verteld (deze specifieke loodgieter is een vrouw). Het is een robot die de regels van het spel kent, maar niet kan meespelen wanneer de regels voor zijn neus veranderen.

Technische Samenvatting: "Is Ze Zelfs Relevant? Wanneer BERT Expliciete Genderhints Negeert"

Probleemstelling
Hoewel genderbias in Large Language Models (LLM's) voor het Engels uitvoerig is onderzocht, blijven talen met grammaticale of morfologische gender vergelijkbaar onderbestudeerd. Deze lacune is kritiek, omdat grammaticale structuren de meting van sociale stereotypen kunnen verbergen of vervormen. Het artikel richt zich op het Nederlands, een taal die een tussenpositie inneemt tussen volledig gegenderde systemen (zoals het Duits) en grotendeels genderloze systemen (zoals het Engels). Het Nederlands vertoont een spanning tussen "neutralisatie" (waarbij historisch mannelijke, morfologisch ongemarkeerde vormen als generieke termen fungeren) en "feminisering" (waarbij expliciet vrouwelijke vormen via achtervoegsels worden afgeleid). De auteurs onderzoeken hoe een Nederlands BERT-model, dat vanaf nul is getraind, genderinformatie codeert en of expliciete contextuele hints (bijvoorbeeld het voornaamwoord zij met de betekenis "ze") de geleerde statistische associaties (bijvoorbeeld loodgieter $\rightarrow$ mannelijk) binnen de interne representaties van het model kunnen overrulen.

Methodologie
De studie maakt gebruik van een analyse op checkpoint-niveau van een Nederlands BERT-model dat volledig vanaf nul is getraind op het SoNaR-500-corpus (boekensubset, $\approx$ 26 miljoen woorden). De methodologie integreert statische subspace-projectietechnieken met gecontroleerde zinsjablonen om de evolutie van bias tijdens het trainen te traceren.

Modeltraining: Een BERT-model wordt vanaf nul getraind voor 100 epochs. Intermediere checkpoints worden opgeslagen om het ontstaan van genderrepresentaties in de tijd te volgen.
Constructie van Gender-Subspace: Bij elke checkpoint wordt een lineaire Support Vector Machine (SVM) getraind op contextuele embeddings van 60 eenduidige gegenderde woordparen (bijvoorbeeld man versus vrouw) om een dynamische genderas af te leiden. De auteurs vermijden dubbelzinnige voornaamwoorden (zoals zij, wat "ze" of "zij" kan betekenen) om ervoor te zorgen dat de subspace duidelijke genderonderscheidingen weerspiegelt.
Bias-evaluatie: De auteurs projecteren embeddings van beroepstermen uit gecontroleerde zinsjablonen op de geleerde gender-subspaces. De sjabloonstructuur is [DOEL] is een [ATTRIBUUT] (bijvoorbeeld "Zij is een loodgieter").
- Variabelen: De studie varieert systematisch de doel-gender (mannelijk/vrouwelijk), de morfologische markering van het attribuut (neutraal/ongemarkeerd versus vrouwelijk-achtervoegsel) en de stereotiepe uitlijning (pro-stereotiep versus anti-stereotiep op basis van arbeidsmarktstatistieken).
- Maatstaf: De nauwkeurigheid wordt gemeten door te controleren of de geprojecteerde beroepsembedding uitlijnt met de gender die door de zinscontext (het doel) wordt gespecificeerd, in plaats van met de standaard statistische associatie van het model.

Belangrijkste Resultaten
De analyse levert vier primaire bevindingen op over de vorming en het gedrag van genderrepresentaties:

Ontstaan van Lineaire Scheidbaarheid: Genderinformatie wordt rond epoch 20 duidelijk lineair scheidbaar in de embedding-ruimte. Hoewel de nauwkeurigheid gestaag stijgt, plateauert deze net boven 0,92, wat aangeeft dat gender een stabiel kenmerk is van de geleerde representaties vroeg in het trainingsproces.
Verdeling van Genderinformatie: In tegenstelling tot het idee van een enkele "gender-eenheid", is genderinformatie verdeeld over meerdere embedding-dimensies. De verdeling is echter asymmetrisch:
- Mannelijke representaties zijn diffuus gecodeerd over vele dimensies en fungeren als een robuuste, ongemarkeerde standaard.
- Vrouwelijke representaties zijn geconcentreerd in een kleinere, specifiekere subset van dimensies.
Falen van Contextuele Overruling: Expliciete contextuele hints slagen er vaak niet in om geleerde priors te overrulen. In anti-stereotiepe contexten (bijvoorbeeld "Zij is een loodgieter") blijft de interne representatie van het beroep in het model significant vaker uitgelijnd met het stereotiepe mannelijke geslacht dan met de contextuele vrouwelijke hint. Stereotiepe koppelingen worden voorspeld met 82,5% nauwkeurigheid, terwijl anti-stereotiepe koppelingen dalen tot 43,7%.
Dominantie van Morfologische Markeringen: Het model vertrouwt zwaar op oppervlakkige morfologische hints in plaats van contextuele informatie te integreren. Wanneer een beroep een expliciet vrouwelijk achtervoegsel heeft (bijvoorbeeld verpleegster), uitlijnt de representatie met hoge nauwkeurigheid (83% in anti-stereotiepe contexten) met de vrouwelijke subspace. Wanneer het attribuut echter morfologisch neutraal is (bijvoorbeeld verpleger), kiest het model voor de mannelijke interpretatie, zelfs wanneer het onderwerp expliciet vrouwelijk is.

Belangrijkste Bijdragen

Analyse op Checkpoint-niveau: Dit werk biedt een van de eerste gecontroleerde, op checkpoints gebaseerde onderzoeken naar hoe genderinformatie ontstaat in een Transformer-gebaseerde architectuur, en breidt eerder werk over recurrente modellen (LSTM's) uit naar moderne BERT-modellen.
Contextuele Subspace-projectie: De auteurs passen projectie-gebaseerde subspace-analyse aan voor een contextuele setting, combineren dit met gecontroleerde zinsjablonen om direct de interactie tussen expliciete genderhints en geleerde genderconnotaties te meten.
Inzichten in Morfologische Gender: Door het gebruik van het Nederlands toont de studie aan dat zelfs sterke, expliciete vrouwelijke hints (voornaamwoorden) kunnen worden overruld door stereotiepe standaarden wanneer de beroepsterm morfologisch ongemarkeerd is. Dit benadrukt de specifieke uitdagingen van bias in talen waar grammaticale gender en sociale stereotypen complex met elkaar interageren.
Mechanistische Baseline: De bevindingen stellen een baseline vast voor het begrijpen hoe structurele genderbias zich vormt en stabiliseert, en suggereren dat "contextualisering" in deze modellen niet dynamisch genoeg is langs de genderrichting om expliciete hints in anti-stereotiepe scenario's betrouwbaar te weerspiegelen.

Betekenis en Claims
Het artikel claimt dat de resultaten de aanname uitdagen dat contextuele embeddings lokaal hints robuust integreren om woordrepresentaties aan te passen. In plaats daarvan betogen de auteurs dat voor het Nederlands BERT-model contextuele hints vaak in de schaduw worden gesteld door interne priors en morfologische markeringen. Het "mannelijke-standaard" gedrag blijft bestaan omdat de ongemarkeerde, historisch mannelijke vormen als generieke termen fungeren in de trainingsdata, waardoor een structureel voordeel ontstaat voor mannelijk gecodeerde representaties.

De auteurs concluderen dat het model, hoewel het leert gender te onderscheiden, dit doet op een manier die bestaande asymmetrieën versterkt: mannelijk is de diffuse standaard, terwijl vrouwelijk een gemarkeerd, geconcentreerd signaal is dat expliciete morfologische achtervoegsels vereist om betrouwbaar te worden gecodeerd. Bijgevolg kunnen toepassingen die vertrouwen op deze representaties (zoals vertaling of coreferentie-oplossing) genderstereotypen reproduceren, zelfs wanneer de input ze expliciet tegenspreekt. Het artikel merkt bescheiden op dat deze conclusies beperkt zijn tot het representatieniveau dat door de probes wordt vastgelegd en niet direct de prestaties van downstream-taken meten, maar ze bieden kritiek inzicht in de mechanismen van biasvorming in meertalige NLP.