💬 NLP

Gender Disambiguation in Machine Translation: Diagnostic Evaluation in Decoder-Only Architectures

Dit onderzoek introduceert de nieuwe maatstaf 'Prior Bias' om geslachtsvooroordeel in decoder-only machine translation te diagnosticeren en toont aan dat instructietuning de mannelijke bias vermindert, hoewel deze architecturen op geslachtsgebonden metrics niet beter presteren dan encoder-decoder-modellen.

Oorspronkelijke auteurs: Chiara Manna, Hosein Mohebbi, Afra Alishahi, Frédéric Blain, Eva Vanmassenhove

Gepubliceerd 2026-03-19

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Chiara Manna, Hosein Mohebbi, Afra Alishahi, Frédéric Blain, Eva Vanmassenhove

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

🤖 De Vertaalrobot die "Man" zegt als hij "Vrouw" moet zeggen

Stel je voor dat je een superintelligente vertaalrobot hebt. Deze robot is getraind op een enorme berg boeken, nieuwsberichten en internetteksten. Hij kan bijna elke taal vertalen, maar hij heeft een klein, vervelend mankement: hij is een beetje vooroordeels.

In deze studie kijken onderzoekers van de Tilburgse Universiteit naar hoe deze robots omgaan met geslacht (man/vrouw) tijdens het vertalen.

1. Het Probleem: De "Standaard-instelling"

In het Engels is geslacht vaak makkelijk te zien aan woorden als he (hij) of she (zij). Maar in talen zoals het Italiaans of Duits moet je het geslacht van beroepen (zoals kook of boer) vaak aanpassen aan het woord dat ervoor staat.

De robot heeft een ingebouwde "standaard-instelling". Als hij niet zeker weet wie hij vertaalt, of als hij even niet goed luistert, kiest hij automatisch voor mannelijk.

Voorbeeld: Als er staat: "De kok (vrouw) heeft soep gemaakt omdat zij hielp..."
Fout van de robot: Hij vertaalt het woord voor kok vaak als il cuoco (man), zelfs als het woordje zij (she) er duidelijk staat. Hij negeert de aanwijzing en kiest voor zijn favoriete, oude instelling: "Alles is man, tenzij anders bewezen."

2. De Nieuwe Test: De "Vooroordeel-Test"

Vroeger keken onderzoekers alleen of de robot de juiste vertaling gaf. Maar dat vertelt niet waarom hij het goed deed. Misschien had hij gewoon geluk of volgde hij een stereotiep patroon (bijv. "verpleegster = vrouw").

De onderzoekers hebben nu twee nieuwe manieren bedacht om de robot te testen, alsof je een psycholoog bent die een patiënt interviewt:

De "Minimale Paar"-test (Luistert hij echt?):
Je geeft de robot twee bijna identieke zinnen.
1. "De kapper (man) hielp hem."
2. "De kapper (vrouw) hielp haar."
  Als de robot in beide gevallen het juiste geslacht kiest, luistert hij echt. Kiest hij in beide gevallen voor "man", dan luistert hij niet; hij gunt gewoon.
De "Vooroordeel-Test" (Prior Bias):
Dit is de nieuwe uitvinding van dit onderzoek. Ze geven de robot een zin zonder geslachtsaanduiding, bijvoorbeeld: "De kapper hielp hen." (gebruik van 'hen/ze' in het Engels).
Als de robot hier toch kiest voor "man", dan weten we: De robot heeft een voorkeur voor mannen. Hij heeft een "standaard-instelling" die hij niet loslaat.

3. De Experimenten: Oude vs. Nieuwe Robots

De onderzoekers testten verschillende soorten robots:

De Oude Stijl (Encoder-Decoder): De klassieke vertaalrobots.
De Nieuwe Stijl (Decoder-Only LLMs): De moderne, grote AI-modellen (zoals Llama) die nu populair zijn.

Wat vonden ze?

Groot is niet altijd beter: De nieuwe, enorme AI-modellen waren niet automatisch beter in het vermijden van deze vooroordelen dan de oudere modellen. Ze maakten net zo vaak de fout om "man" te zeggen als "vrouw" bedoeld werd.
De "Leerkracht" maakt het verschil: Er was echter een grote uitzondering. De modellen die extra getraind waren met instructies (zoals een leerkracht die zegt: "Luister goed naar de aanwijzingen in de zin!"), deden het veel beter.
- Deze "geïnstrueerde" robots luisterden beter naar de aanwijzingen (zoals zij of hij).
- Ze hadden minder last van de "standaard-instelling" om alles mannelijk te maken.

4. Hoe werkt het van binnen? (De "Aandacht"-test)

De onderzoekers keken ook naar hoe de robot "dacht". Ze keken naar welke woorden de robot "aandacht" gaf.

Het bleek dat de robot vaak wel zag dat er een woordje zij in de zin stond, maar dat hij het negeerde omdat zijn interne instelling zo sterk was.
Pas na de extra training (de instructies) begon de robot echt naar die aanwijzingen te kijken en zijn "standaard-instelling" te negeren.

5. Conclusie: Wat leren we hieruit?

De boodschap van dit onderzoek is tweeledig:

Wees niet te enthousiast over de nieuwe AI: Alleen omdat een AI-model heel groot en modern is, betekent niet dat hij eerlijker of minder vooroordeels is. Hij kan net zo makkelijk in oude patronen (man = normaal) vervallen.
Training is key: Als je deze modellen extra traint om goed te luisteren naar de context (instructie-tuning), kunnen ze hun vooroordelen verminderen. Het is alsof je de robot leert: "Kijk niet alleen naar je eigen ideeën, maar kijk ook naar wat er echt in de zin staat."

Kortom: De moderne vertaalrobots zijn slim, maar ze hebben nog steeds een "mannelijke bril" op. Met de juiste training kunnen we die bril afzetten en zorgen dat ze eerlijk vertalen, of het nu een man, een vrouw of iemand anders is.

Probleemstelling

Ondanks de opmerkelijke prestaties van Large Language Models (LLM's) in Machine Vertaling (MT), vertonen ze systematische biases, met name op het gebied van gender. Dit probleem is acuut bij het vertalen van talen met weinig gendermarkering (zoals het Engels, waar gender voornamelijk via voornaamwoorden wordt uitgedrukt) naar taalkundig rijkere talen (zoals het Italiaans of Duits), waar gender over meerdere woordsoorten moet worden uitgedrukt (congruentie).

Bestaande benchmarks en evaluatiemethoden zijn vaak te oppervlakkig. Ze meten alleen of de geslachtsaanduiding in de vertaling overeenkomt met de bron, maar geven geen inzicht in hoe het model tot die beslissing komt. Modellen negeren vaak contextuele aanwijzingen (zoals 'he' of 'she') en grijpen terug op stereotiepe associaties of een standaard "mannelijke" voorkeur (prior bias). Met de verschuiving van traditionele encoder-decoder architecturen naar decoder-only LLM's (zoals Llama en Tower), is het noodzakelijk om te onderzoeken of deze nieuwe architecturen dit probleem beter oplossen of juist verergeren.

Methodologie

De auteurs breiden een bestaand evaluatiekader uit (Manna et al., 2025) en passen dit toe op decoder-only modellen. De experimenten zijn als volgt opgezet:

Modellen: Er worden drie decoder-only modellen van dezelfde grootte (7B parameters) vergeleken:
- Llama2: Een algemeen voorgetraind model (baseline).
- TowerBase: Een variant van Llama2 die is doorgetraind op monolinguale en parallelle corpora (MT-specifiek).
- TowerInstruct: TowerBase dat is verfijnd via instructie-tuning (instruction tuning) op vertaaltaken.
- Vergelijking: De resultaten worden vergeleken met eerdere encoder-decoder systemen (zoals OPUS-MT, NLLB, mBART).
Data: Het gebruikte dataset is WinoMT, aangevuld met een nieuw Neutraal Set.
- WinoMT: Bevat zinnen met een beroepsnaam en een geslachtsvoornaamwoord (he/she) als gouden standaard.
- Neutraal Set: Een geneutraliseerde versie van WinoMT waarbij geslachtsvoornaamwoorden zijn vervangen door 'they/them' en werkwoorden/bijvoeglijke naamwoorden zijn aangepast. Dit elimineert expliciete aanwijzingen om de inherente voorkeur van het model te meten.
Evaluatiemetrics:
- Standaard Gender Accuracy: Meet hoe vaak de vertaling overeenkomt met de bron.
- Minimal Pair Accuracy (MPA): Een striktere metric die alleen "beloont" als het model de vertaling correct aanpast bij het wisselen van het voornaamwoord (he $\leftrightarrow$ she) in een minimale paar. Dit onderscheidt contextgevoeligheid van stereotiepe gokken.
- Prior Bias (Nieuw): Een nieuwe metric die de verdeling van mannelijke vs. vrouwelijke vormen meet in het Neutraal Set. Het kwantificeert de standaardvoorkeur van het model bij afwezigheid van context.
Interne Analyse: Naast output-metrics wordt er een attention-based analyse uitgevoerd. Hierbij wordt gekeken naar de zelf-attentie (self-attention) van het model om te zien of en waar het model aandacht besteedt aan de gender-aanduiding in de bronzin tijdens het genereren van het doelwoord.

Belangrijkste Bijdragen

Introductie van "Prior Bias": Een nieuwe maatstaf om de inherente gendervoorkeur van een model te kwantificeren wanneer er geen expliciete aanwijzingen zijn.
Toepassing op Decoder-Only Architecturen: Het is de eerste studie die deze diagnostische frameworks systematisch toepast op moderne decoder-only LLM's in plaats van traditionele encoder-decoder modellen.
Diagnostisch Kader: Het koppelen van output-metrics (MPA en Prior Bias) met interne attention-patronen om niet alleen te zien dat een fout optreedt, maar ook waarom (bijv. gebrek aan contextintegratie vs. sterke stereotiepe prior).

Resultaten

De resultaten tonen een complex beeld van de prestaties van decoder-only modellen:

Prestaties t.o.v. Encoder-Decoder: Decoder-only modellen presteren over het algemeen niet beter dan traditionele encoder-decoder systemen op gender-specifieke metrics, ondanks hun grotere schaal en geavanceerde architectuur.
Invloed van Post-Training:
- Continued Pretraining (TowerBase): Brengt weinig verbetering voor genderdisambiguatie ten opzichte van de basis (Llama2). In sommige gevallen (anti-stereotiepe gevallen) presteert het zelfs slechter.
- Instruction Tuning (TowerInstruct): Toont aanzienlijke verbeteringen. Het model integreert contextuele aanwijzingen beter (hogere MPA) en de nauwkeurigheid voor vrouwelijke referenten stijgt sterk (van ~23% naar ~52%).
Prior Bias: Zowel Llama2 als TowerBase vertonen een sterke mannelijke prior bias (~85% mannelijke vormen in het Neutraal Set). Instruction tuning (TowerInstruct) vermindert deze bias aanzienlijk (naar ~75% mannelijk, wat betekent dat er meer vrouwelijke vormen worden gegenereerd), hoewel een mannelijke voorkeur dominant blijft.
Attention Patronen: De attention-analyse toont aan dat instruction tuning leidt tot sterkere en meer gerichte aandacht voor vrouwelijke voornaamwoorden in de middenlagen van het netwerk. Dit suggereert dat het model leert om de mannelijke standaard te overwinnen door contextuele signalen effectiever te gebruiken.
Trade-off: De verbetering bij TowerInstruct gaat gepaard met een lichte daling in prestaties voor mannelijke referenten, wat wijst op een herverdeling van de bias in plaats van een uniforme verbetering.

Betekenis en Conclusie

De studie concludeert dat de schaal en het type architectuur (decoder-only) op zich geen garantie zijn voor het oplossen van genderbias in machine vertaling. De sleutel tot verbetering ligt in post-training strategieën, en specifiek instruction tuning.

Diagnostische waarde: Het nieuwe kader (MPA + Prior Bias) maakt het mogelijk om onderscheid te maken tussen fouten door het negeren van context en fouten door een inherente bias.
Toekomstperspectief: Instruction tuning biedt een veelbelovende route om modellen contextbewuster te maken en stereotiepe bias te verminderen, zonder dat er complexe data-augmentatie nodig is. Dit is cruciaal gezien de moeilijkheid om volledig onbevooroordeelde trainingsdata te garanderen voor grote modellen.
Beperkingen: De studie blijft beperkt tot een binair genderconcept (man/vrouw) en gebruikt geautomatiseerde pipelines die enige ruis introduceren. Toekomstig werk moet zich richten op niet-binair gender en causale interpretatie van de beslissingsprocessen.

Samenvattend biedt dit onderzoek een scherp diagnostisch instrument om de "black box" van moderne vertaalmodellen te doorgronden en onderstreept het dat bewust ontworpen post-training (zoals instructie-tuning) essentieel is voor het creëren van eerlijkere en contextbewustere vertaalsystemen.