Gender Bias in MT for a Genderless Language: New Benchmarks for Basque

Dit onderzoek introduceert twee nieuwe benchmarks om genderbias in machinevertalingen voor het genderneutrale Baskisch te evalueren, waarbij wordt aangetoond dat modellen systematisch de voorkeur geven aan mannelijke vormen en dat er behoefte is aan evaluatiemethoden die zowel linguïstische als culturele context in acht nemen.

De kern

Hoe vertaalmachines de 'neutrale' taal van het Baskisch verdraaien: Een verhaal over vooroordelen

Stel je voor dat je een vertaalmachine hebt die werkt als een zeer slimme, maar soms vooroordeelachtige kok. Deze kok heeft geleerd door miljoenen recepten (teksten) van het internet te eten. Het probleem? De meeste recepten zijn geschreven in talen zoals het Spaans of het Engels, waar woorden voor beroepen vaak een geslacht hebben: een verpleger is mannelijk, een verpleegster is vrouwelijk.

Nu komt er een nieuwe gast: het Baskisch. Het Baskisch is een unieke taal (gesproken in een deel van Spanje en Frankrijk) die geen geslacht kent. In het Baskisch is een verpleger gewoon een verpleger, ongeacht of het een man of een vrouw is. Het woord is neutraal.

De vraag die deze onderzoekers zich stellen, is: Wat doet onze 'kok' als hij een neutraal Baskisch woord moet vertalen naar een taal met geslachten? Kiest hij willekeurig, of volgt hij oude, vooroordelende patronen?

Hier is wat ze hebben ontdekt, vertaald in alledaags taalgebruik:

1. De Twee Nieuwe Speelplaatsen (De Datasets)

Omdat er geen goede tests waren voor het Baskisch, hebben de onderzoekers twee nieuwe 'speelplaatsen' (datasets) gebouwd om de machines te testen.

• De 'WinoMTeus' Speelplaats (Van Neutraal naar Geslacht):
  Stel je een raadsel voor: "De monteur belde de verpleegster omdat zij haar been had gebroken." In het Baskisch zijn 'monteur' en 'verpleegster' neutrale woorden. Als je dit naar het Spaans vertaalt, moet de machine kiezen: El mecánico (man) of La mecánica (vrouw)?
  De onderzoekers hebben gekeken of de machine kiest voor de mannelijke vorm, zelfs als het beroep in de echte wereld (in het Baskische land) bijna 100% door vrouwen wordt uitgeoefend (zoals een huishoudster).
  Het resultaat: De machines zijn als een ouderwetse man die denkt dat "monteur" altijd een man is en "verpleegster" altijd een vrouw is. Zelfs als de statistieken zeggen dat 96% van de huishoudsters vrouwen zijn, vertaalt de machine het vaak als een mannelijke huisman. Ze kiezen automatisch voor het "standaard" mannelijke woord, alsof dat de norm is.

• De 'FLORES+Gender' Speelplaats (Van Geslacht naar Neutraal):
  Hier draait het om de andere kant. De machine krijgt een zin in het Spaans of Engels met een duidelijk mannelijk of vrouwelijk woord (bijv. de bestuurder vs. de bestuurster) en moet dit vertalen naar het neutrale Baskisch.
  Het resultaat: De onderzoekers keken of de vertaling beter of slechter was als het oorspronkelijke woord mannelijk was. Het bleek dat sommige machines ietsje beter presteerden als het woord mannelijk was. Alsof de machine denkt: "Ah, dit is een mannelijke zin, die ken ik wel, die vertaal ik makkelijker."

2. De Grote Ontdekking: De "Mannelijke Standaard"

De belangrijkste conclusie van het onderzoek is dat alle geteste systemen (van de grote, bekende vertaalsites tot de nieuwste AI-modellen) een voorkeur hebben voor het mannelijke geslacht.

• De Analogie van de Standaardkleding: Stel je voor dat de machine een kledingwinkel is. Als je vraagt om een "kledingstuk" (een neutraal beroep), hangt de machine altijd een herenpak op. Zelfs als je zegt: "Dit is voor een vrouwelijke verpleegster", hangt hij soms toch nog steeds een herenpak op, of hij maakt er een onduidelijk pak van.
• De Realiteit: In de echte wereld zijn veel beroepen (zoals verpleging, kapper, receptie) vaak vrouwelijk. Maar de AI ziet dit niet als de norm. Voor de AI is "man" de standaard, en "vrouw" is een afwijking die extra aandacht nodig heeft.

3. Waarom is dit belangrijk?

Je zou kunnen denken: "Ach, het is maar een vertaalspelletje." Maar dit is gevaarlijk.

• Onzichtbaarheid: Als een vertaalsysteem altijd zegt dat een monteur een man is, wordt de vrouwelijke monteur onzichtbaar gemaakt in de digitale wereld.
• Versterking van Stereotypen: Als AI-systemen deze vooroordelen blijven gebruiken, versterken ze het idee dat bepaalde beroepen "voor mannen" of "voor vrouwen" zijn, wat niet klopt met de werkelijkheid.
• Taal is Macht: Omdat het Baskisch geen geslacht heeft, is het een perfecte testomgeving. Als de machine hier al vooroordelen toont, betekent dit dat de vooroordelen diep in het "brein" van de AI zitten, niet alleen in de grammatica.

Samenvatting in één zin

Deze onderzoekers hebben bewezen dat onze slimme vertaalmachines, net als veel mensen in het verleden, automatisch denken dat "standaard" gelijkstaat aan "mannelijk", en ze hebben nieuwe tools bedacht om dit vooroordeel in het Baskisch te meten en hopelijk in de toekomst te verbeteren.

Het is een oproep aan de ontwikkelaars: Leer de machines dat een "verpleger" net zo goed een vrouw kan zijn, en dat "man" niet de enige standaard is.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het artikel "Gender Bias in MT for a Genderless Language: New Benchmarks for Basque", geschreven in het Nederlands.

Probleemstelling

Grote taalmodellen (LLMs) en machinevertalingssystemen (MT) worden steeds vaker gebruikt, maar ze reproduceren vaak genderbias die aanwezig is in de trainingsdata. De meeste bestaande bronnen voor het evalueren van deze bias zijn ontworpen voor het Engels en weerspiegelen de socioculturele context van Engelstalige gemeenschappen. Dit beperkt de toepasbaarheid op andere talen, vooral op talen die geen grammaticaal geslacht hebben (zoals het Baskisch).

In talen zonder grammaticaal geslacht ontbreken expliciete grammaticale markers (zoals geslachtsgebonden voornaamwoorden), waardoor traditionele evaluatiemethoden, die vaak vertrouwen op deze markers, niet direct toepasbaar zijn. Hierdoor blijft het Baskisch, als een taal met weinig bronnen (low-resource) en zonder grammaticaal geslacht, ondervertegenwoordigd in bias-onderzoek. Het artikel stelt dat bias niet alleen door grammatica, maar ook door lexische keuzes en sociale stereotypen wordt overgedragen, zelfs in genderneutrale talen.

Methodologie

De auteurs introduceren twee nieuwe datasets om genderbias in vertalingen met het Baskisch te evalueren, gericht op twee verschillende vertaalrichtingen:

1. WinoMTeus (Van Baskisch naar geslachtsgebonden talen):

   • Doel: Onderzoeken hoe genderneutrale beroepen in het Baskisch worden vertaald naar geslachtsgebonden talen (Spaans en Frans).
   • Opbouw: Een adaptatie van het WinoMT-benchmark. De dataset bevat 1.827 zinnen in het Baskisch met genderneutrale beroepsvermeldingen.
   • Proces: De oorspronkelijke Engelse dataset is vertaald naar het Baskisch, nagelezen (post-editing) en cultureel aangepast (bijv. valuta, telefoonnummers).
   • Evaluatie: De vertalingen naar Spaans en Frans worden geanalyseerd op geslachtsaanduiding (via lidwoorden en morfologische eindes). De verdeling van mannelijke vs. vrouwelijke vertalingen wordt vergeleken met officiële arbeidsstatistieken uit het Baskische land (Lanbide) om te zien of de modellen realistische verdelingen weergeven of stereotypen versterken.

2. FLORES+Gender (Van geslachtsgebonden talen naar Baskisch):

   • Doel: Onderzoeken of de vertaalkwaliteit varieert afhankelijk van het geslacht van het referent in de brontekst (Spaans en Engels) bij vertaling naar het Baskisch.
   • Opbouw: Gebaseerd op het FLORES+-benchmark. Er zijn contrastieve paren gemaakt: zinnen met mannelijke en zinnen met vrouwelijke referenten (bijv. vervanging van namen of aanpassing van geslachtsgebonden bijvoeglijke naamwoorden).
   • Annotatie: De dataset is handmatig geannoteerd voor factoren zoals meerdere geslachtsgebonden entiteiten (ME), eigennamen (PN) en het gebruik van het ongemarkeerde mannelijke geslacht (UM).
   • Evaluatie: Vertaalkwaliteit wordt gemeten met automatische metrics (chrF++ en TER) en statistische significantie wordt getest met gepaarde randomisatietesten.

Geëvalueerde Modellen:
De studie testte een breed scala aan systemen, waaronder:

• Algemene LLM's: Latxa (8B/70B), Llama 3.1, GPT-5, Claude Sonnet 4, DeepSeek-V3.2.
• Open NMT-modellen: MADLAD-400, NLLB-200, HiTZ Center modellen.
• Propriëtaire diensten: Google Translate, Elia, Batua, Itzuli.

Belangrijkste Bijdragen

1. WinoMTeus: De eerste dataset die specifiek is ontworpen om genderbias te meten bij het vertalen van een genderloze taal naar geslachtsgebonden talen, met een directe koppeling aan real-world arbeidsstatistieken.
2. FLORES+Gender: Een uitbreiding van het FLORES+-benchmark met gecontroleerde contrastieve paren voor Spaans-Baskisch en Engels-Baskisch, inclusief gedetailleerde linguïstische annotaties.
3. Multidirectionele Analyse: Het biedt een compleet kader voor bias-evaluatie in beide richtingen (naar en van een genderloze taal), wat eerder ontbrak voor het Baskisch.

Resultaten

• Systematische Mannelijke Bias (WinoMTeus):

  • Alle geëvalueerde modellen tonen een systematische voorkeur voor mannelijke vormen bij het vertalen van genderneutrale beroepen.
  • Zelfs beroepen die in de realiteit sterk vrouwelijk zijn (zoals huishoudster, 96,5% vrouwelijk in het Baskische land), worden vaak mannelijk vertaald.
  • Er is een matige positieve correlatie tussen de modeloutput en de werkelijke arbeidsstatistieken (vooral bij gespecialiseerde vertaalmodellen zoals NLLB-200 en GPT-5), maar de modellen neigen toch naar de "ongemarkeerde" mannelijke standaard.
  • Modellen die specifiek zijn aangepast aan het Baskisch (zoals Latxa) presteren beter in het afstemmen op real-world verdelingen dan generieke modellen.

• Vertaalkwaliteit en Geslacht (FLORES+Gender):

  • De resultaten zijn minder eenduidig dan bij de bias-meting. Over het algemeen is het verschil in vertaalkwaliteit tussen mannelijke en vrouwelijke zinnen klein en vaak niet statistisch significant.
  • Spaans-Baskisch: Sommige modellen (zoals Batua) vertalen mannelijke zinnen iets beter dan vrouwelijke, wat mogelijk samenhangt met de frequentie van het ongemarkeerde mannelijke geslacht in de trainingsdata.
  • Engels-Baskisch: Er is geen consistent patroon; sommige modellen presteren iets beter met vrouwelijke zinnen, anderen met mannelijke eigennamen.
  • Factoren zoals het gebruik van eigennamen of meerdere entiteiten hebben een variabele invloed op de prestaties, afhankelijk van het specifieke model.

Betekenis en Conclusie

Dit onderzoek benadrukt dat genderbias diep verankerd blijft in taalmodellen, zelfs wanneer de brontaal (Baskisch) geen grammaticaal geslacht kent. De systemen neigen er automatisch toe om de "standaard" (mannelijk) te kiezen, wat leidt tot een ondervertegenwoordiging van vrouwen in vertalingen van beroepen.

De studie concludeert dat:

1. Bias-evaluatie niet beperkt kan blijven tot Engels; er zijn specifieke methoden nodig voor talen zonder grammaticaal geslacht.
2. Vertalingen van genderloze naar geslachtsgebonden talen een krachtige tool zijn om verborgen voorkeuren in modellen bloot te leggen.
3. Hoewel sommige modellen de realiteit enigszins nabootsen, versterken ze vaak nog steeds bestaande stereotypen door de voorkeur voor mannelijke vormen.

De auteurs pleiten voor de ontwikkeling van evaluatiemethoden die zowel linguïstische kenmerken als de culturele context in acht nemen om eerlijkere taaltechnologieën te bouwen.