What Triggers my Model? Contrastive Explanations Inform Gender Choices by Translation Models

Deze studie onderzoekt welke bronwoorden vertaalmodellen triggeren bij het kiezen van een geslachtsinflectie in het Duits of Spaans, en toont aan dat de door contrastieve uitleg geïdentificeerde saliente woorden overeenkomen met menselijke percepties, wat essentieel is voor het mitigeren van genderbias.

De kern

Titel: Wie bepaalt het geslacht? Een speurtocht in de hersenen van een vertaalrobot

Stel je voor dat je een robot hebt die perfect Engels naar het Nederlands of Spaans kan vertalen. Maar deze robot heeft een geheim: hij is een beetje vooroordeels. Als je hem vraagt om het woord "arts" te vertalen, vertaalt hij het bijna altijd als "de dokter" (mannelijk), en "verpleegster" bijna altijd als "de verpleegster" (vrouwelijk). Dit noemen we genderbias.

Maar hier is het echte mysterie: wat gebeurt er als het woord niet duidelijk is? Stel, je zegt: "De schrijver zit aan het bureau." In het Engels is dat neutraal. Maar in het Nederlands of Spaans moet de robot kiezen: is het een schrijver of een schrijfster?

De auteurs van dit paper (Janiça, Arda en Joke van de Universiteit Gent) wilden niet alleen meten hoe vaak de robot fouten maakt, maar ze wilden weten: Waarom maakt hij die keuze? Welk woord in de zin duwt de robot in de richting van 'man' of 'vrouw'?

Hier is hoe ze dat hebben onderzocht, vertaald naar simpele taal:

1. De Speurtocht: De "Contrastieve" Methode

Stel je voor dat je een detective bent. Je hebt een zin: "De schrijver dronk koffie."
De robot vertaalt dit naar het Spaans als "El escritor" (de mannelijke schrijver).

De onderzoekers deden iets slim: ze maakten een tweede versie van de vertaling, maar dan met het tegenovergestelde geslacht: "La escritora" (de vrouwelijke schrijver).

Vervolgens vroegen ze de robot: "Waarom koos jij voor 'El' en niet voor 'La'?"
Ze keken welke woorden in de originele Engelse zin de robot het meest overtuigden om voor de mannelijke vorm te kiezen. Het is alsof je de robot een spiegel voorhoudt en zegt: "Als ik dit ene woord zou veranderen, zou je dan anders kiezen?"

2. De Verrassende Vondst: Mensen en Robots denken opvallend gelijk

Ze ontdekten dat de robot en mensen vaak naar dezelfde aanwijzingen kijken.

• Als een mens leest: "De schrijver was moeders trots," denkt de mens: "Ah, 'moeder' suggereert een vrouw."
• De robot kijkt ook naar het woord 'moeder' en zegt: "Oké, dan kies ik voor de vrouwelijke vorm."

De onderzoekers ontdekten dat er een grote overlap is (ongeveer 85%) tussen welke woorden mensen belangrijk vinden en welke woorden de robot "belangrijk" vindt om een keuze te maken. De robot is dus niet volledig willekeurig; hij leest de context, net als wij.

3. Maar... de robot kijkt op een andere manier

Hoewel ze naar dezelfde woorden kijken, is er een groot verschil in hoe ze kijken:

• De Mens (De Brede Blik): Mensen kijken naar de hele zin, ook naar woorden die wat verder weg staan. We gebruiken onze levenservaring en intuïtie. Als we iets lezen, kijken we naar het hele plaatje.
• De Robot (De Mikroskopische Blik): De robot kijkt vooral heel nauwkeurig naar de woorden die direct naast het doelwoord staan. Hij is als een microscopisch lensje dat alleen de directe omgeving bekijkt.
  • Voorbeeld: Als het woord "schrijver" direct wordt gevolgd door een werkwoord of een zelfstandig naamwoord, pakt de robot dat direct. Hij mist soms de bredere context die een mens wel zou zien.

4. Wat is het doel van dit onderzoek?

Vroeger zeiden onderzoekers: "De robot is vooroordeels, we moeten hem straffen."
Deze paper zegt: "Nee, laten we eerst begrijpen hoe hij denkt."

Het is alsof je een kind leert fietsen. Als het kind valt, wil je niet alleen zeggen "val niet", je wilt weten: "Kijkt het kind naar de weg of naar zijn eigen voeten?"

Door te begrijpen welke woorden de robot triggeren om een geslacht te kiezen, kunnen we in de toekomst betere robots bouwen. We kunnen de robot leren dat hij niet alleen naar de directe buren moet kijken, maar ook naar de bredere context, zodat hij minder snel vastloopt in oude stereotypen.

Samenvatting in één zin:

De onderzoekers hebben ontdekt dat vertaalrobots en mensen vaak naar dezelfde woorden kijken om het geslacht te raden, maar dat de robot veel meer focus legt op de directe omgeving van het woord, terwijl mensen een bredere blik werpen; door dit te begrijpen, kunnen we de robot slimmer en eerlijker maken.

Technische samenvatting

Titel: Wat triggert mijn model? Contrastieve verklaringen informeren over genderkeuzes door vertaalmodellen

Auteurs: Janiça Hackenbuchner, Arda Tezcan, Joke Daems (Universiteit Gent)

---

1. Het Probleem

Hoewel er veel onderzoek is gedaan naar genderbias in Machine Translation (MT), richt de meeste aandacht zich op ondubbelzinnige scenario's waarbij pronomen (bijv. "hij" of "zij") als contextuele aanwijzing dienen. In deze gevallen kan het model de gender van een doelreferent (bijv. "arts") afleiden uit de anafora-oplossing.

Het echte probleem ontstaat echter in gender-ambiguïteit: situaties waarin de bronzin geen expliciete genderaanduiding bevat (bijv. "De schrijver is vertrokken"). In deze gevallen vertrouwen MT-modellen vaak op stereotypen uit de trainingsdata om een gender toe te wijzen (meestal mannelijk). Bestaande interpretability-methoden (XAI) hebben nog geen duidelijk antwoord gegeven op de vraag: welke specifieke bronwoorden (input tokens) triggeren de keuze van het model voor een bepaalde genderinflectie in de doeltaal? Daarnaast ontbreekt er een gestandaardiseerde drempelwaarde om te bepalen welke attributiescores als "invloedrijk" worden beschouwd.

2. Methodologie

De auteurs voeren een verkennende studie uit op natuurlijke, gender-ambigue Engelse zinnen en analyseren de vertalingen naar het Duits (DE) en Spaans (ES).

Data:

• Bron: 60 natuurlijke Engelse zinnen met een enkelvoudige, gender-ambigue doelreferent (bijv. "writer", "consumer").
• Human Annotations: 20 annotatoren hebben per zin gemarkeerd welke woorden hun perceptie van de gender beïnvloedden.
• Model: OPUS-MT (een open-source NMT-model).

Technische Aanpak:

1. Contrastieve Vertalingen: Voor elke originele vertaling (bijv. mannelijk: Berater) werd een handmatig gegenereerde "contrastieve" vertaling gemaakt met de tegenovergestelde gender (bijv. vrouwelijk: Beraterin).
2. Saliency Attribution: Met behulp van het inseq toolkit wordt de contrastieve gradient norm berekend. Dit meet hoe sterk een input-token de waarschijnlijkheid verhoogt voor de originele vertaling en verlaagt voor de contrastieve (foil) vertaling.
3. Pre-processing:
   • L1-normalisatie van attributiescores.
   • Verwijdering van de doelreferent zelf, leestekens en stopwoorden.
   • Samenvoegen van sub-word tokens.
4. Analysestrategieën (voor RQ1): De auteurs testen vier methoden om te bepalen welke woorden als "salient" (opvallend) worden beschouwd:
   • Top X% van de woorden (5-25%).
   • Alleen het woord met de hoogste score.
   • Woorden met een score boven een vaste drempel (0.01–0.10).
   • De kleinste subset woorden die samen X% van de totale attributiescore vertegenwoordigen.
5. Vergelijking: De door het model geïdentificeerde saliente woorden worden vergeleken met de human annotaties via Micro Precision.

3. Belangrijkste Bijdragen

• Verschuiving van meting naar oorsprong: In plaats van alleen bias te meten, onderzoekt deze studie de oorsprong van de bias door te kijken naar welke contextuele cues het model activeren.
• Definitie van Context: De auteurs definiëren context niet als pronomen-resolutie, maar als alle semantisch relevante woorden in de zin die een gender kunnen beïnvloeden.
• Evaluatie van Attributiedrempels: De studie biedt inzicht in welke methoden het meest effectief zijn om de invloed van inputwoorden te meten in vergelijking met menselijke perceptie.
• Linguïstische Analyse: Een diepgaande analyse van de POS-tags (woordsoorten) en syntactische afhankelijkheidsafstanden (dependency distance) van de saliente woorden.

4. Resultaten

A. Overlap tussen Model en Mens (RQ1 & RQ3)

• Er is een hoge overlap tussen de door het model geïdentificeerde saliente woorden en de door mensen gemarkeerde woorden.
• De beste resultaten werden behaald met Approach 4 (relative top 15% van de attributiescores per zin), met een micro-precision van 0.851 (gemiddeld over DE en ES).
• Dit suggereert dat het model en mensen worden beïnvloed door vergelijkbare contextuele cues, zelfs in ambigue situaties.
• Opmerking: De overlap daalt significant (naar ~0.69-0.78) wanneer alleen woorden worden meegenomen waar minstens twee annotatoren het over eens waren, wat wijst op grote variatie in menselijke genderperceptie.

B. Linguïstische Analyse (RQ2)

• Woordsoorten (POS):
  • Het model wordt sterk beïnvloed door Zelfstandige Namen (Nouns) en Werkwoorden (Verbs).
  • Mensen tonen een meer gebalanceerde verdeling, waarbij ook bijvoeglijke naamwoorden en eigennamen een grotere rol spelen.
  • Het model negeert bepaalde woordsoorten die voor mensen wel relevant zijn.
• Syntactische Afstand (Dependency Distance):
  • Het model wordt voornamelijk beïnvloed door woorden die syntactisch zeer dichtbij de doelreferent staan (afstand 1 of 2 in de dependency tree).
  • Mensen worden beïnvloed door een breder contextueel bereik, inclusief woorden die verder weg staan (afstand 3, 4, etc.).
  • Dit suggereert dat het model meer lokaal kijkt, terwijl mensen bredere contextuele verbanden leggen.

C. Uitbijters

• Het model markeert soms unieke tokens (zoals eigennamen of onbekende tokens <unk>) als salient, terwijl mensen dit niet doen.

5. Betekenis en Conclusie

De studie toont aan dat interpretability-methoden, specifiek contrastieve verklaringen, effectief kunnen worden gebruikt om de "black box" van genderbias in MT te doorgronden.

• Gemeenschappelijke grond: Er is een sterke overeenkomst tussen menselijke perceptie en modelgedrag wat betreft welke woorden relevant zijn voor genderkeuzes.
• Fundamentele verschillen: Ondanks deze overlap verschillen het model en mensen in hoe ze deze informatie verwerken. Het model leunt zwaarder op directe syntactische buren (nouns/verbs) en mist de bredere contextuele nuance die mensen gebruiken.
• Implicatie: Om genderbias te mitigeren, is het niet voldoende om alleen de output te corrigeren. Men moet begrijpen dat het model een ander "aandachtsveld" heeft dan mensen. Deze inzichten kunnen leiden tot betere debiasing-strategieën die rekening houden met de specifieke manier waarop NMT-modellen context verwerken.

De auteurs benadrukken dat hun werk een stap zet van het meten van bias naar het verkennen van de mechanismen die erachter zitten, wat essentieel is voor het ontwikkelen van eerlijkere vertaalsystemen.