FairQE: Multi-Agent Framework for Mitigating Gender Bias in Translation Quality Estimation

1. Het Probleem

Kwaliteitsschatting (Quality Estimation - QE) heeft tot doel de kwaliteit van machinevertalingen (MT) te beoordelen zonder gebruik te maken van menselijke referentievertalingen. Hoewel bestaande QE-modellen effectief zijn, hebben recente studies aangetoond dat ze systematische genderbias vertonen. Dit manifesteert zich in twee kritieke scenario's:

• Gender-ambiguïteit: Wanneer de brontekst geen gespecificeerd geslacht bevat, neigen QE-modellen ernaar om vertalingen met een mannelijke realisatie (bijv. "de arts" in het Nederlands of "aventureros" in het Spaans) hogere scores te geven dan vrouwelijke of genderneutrale varianten, zelfs als de context neutraal is.
• Gender-expliciet: Wanneer de brontekst een specifiek geslacht vereist (bijv. "zij is een arts"), kunnen QE-modellen toch mannelijke vertalingen prefereren boven vrouwelijke, wat leidt tot een "preference inversion" (omkering van de voorkeur).

Deze bias ondermijnt de eerlijkheid van evaluaties en kan downstream beslissingen beïnvloeden, zoals modelselectie en data-filtering, waardoor onnodige genderstereotypen worden versterkt.

2. Methodologie: Het FairQE Framework

De auteurs stellen FairQE voor, een multi-agent framework dat genderbias aanpakt door een combinatie van traditionele QE-modellen en Large Language Models (LLM's) te gebruiken. Het proces verloopt via vier sequentiële fasen met vijf agents:

A. Gender Cue Detectie (Agentcue)

Een LLM-analyseert het brontekst-doeltekst-paar om taalkundige aanwijzingen (cues) te identificeren die geslacht kunnen impliceren. Deze cues worden gecategoriseerd in een taxonomie van 12 categorieën, onderverdeeld in:

• Expliciet: Pronomen, geslachtsgebonden beroepen, titels, etc.
• Ambiguus: Geslachtsneutrale beroepen, onbepaalde voornaamwoorden, etc.

B. Generatie van Geslachtsomgekeerde Varianties (Agentamb & Agentexp)

Op basis van de gedetecteerde cues worden alternatieve vertalingen gegenereerd:

• Voor ambiguïteit: Het systeem genereert geldige mannelijke, vrouwelijke en neutrale varianten van de oorspronkelijke vertaling.
• Voor expliciete cues: Het systeem controleert of de oorspronkelijke vertaling voldoet aan de geslachtsbeperkingen van de bron. Zo niet, dan worden gecorrigeerde varianten gegenereerd.

C. Dual-Stream Kwaliteitsschatting

Twee parallelle stromen evalueren de kwaliteit:

1. Quantitative Scoring (Agentqe): Een conventioneel QE-model (zoals COMETKiwi of MetricX) scoort de originele vertaling en alle gegenereerde varianten. Dit meet de absolute kwaliteit en de volatiliteit van de scores bij geslachtsveranderingen.
2. Bias-Mitigating Reasoning (Agentuqe): Een LLM voert expliciete redenering uit. Het analyseert de varianten om te bepalen of de kwaliteit consistent blijft over verschillende geslachtsrealisaties (voor ambiguïteit) of of de vertaling strikt voldoet aan de bronbeperkingen (voor expliciete gevallen).

D. Dynamische Bias-Bewuste Aggregatie

De uiteindelijke score ($q_{final}$) wordt berekend door de traditionele score ($q_{orig}$) en de LLM-gebaseerde score ($q_{uqe}$) te combineren.

• Het systeem berekent eerst een bias-score ($B$) op basis van de volatiliteit van de traditionele scores (voor ambiguïteit) of schendingen van geslachtsbeperkingen (voor expliciete gevallen).
• Een soft-gating mechanisme bepaalt het wegingsfactor ($w$):
  • Als de bias laag is, wordt vertrouwen gelegd bij de traditionele QE (voor precisie).
  • Als de bias hoog is, wordt de bijdrage van de LLM-verantwoording verhoogd om de bias te corrigeren.
  • Formule: $q_{final} = w \cdot q_{uqe} + (1 - w) \cdot q_{orig}$.

3. Belangrijkste Bijdragen

1. FairQE Framework: Een model-agnostisch, multi-agent systeem dat zowel gender-ambiguïteit als expliciete gendergevallen aanpakt.
2. Bias-Aware Aggregatie: Een innovatief mechanisme dat genderbias kwantificeert via geslachtsomgekeerde varianten en deze dynamisch integreert in de scoreschatting.
3. Empirische Validatie: Uitgebreide experimenten tonen aan dat FairQE de eerlijkheid verbetert zonder de algehele evaluatiekwaliteit te offeren.

4. Resultaten

De auteurs evalueerden FairQE op meerdere benchmarks (GATE, MT-GenEval, mGeNTE) en vergeleken het met state-of-the-art baselines (COMETKiwi, MetricX, GEMBA-MQM).

• Gender-ambiguïteit (Vrouw vs. Mannelijk): Bestaande modellen vertonen vaak een ratio onder de 1 (voorkant van mannelijkheid). FairQE brengt deze ratio dichter bij 1 (perfecte pariteit) voor de meeste taalparen. Bijvoorbeeld, voor EN-ES steeg de ratio van 0.9832 (COMETKiwi 22) naar 0.9947 (FairQE).
• Gender-ambiguïteit (Neutraal vs. Geslacht): FairQE toont een duidelijke voorkeur voor genderneutrale vertalingen wanneer de bron ambigu is, terwijl baselines vaak onnodig geslachtsgebonden vertalingen prefereren.
• Gender-expliciet: FairQE verbetert de nauwkeurigheid bij het detecteren van geslachtsfouten aanzienlijk. Voor EN-AR steeg de nauwkeurigheid van 95.0% (COMETKiwi 22) naar 97.3%.
• Algemene QE Prestaties: Volgens de WMT 2023 Metrics Shared Task (MQM-benchmarks) behaalt FairQE concurrerende of verbeterde resultaten op systeem- en segmentniveau vergeleken met de onderliggende QE-modellen, wat aantoont dat bias-reductie niet ten koste gaat van de evaluatiekwaliteit.

5. Betekenis en Conclusie

FairQE demonstreert dat genderbias in machinevertalings-evaluatie effectief kan worden gemitigeerd zonder de nauwkeurigheid van de evaluatie te verlagen. Door een "plug-and-play" aanpak te gebruiken die de sterke punten van traditionele QE-modellen combineert met de redeneercapaciteiten van LLM's, biedt het een praktische oplossing voor eerlijkere en betrouwbaardere vertalingsbeoordeling. Dit is cruciaal voor het voorkomen van het versterken van genderstereotypen in downstream AI-systemen en voor het bevorderen van inclusieve taalgebruik in de machinevertalingsindustrie.