FairQE: Multi-Agent Framework for Mitigating Gender Bias in Translation Quality Estimation

1. Il Problema

La Stima della Qualità (Quality Estimation - QE) ha lo scopo di valutare automaticamente la qualità delle traduzioni machine (MT) senza fare riferimento a traduzioni umane di riferimento. Tuttavia, studi recenti hanno dimostrato che i modelli QE esistenti presentano bias sistematici di genere:

• Casi ambigui di genere: Quando la frase sorgente non specifica il genere, i modelli tendono a favorire le realizzazioni maschili, assegnando punteggi più alti alle traduzioni maschili rispetto a quelle femminili o neutre, anche in assenza di indizi di genere.
• Casi espliciti di genere: Quando la sorgente richiede esplicitamente una forma femminile, i modelli QE possono ancora assegnare punteggi più alti a traduzioni maschili errate (fenomeno noto come preference inversion).

Questi bias compromettono l'equità della valutazione e possono avere effetti a catena su processi decisionali critici come la selezione dei modelli, il filtraggio dei dati e il monitoraggio del deployment.

2. Metodologia: Il Framework FairQE

Gli autori propongono FairQE, un framework multi-agente basato su LLM (Large Language Models) progettato per mitigare il bias di genere sia nei contesti ambigui che espliciti, mantenendo al contempo l'accuratezza generale della QE.

Il flusso di lavoro è organizzato in quattro stadi sequenziali che coinvolgono cinque agenti (quattro basati su LLM e uno modello QE tradizionale):

A. Rilevamento degli Indizi di Genere (Gender Cue Detection)

Un agente (Agentcue) analizza la coppia sorgente-target per identificare indizi linguistici legati al genere. Utilizza una tassonomia definita che classifica gli indizi in due categorie principali:

• Ambigui: Nomi di professioni generici, pronomi neutri, nomi propri senza genere noto, ecc.
• Espliciti: Pronomi di genere, termini di parentela, titoli, accordi grammaticali obbligatori.
  Se non vengono rilevati indizi, il processo si interrompe per efficienza.

B. Generazione di Varianti "Gender-Flipped"

Sulla base degli indizi rilevati, vengono generate varianti della traduzione originale modificando solo gli elementi legati al genere:

• Generatore per casi ambigui (Agentamb): Genera tutte le realizzazioni valide (Femminile, Maschile, Neutro) per vedere come il modello QE reagisce a cambiamenti di genere in assenza di vincoli.
• Generatore per casi espliciti (Agentexp): Verifica se la traduzione originale rispetta il vincolo di genere della sorgente e genera varianti contrastive per il confronto.

C. Valutazione della Qualità a Doppio Flusso (Dual-Stream Quality Estimation)

In questa fase, due approcci paralleli valutano la qualità:

1. Punteggio Quantitativo (Agentqe): Un modello QE tradizionale (es. COMETKiwi, MetricX) assegna punteggi alla traduzione originale e alle varianti generate. Questo permette di misurare la "volatilità" delle previsioni del modello sotto perturbazioni di genere.
2. Ragionamento per la Mitigazione del Bias (Agentuqe): Un LLM esegue un ragionamento esplicito (basato su MQM - Multidimensional Quality Metrics) analizzando le varianti generate e gli indizi di genere.
   • Per i casi ambigui, verifica la coerenza: la qualità dovrebbe essere invariante tra le diverse realizzazioni di genere.
   • Per i casi espliciti, valida la fedeltà: penalizza le traduzioni che violano i vincoli di genere della sorgente.

D. Aggregazione Dinamica Consapevole del Bias

Il punteggio finale ($q_{final}$) è una combinazione dinamica del punteggio del modello QE tradizionale ($q_{orig}$) e del punteggio ragionato dall'LLM ($q_{uqe}$).

• Viene calcolato un punteggio di bias ($B$) basato sulla volatilità dei punteggi (per casi ambigui) o sulle violazioni dei vincoli (per casi espliciti).
• Un meccanismo di soft-gating determina un peso $w$: se il bias è basso, prevale il modello QE tradizionale (per mantenere la precisione); se il bias è alto, il peso si sposta verso il ragionamento dell'LLM per correggere l'errore.

3. Contributi Chiave

1. Framework Multi-Agente: Introduzione di un sistema che combina modelli QE tradizionali con agenti LLM specializzati per la rilevazione e la correzione del bias.
2. Meccanismo di Aggregazione Dinamica: Un approccio innovativo che quantifica il bias tramite varianti "gender-flipped" e adatta il punteggio finale in base alla gravità del bias rilevato, senza sacrificare la precisione generale.
3. Approccio Model-Agnostic: Il framework è progettato per funzionare con qualsiasi architettura QE sottostante, rendendolo ampiamente applicabile.
4. Soluzione Completa: Affronta simultaneamente sia i casi di genere ambiguo che quelli espliciti, coprendo lo spettro completo delle sfide di bias nella QE.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su diversi dataset (GATE, MT-GenEval, mGeNTE) e coppie linguistiche (EN-ES, EN-FR, EN-IT, EN-AR, EN-DE, EN-HI).

• Equità di Genere:

  • Casi Ambigui (Femminile vs Maschile): FairQE ha portato il rapporto tra i punteggi femminili e maschili molto vicino a 1 (parità) in 4 su 6 coppie linguistiche, superando i modelli baseline che mostravano un forte bias maschile.
  • Casi Ambigui (Neutro vs Genere): FairQE ha dimostrato una preferenza significativa per le traduzioni neutre quando appropriate, correggendo l'assegnazione inutile di genere.
  • Casi Espliciti: FairQE ha ottenuto la massima accuratezza nella correzione delle traduzioni errate (es. 99.7% su EN-DE), superando significativamente i modelli base e anche i metodi basati su LLM "giudice" (come GEMBA-MQM) che soffrono di bias propri.

• Prestazioni Generali di QE:

  • Nel task di meta-valutazione WMT 2023 (basato su MQM), FairQE ha mantenuto o migliorato le prestazioni generali rispetto ai modelli base.
  • In particolare, FairQE (con COMETKiwi 22 come backbone) ha migliorato la correlazione complessiva (avg-corr) da 0.743 a 0.812, dimostrando che la mitigazione del bias non compromette, ma anzi può migliorare, l'accuratezza complessiva.

5. Significato e Implicazioni

Il lavoro di FairQE è significativo perché dimostra che è possibile mitigare efficacemente il bias di genere nella valutazione della traduzione senza sacrificare l'accuratezza.

• Equità: Offre uno strumento pratico per rendere la valutazione della traduzione più inclusiva e meno soggetta a stereotipi di genere.
• Affidabilità: Migliora l'affidabilità dei punteggi QE per processi decisionali a valle (es. selezione di modelli MT), evitando che modelli distorti vengano scelti o valutati erroneamente.
• Architettura Ibrida: Conferma la validità di un approccio ibrido che utilizza la robustezza dei modelli QE supervisionati e la capacità di ragionamento contestuale degli LLM, attivando quest'ultimi solo quando necessario per correggere errori sistematici.

In sintesi, FairQE rappresenta un passo avanti verso una valutazione della traduzione automatica più etica, equa e tecnicamente solida.