What Triggers my Model? Contrastive Explanations Inform Gender Choices by Translation Models

Questo studio esplora le origini del bias di genere nei modelli di traduzione neurale analizzando, tramite spiegazioni contrastive e attribuzione di salienza, quali token di input influenzano la scelta del genere nelle traduzioni e confrontando tali meccanismi con le percezioni umane.

L'essenziale

🕵️‍♀️ Il Detective Digitale: Chi decide il genere in una traduzione?

Immagina che un traduttore automatico (come Google Translate o DeepL) sia come un cuoco molto veloce che prepara piatti per il mondo. Se gli dai una ricetta in inglese che dice "Il cuoco sta cucinando", il cuoco automatico deve decidere se servire il piatto con un cappello da chef maschio o femmina quando lo traduce in lingue come il tedesco o lo spagnolo (dove le parole hanno un genere grammaticale).

Spesso, questo cuoco fa errori basati su stereotipi: se la ricetta parla di un "infermiere", lui indossa automaticamente il cappello da chef maschio, anche se nella realtà potrebbe essere una donna.

Il problema è: perché lo fa? È un "scatola nera" che prende decisioni senza spiegarci il motivo.

🔍 L'Esperimento: La "Lente Magica"

Gli autori di questo studio (ricercatori dell'Università di Gand) hanno deciso di usare una lente magica chiamata spiegazione contrastiva.

Immagina di avere due versioni dello stesso testo:

1. Versione A: "Il paziente è entrato in travaglio" (tradotto automaticamente come maschio).
2. Versione B: Una versione modificata dove il cuoco è costretto a tradurlo come femmina.

La "lente magica" analizza le differenze tra queste due versioni e chiede al modello: "Quale parola esatta della frase originale ti ha spinto a scegliere il cappello da chef maschio invece di quello femmina?".

È come se chiedessimo al cuoco: "Hai scelto il cappello maschio perché c'era la parola 'travaglio'? O perché c'era la parola 'paziente'?".

🧠 Cosa hanno scoperto?

Ecco i tre punti chiave, spiegati con analogie:

1. Il Cuoco e l'Umano pensano in modo simile (ma non uguale)

Hanno scoperto che il traduttore automatico guarda le stesse parole che guarderebbe un essere umano per capire il genere.

• L'analogia: Se leggi "La dottor ha curato il paziente", sia un umano che il computer notano che "dottor" è una parola chiave.
• Il risultato: C'è un'alta sovrapposizione (circa l'85%) tra le parole che il modello considera importanti e quelle che gli umani indicano come decisive. Quindi, il modello non è "pazzo", sta solo seguendo indizi che noi usiamo anche noi.

2. Ma il Cuoco è un po' "selettivo" (Nomi e Verbi vs. Tutto il resto)

Qui sta la differenza fondamentale.

• Gli umani sono come investigatori che guardano tutto il contesto: guardano i nomi, gli aggettivi, i pronomi, e anche quanto lontano è la parola dal soggetto. Se c'è una frase lunga e complessa, l'umano la legge tutta per capire.
• Il modello, invece, è come un investigatore frettoloso che si fissa solo su due cose: i Sostantivi (Nomi) e i Verbi.
  • Esempio: Se la frase è "Il bambino che correva era felice", il modello si fissa su "bambino" e "correva" e ignora quasi tutto il resto. Gli umani, invece, potrebbero essere influenzati anche da parole più lontane o da intere frasi.

3. Il problema della "Soglia"

Uno dei problemi precedenti era: "Quante parole dobbiamo guardare per dire che sono importanti?".
Gli autori hanno provato diversi metodi (come guardare solo la parola più importante, o le prime 5 parole, o quelle con un certo "peso"). Hanno scoperto che il metodo migliore è guardare il 15% delle parole più importanti della frase. È come se dicessimo: "Non guardiamo tutto il libro, ma concentriamoci sui 15% delle pagine più significative".

🎯 Perché è importante?

Prima di questo studio, cercavamo solo di misurare quanto il traduttore fosse sessista (es. "Traduce 'infermiere' al maschile il 90% delle volte").
Ora, grazie a questa ricerca, stiamo cercando di capire il "perché".

• L'obiettivo: Non basta dire "Smettila di essere sessista". Dobbiamo capire quali parole stanno ingannando il modello. Se sappiamo che il modello si fissa troppo sui verbi e ignora il contesto più ampio, possiamo insegnargli a guardare meglio.

🏁 Conclusione

In sintesi, questo studio ci dice che i traduttori automatici non sono mostri misteriosi: guardano le stesse parole che guardiamo noi, ma lo fanno in modo un po' troppo rigido e frettoloso.

Usando queste "lenti" per capire cosa succede nella testa del computer, possiamo diventare i suoi allenatori, insegnandogli a non basarsi solo sugli stereotipi (come "le donne fanno le infermiere") ma a guardare il contesto completo, proprio come farebbe un traduttore umano attento.

È un passo fondamentale per rendere la tecnologia più giusta, inclusiva e, soprattutto, comprensibile.

Sommario tecnico

1. Il Problema

Nonostante gli sforzi continui, i modelli di Traduzione Automatica Neurale (NMT) e i Large Language Models (LLM) continuano a esibire bias di genere. La ricerca esistente si è concentrata prevalentemente sulla misurazione di questo bias in scenari di traduzione non ambigui (dove il genere è chiarito da pronomi o coreferenze) o su dataset artificiali.
Tuttavia, manca una comprensione approfondita delle origini del bias in contesti naturali e ambigui, dove il genere del referente target non è specificato grammaticalmente nella lingua sorgente (es. inglese) ma deve essere disambiguato nella lingua target (es. tedesco o spagnolo). Inoltre, la ricerca sull'interpretabilità (XAI) in questo dominio soffre della mancanza di una soglia di punteggio definita per determinare quali token di input siano sufficientemente "influenti" nelle decisioni di genere del modello.

2. Metodologia

Lo studio è un'indagine esplorativa condotta su un dataset di 60 frasi inglesi naturali e ambigue dal punto di vista del genere, riferite a un singolo referente (es. "writer", "consumer").

• Dati e Traduzione: Le frasi sono state tradotte da Inglese (EN) verso Tedesco (DE) e Spagnolo (ES) utilizzando il modello open-source OPUS-MT.
• Approccio Contrastivo: Per ogni traduzione originale, è stata creata una traduzione contrastiva (o "foil") in cui il genere del referente target è stato modificato manualmente per essere opposto (es. da Berater a Beraterin in tedesco). Questo permette di analizzare come il modello reagisce a input minimamente diversi.
• Attribuzione di Saliency: Utilizzando il toolkit inseq, sono stati calcolati i punteggi di attribuzione di saliency (basati sulla norma del gradiente) per identificare quali token sorgente influenzano la probabilità che il modello scelga una forma di genere maschile o femminile rispetto all'alternativa.
• Confronto Umano: I risultati del modello sono stati confrontati con annotazioni umane (20 annotatori per frase) che avevano identificato quali parole nel contesto influenzavano la loro percezione del genere.
• Analisi Linguistica: È stata condotta un'analisi delle parti del discorso (POS) e delle distanze di dipendenza sintattica tra le parole salienti e il referente target.
• Metodi di Valutazione: Sono stati testati quattro approcci per definire le soglie di attribuzione:
  1. Top X% di parole (5-25%).
  2. Solo la parola con il punteggio più alto.
  3. Parole sopra una soglia di punteggio assoluta (0.01-0.10).
  4. Sottinsieme minimo di parole che raggiungono una percentuale cumulativa di punteggio (5-50%).

3. Contributi Chiave

• Spostamento dal "Misurare" al "Comprendere": Il lavoro si allontana dalla semplice misurazione statistica del bias per esplorare le cause (i "trigger") delle decisioni di genere nei modelli NMT.
• Definizione di "Contesto": Il paper ridefinisce il contesto non solo come coreferenza (pronomi), ma come l'insieme di tutte le parole semanticamente rilevanti che possono disambiguare un termine, anche in assenza di pronomi espliciti.
• Valutazione della Plausibilità: Introduce un confronto sistematico tra le parole salienti identificate dal modello e le annotazioni umane, misurando la "plausibilità" delle spiegazioni del modello.
• Analisi delle Soglie di Attribuzione: Affronta la sfida della mancanza di soglie standardizzate, confrontando diversi metodi di selezione dei token per determinare quale offra la migliore sovrapposizione con la percezione umana.

4. Risultati Principali

• Sovrapposizione Modello-Umano: Esiste una notevole sovrapposizione tra le parole che influenzano il modello e quelle che influenzano gli umani. L'approccio che ha ottenuto la precisione micro più alta (0.851) è stato quello che considera il top 15% relativo dei punteggi di attribuzione cumulativi per frase (Approccio 4).
• Differenze Linguistiche (POS):
  • Modello: È fortemente influenzato da Sostantivi (NOUN) e Verbi (VERB), che costituiscono la maggior parte delle parole salienti.
  • Umani: Mostrano una distribuzione più bilanciata, con una maggiore attenzione a Nomi Propri, Aggettivi e Sostantivi.
• Distanza di Dipendenza:
  • Modello: Le parole salienti sono prevalentemente a distanza di dipendenza 1 (immediatamente vicine al referente) o 2. Il modello sembra basarsi su un contesto locale stretto.
  • Umani: Sono influenzati da un contesto più ampio, con parole salienti distribuite a distanze di dipendenza maggiori (fino a 3, 4, 5, 6), indicando una capacità di integrare informazioni più lontane nella frase.
• Bias di Traduzione: Il modello OPUS-MT ha tradotto la maggior parte dei referenti ambigui al maschile (88.3% per EN→DE, 83.3% per EN→ES), mentre le annotazioni umane hanno mostrato una percezione femminile in circa il 33% dei casi.

5. Significato e Implicazioni

Questo studio dimostra che, sebbene i modelli NMT e gli esseri umani siano influenzati da contesti simili per quanto riguarda il genere, i meccanismi sottostanti differiscono significativamente.

• Interpretabilità come Strumento di Debug: L'uso di spiegazioni contrastive e attribuzione di saliency si rivela uno strumento efficace per diagnosticare come i modelli prendono decisioni di genere, andando oltre la semplice rilevazione dell'errore.
• Mitigazione del Bias: Comprendere che i modelli si basano su strutture sintattiche locali (sostantivi/verbi vicini) e non su un contesto semantico ampio come gli umani suggerisce che le strategie di mitigazione del bias devono essere mirate a queste specifiche dinamiche di attenzione.
• Limiti e Futuro: Lo studio riconosce i limiti legati alla dimensione del dataset (60 frasi) e all'uso di un singolo modello (OPUS-MT), ma stabilisce un metodo solido per future ricerche su dataset più ampi e modelli più avanzati, spingendo verso una traduzione più equa e inclusiva basata sulla comprensione delle decisioni del modello.