Gender Disambiguation in Machine Translation: Diagnostic Evaluation in Decoder-Only Architectures

Titolo

Disambiguazione del Genere nella Traduzione Automatica: Valutazione Diagnostica nelle Architetture Solo-Decoder

1. Il Problema

Nonostante i recenti progressi dei Large Language Models (LLM) nella Traduzione Automatica (MT), questi modelli rimangono soggetti a bias sistematici, in particolare il bias di genere.

• La sfida linguistica: Esistono differenze sistemiche tra le lingue. Mentre l'inglese marca il genere principalmente attraverso i pronomi, lingue morfologicamente ricche come l'italiano o il tedesco richiedono l'accordo di genere su più parti del discorso (nomi, aggettivi, verbi).
• Il fenomeno: Tradurre da una lingua con genere "implicito" (es. inglese) a una con genere "esplicito" (es. italiano) richiede di disambiguare segnali impliciti. Spesso, invece di utilizzare i contesti forniti (es. pronomi he/she), i modelli tendono a ricorrere a stereotipi di genere o a un "default maschile", ignorando le evidenze contestuali.
• Limiti delle valutazioni attuali: I benchmark standard misurano l'accuratezza generale ma non riescono a distinguere se un modello produce la forma corretta perché ha compreso il contesto o semplicemente perché ha indovinato basandosi su associazioni stereotipate. Inoltre, manca una valutazione specifica per le nuove architetture Decoder-Only (LLM), che stanno diventando lo stato dell'arte nella MT.

2. Metodologia

Gli autori estendono un framework di valutazione esistente (basato su Minimal Pair Accuracy - MPA) applicandolo ai modelli Decoder-Only e introducendo nuove metriche diagnostiche.

• Modelli Analizzati:

  • Llama2 (7B): Modello pre-addestrato generico (baseline).
  • TowerBase (7B): Variante di Llama2 con pre-addestramento continuo su corpora monolingue e paralleli (adattato alla MT).
  • TowerInstruct (7B): Variante di TowerBase con instruction tuning su compiti specifici di traduzione.
  • Confronto: I risultati sono confrontati con sistemi Encoder-Decoder precedenti (OPUS-MT, NLLB-200, mBART).

• Dataset e Prompting:

  • Utilizzo del dataset WinoMT (3.888 frasi) per l'inglese→italiano.
  • Creazione di un Neutral Set: Una versione neutralizzata di WinoMT dove i pronomi di genere (he/she) sono sostituiti con la forma neutra (they/them) e gli accordi grammaticali sono adattati. Questo permette di misurare il bias intrinseco del modello in assenza di indizi espliciti.
  • Prompting zero-shot standardizzato per garantire comparabilità.

• Metriche di Valutazione:

  1. Standard Gender Accuracy: Misura la corrispondenza tra il genere tradotto e quello della fonte.
  2. Minimal Pair Accuracy (MPA): Valuta se il modello cambia correttamente la traduzione quando si inverte il pronome di genere (es. he vs she nella stessa struttura). Un punteggio alto indica che il modello usa il contesto e non solo gli stereotipi.
  3. Prior Bias (Nuova Metrica): Misura la preferenza di genere "di default" del modello quando non ci sono indizi espliciti (calcolato sul Neutral Set). Quantifica la propensione del modello a scegliere la forma maschile o femminile in assenza di contesto.
  4. Analisi dell'Attenzione: Analisi dei pesi di self-attention negli strati intermedi per capire come e quando i modelli integrano i segnali di genere nel processo di generazione.

3. Contributi Chiave

1. Introduzione del "Prior Bias": Una nuova metrica diagnostica che quantifica le assunzioni di genere di default di un modello, rivelando la tendenza intrinseca a privilegiare il maschile quando il contesto è ambiguo o assente.
2. Valutazione dei Modelli Decoder-Only: Primo studio sistematico che applica framework di bias di genere avanzati ai moderni LLM Decoder-Only, confrontandoli con le architetture Encoder-Decoder tradizionali.
3. Analisi dell'Impatto del Post-Training: Distinzione chiara tra gli effetti del pre-addestramento continuo (continual pretraining) e dell'instruction tuning sulla capacità di disambiguazione del genere.
4. Correlazione Attenzione-Output: Dimostrazione che l'aumento dell'attenzione sui pronomi femminili negli strati intermedi non si traduce automaticamente in un output corretto, a meno che non sia seguito dall'instruction tuning.

4. Risultati Principali

• Performance Generali: Contrariamente alle aspettative, i modelli Decoder-Only non superano sistematicamente i modelli Encoder-Decoder nelle metriche specifiche per il genere, nonostante le loro dimensioni e la loro capacità di contesto.
• Il Ruolo dell'Instruction Tuning:
  • Llama2 e TowerBase: Mostrano un forte bias maschile di default (circa l'85% delle forme generate sul Neutral Set sono maschili). L'MPA è molto bassa (~12-13%), indicando che spesso producono la forma corretta solo per stereotipo, non per contesto.
  • TowerInstruct: L'instruction tuning porta a miglioramenti significativi.
    • Aumento dell'accuratezza femminile (da 23% a 52%).
    • Aumento drastico dell'MPA (da 13% a 37%), dimostrando una migliore integrazione dei segnali contestuali.
    • Riduzione del Prior Bias: La forma maschile di default scende dal ~85% al ~75%, con un aumento delle forme femminili generate in assenza di indizi.
• Analisi dell'Attenzione:
  • I modelli mostrano un'attenzione più forte e localizzata sui pronomi femminili rispetto a quelli maschili (probabilmente per compensare la loro minore frequenza nei dati di addestramento).
  • L'aumento dell'attenzione ai segnali di genere avviene principalmente tra Llama2 e TowerBase, ma la riduzione del bias nell'output avviene solo con TowerInstruct. Questo suggerisce che l'instruction tuning insegna al modello a utilizzare i segnali di attenzione appresi, non solo a rilevarli.
• Trade-off: L'addestramento su istruzioni migliora l'equità di genere ma sembra ridurre leggermente le prestazioni sui riferimenti maschili stereotipati, indicando una ridistribuzione delle capacità piuttosto che un miglioramento uniforme.

5. Significato e Implicazioni

• Diagnostica Avanzata: Il paper dimostra che le metriche standard sono insufficienti. La combinazione di MPA e Prior Bias è essenziale per capire perché un modello sbaglia (ignoranza del contesto vs. bias intrinseco).
• Efficacia dell'Instruction Tuning: L'instruction tuning emerge come una strategia promettente per mitigare il bias di genere nella MT, agendo come un meccanismo di "correzione" che allinea il comportamento del modello con le istruzioni di contesto, riducendo la dipendenza da associazioni statistiche stereotipate.
• Limiti dei LLM: Nonostante la loro scala, i modelli Decoder-Only non sono intrinsecamente superiori nella disambiguazione contestuale fine rispetto alle architetture specializzate, a meno che non vengano adeguatamente adattati (tuned).
• Sfide Future: Il lavoro evidenzia la necessità di dataset e framework che vadano oltre il binarismo di genere (inclusione di forme non binarie) e la necessità di tecniche di interpretabilità causale per comprendere appieno i meccanismi di decisione dei modelli.

In sintesi, lo studio fornisce un quadro diagnostico robusto per valutare l'equità di genere nella MT moderna, rivelando che l'addestramento su istruzioni è fondamentale per trasformare la capacità potenziale dei modelli Decoder-Only in comportamenti di traduzione più contestuali e privi di bias.