Gender Bias in MT for a Genderless Language: New Benchmarks for Basque

Questo studio introduce due nuovi benchmark, WinoMTeus e FLORES+Gender, per valutare il bias di genere nei sistemi di traduzione automatica e nei modelli linguistici su larga scala quando traducono dalla lingua basca, privo di genere, verso lingue con genere grammaticale, rivelando una sistematica preferenza per le forme maschili.

L'essenziale

Immagina che l'Intelligenza Artificiale sia come un cuoco molto abile, ma che ha imparato a cucinare guardando solo dei libri di ricette scritti in una lingua specifica (l'inglese) e basati su una cultura molto precisa. Questo cuoco è bravissimo, ma quando gli chiedi di cucinare un piatto per una cultura diversa, tende a usare gli ingredienti e i sapori che conosce meglio, ignorando le tradizioni locali.

Questo è esattamente il problema che gli autori di questo studio, provenienti dall'Università del Paese Basco, hanno voluto investigare.

Ecco la spiegazione semplice di cosa hanno fatto e cosa hanno scoperto, usando qualche metafora.

1. Il Problema: Il "Bias" di Genere

Molti sistemi di traduzione automatica (come Google Translate o le nuove intelligenze artificiali) imparano leggendo enormi quantità di testi presi da internet. Purtroppo, internet è pieno di stereotipi: spesso si associa automaticamente "infermiere" a "lei" e "ingegnere" a "lui".

Quando un sistema di traduzione vede una parola neutra, tende a indovinare il genere basandosi su questi vecchi stereotipi, invece di guardare la realtà.

2. La Sfida: La Lingua Basca

Il Paese Basco (Euskara) è una lingua speciale. È come un'isola linguistica: non ha il "genere grammaticale". In basco, non esiste la differenza tra "il" e "la", o tra "lui" e "lei" nei pronomi. È una lingua neutra.
Immagina che il basco sia una stanza bianca e vuota. Quando traduci da questa stanza bianca verso lingue come lo spagnolo o il francese (che hanno colori maschili e femminili), il sistema di traduzione deve "inventare" un colore. E spesso, sceglie il colore "maschile" di default, anche se non dovrebbe.

3. Gli Strumenti: Due Nuovi Giochi da Tavolo

Per capire quanto questi cuochi (le intelligenze artificiali) siano di parte, gli autori hanno creato due nuovi "giochi" o test specifici per il basco:

• WinoMTeus (Il gioco degli stereotipi):
  Immagina di avere una frase in basco neutra: "Il meccanico ha chiamato l'infermiere perché si era rotto la gamba." In basco, non sai chi è maschio o femmina.
  Il test chiede al sistema di tradurre questa frase in spagnolo o francese.

  • La domanda: Tradurrà "infirmiere" come l'infermiera (femminile, perché nella realtà sono per lo più donne) o come l'infermiere (maschile, perché il sistema pensa che "infermiere" sia un lavoro da uomini)?
  • Il risultato: Hanno confrontato le traduzioni con i dati reali del lavoro in Basco. Hanno scoperto che i sistemi, anche quelli più moderni, tendono a "mascolinizzare" i lavori, anche quando nella realtà sono fatti per il 90% da donne (come le governanti o le sarte). È come se il cuoco, vedendo una ricetta per una torta, decidesse di metterci il sale perché "di solito le torte sono salate" basandosi su un vecchio libro sbagliato.

• FLORES+Gender (Il test della qualità):
  Qui hanno fatto il contrario. Hanno preso frasi in spagnolo o inglese dove il genere è chiaro (es. "Il conducente maschio" vs "La conducente femmina") e le hanno tradotte in basco.

  • La domanda: La traduzione è migliore quando la frase originale parla di un uomo o di una donna?
  • Il risultato: In alcuni casi, le traduzioni erano leggermente migliori quando parlavano di uomini. È come se il cuoco fosse più veloce e preciso quando gli chiedi di cucinare un piatto "maschile" rispetto a uno "femminile", semplicemente perché si è allenato di più su quello.

4. Cosa hanno scoperto?

Hanno testato molte intelligenze artificiali diverse (alcune gratuite, alcune a pagamento, alcune fatte apposta per il basco).

• Il "Default" Maschile: Quasi tutti i sistemi hanno mostrato una preferenza sistematica per la forma maschile. Anche quando la realtà dice che un lavoro è fatto da donne, l'IA tende a usare la parola maschile.
• Non tutti sono uguali: Alcuni modelli (come quelli più recenti o quelli addestrati specificamente per la traduzione) sono un po' più attenti e si avvicinano di più alla realtà, ma il bias (il pregiudizio) c'è ancora.
• La qualità varia: Quando si traduce verso il basco, la qualità della traduzione cambia leggermente a seconda che si parli di un uomo o di una donna, il che suggerisce che i modelli "pensano" diversamente in base al genere.

5. Perché è importante?

Questo studio ci dice che non basta avere un traduttore veloce. Dobbiamo assicurarci che sia anche giusto. Se un'IA decide sempre che un medico è un uomo e un'infermiera è una donna (o viceversa, ma con una forte preferenza per il maschile), sta rafforzando stereotipi dannosi nella società.

In sintesi:
Gli autori hanno creato due nuovi "specchi" per guardare le intelligenze artificiali. Hanno scoperto che, anche quando si parla di una lingua neutra come il basco, le IA portano con sé i pregiudizi delle lingue da cui provengono, scegliendo spesso l'opzione maschile come "default". È un campanello d'allarme: dobbiamo insegnare alle macchine a vedere la realtà, non solo i vecchi stereotipi.

Sommario tecnico

Ecco una sintesi tecnica dettagliata del paper "Gender Bias in MT for a Genderless Language: New Benchmarks for Basque" in lingua italiana.

Titolo

Bias di Genere nella Traduzione Automatica per una Lingua Senza Genere: Nuovi Benchmark per il Basco

1. Il Problema

I modelli linguistici su larga scala (LLM) e i sistemi di Traduzione Automatica (MT) sono addestrati su enormi quantità di dati non curati, ereditando e spesso amplificando stereotipi e pregiudizi sociali presenti nei dati di addestramento.

• Limitazione attuale: La maggior parte delle risorse per valutare il bias di genere è progettata per l'inglese e riflette il contesto socioculturale anglofono. Questi dataset si basano su marcatori grammaticali specifici (come pronomi di genere) che non sono applicabili a lingue tipologicamente diverse.
• Il caso del Basco: Il basco è una lingua "senza genere" (genderless), priva di genere grammaticale e con pronomi neutri. Tuttavia, l'assenza di genere grammaticale non impedisce la riproduzione di bias: le scelte lessicali possono comunque trasmettere stereotipi.
• Gap di ricerca: Esiste una scarsità di risorse per valutare il bias di genere nelle lingue a bassa risorsa e senza genere. I metodi esistenti non possono essere applicati direttamente al basco perché non possono sfruttare marcatori espliciti di genere.

2. Metodologia e Contributi Chiave

Gli autori introducono due nuovi dataset specifici per valutare il bias di genere nel contesto del basco, sfruttando la traduzione come strumento di analisi:

A. WinoMTeus (Da Basco a Lingue con Genere)

• Obiettivo: Valutare come le menzioni di professioni neutre nel basco vengono tradotte in lingue con genere (spagnolo e francese).
• Costruzione: Adattamento del benchmark WinoMT (originariamente in inglese).
  1. Creazione di un glossario di 78 professioni culturalmente equivalenti.
  2. Traduzione in basco tramite GPT-4o, seguita da post-editing umano, revisione grammaticale e adattamento culturale (es. valute, numeri di emergenza).
  3. Filtraggio finale per rimuovere duplicati.
• Metodo di Valutazione:
  • Le frasi in basco (con professioni neutre) vengono tradotte in spagnolo e francese.
  • Si estraggono le professioni tradotte e si assegna un genere basato sull'articolo o sulla morfologia.
  • Confronto con la realtà: La distribuzione dei generi nelle traduzioni viene confrontata con le statistiche ufficiali del mercato del lavoro della regione basca (dati Lanbide, luglio 2025).
  • Metriche: Coefficiente di correlazione di Pearson e metrica GRAPE (Gender RAtion ProbabiliTiEs) per misurare la direzione e l'entità del bias rispetto alla distribuzione reale.

B. FLORES+Gender (Da Lingue con Genere a Basco)

• Obiettivo: Valutare se la qualità della traduzione in basco varia a seconda del genere del referente nella lingua sorgente (spagnolo e inglese).
• Costruzione: Estensione del benchmark FLORES+.
  • Creazione di coppie contrastive: per ogni frase originale, si crea una versione con riferimenti maschili e una con riferimenti femminili (modificando nomi propri, pronomi, aggettivi).
  • Il dataset è annotato manualmente per fenomeni linguistici: presenza di entità multiple (ME), nomi propri (PN) e uso del maschile non marcato (UM, specifico per lo spagnolo).
• Metodo di Valutazione:
  • Traduzione delle varianti maschili e femminili in basco.
  • Confronto della qualità tramite metriche automatiche (chrF++, TER).
  • Analisi della significatività statistica delle differenze di performance tra i due gruppi.

3. Sperimentazione

Gli autori hanno testato una vasta gamma di modelli:

• LLM Generali: Latxa (8B e 70B), Llama 3.1, GPT-5, Claude 4 Sonnet, DeepSeek-V3.2.
• Modelli NMT Open Source: MADLAD-400, NLLB-200, modelli HiTZ Center.
• Servizi di Traduzione Proprietari: Google Translate, Elia, Batua, Itzuli.

4. Risultati Principali

Risultati di WinoMTeus (Bias di Rappresentazione)

• Preferenza Maschile Sistematica: Tutti i modelli mostrano una preferenza sistematica per le forme maschili quando traducono professioni neutre, anche quando la professione è statisticamente femminile nella realtà (es. "infermiera", "colf", "sarta").
• Correlazione con la Realtà: Alcuni modelli (GPT-5, NLLB-200, Latxa 70B) mostrano una correlazione moderata ($r > 0.4$) con le statistiche reali del lavoro, indicando che catturano parzialmente la distribuzione reale. Tuttavia, la maggior parte dei modelli esagera il "default maschile".
• Eccezioni: La professione "infermiera" è l'unica che mostra una tendenza coerente verso la forma femminile, sebbene il bias maschile rimanga predominante in generale.
• Impatto dell'Adattamento: I modelli adattati specificamente al basco (come Latxa) performano meglio nell'allineamento con la realtà rispetto alle loro controparti generiche (Llama).

Risultati di FLORES+Gender (Bias di Qualità)

• Effetti Limitati sulla Qualità: Le differenze di qualità tra le traduzioni di frasi con riferimenti maschili e femminili sono generalmente piccole e spesso non statisticamente significative.
• Tendenze Specifiche:
  • Da Spagnolo: Alcuni modelli (es. Batua) ottengono punteggi leggermente migliori per le varianti maschili, specialmente quando è presente il "maschile non marcato" (uso generico del maschile).
  • Da Inglese: Non emerge un pattern coerente; alcuni modelli performano meglio con riferimenti femminili, altri con nomi maschili.
• Fattori Linguistici: La presenza di nomi propri o entità multiple influenza la performance in modo variabile a seconda del modello e della direzione di traduzione.

5. Significato e Conclusioni

• Bias Radicato: Il lavoro dimostra che il bias di genere è profondamente radicato nei modelli di MT e LLM, anche quando operano su lingue senza genere grammaticale. I modelli tendono a imporre il genere maschile come default, riflettendo gli stereotipi dei dati di addestramento e le convenzioni delle lingue target.
• Nuovi Standard di Valutazione: I dataset WinoMTeus e FLORES+Gender colmano un vuoto critico, fornendo strumenti per valutare il bias in lingue a bassa risorsa e senza genere, andando oltre l'anglocentrismo della ricerca attuale.
• Implicazioni Future:
  • È necessario sviluppare metodi di valutazione che considerino sia le caratteristiche linguistiche che il contesto culturale.
  • L'adattamento specifico alla lingua (fine-tuning) può migliorare la sensibilità ai pattern di genere reali.
  • Le limitazioni attuali includono la visione binaria del genere (maschile/femminile) e la natura controllata dei dataset, che non coprono tutte le sfumature dell'uso linguistico reale.

In sintesi, lo studio evidenzia che la traduzione automatica non è neutra: anche quando traduce da una lingua senza genere, i modelli tendono a "generezzare" i contenuti in modo sbilanciato verso il maschile, perpetuando disuguaglianze sociali.