ConGA: Guidelines for Contextual Gender Annotation. A Framework for Annotating Gender in Machine Translation

Titolo: ConGA: Linee guida per l'annotazione contestuale del genere. Un framework per l'annotazione del genere nella Traduzione Automatica.

1. Il Problema

La gestione del genere linguistico rappresenta una sfida persistente per i sistemi di Traduzione Automatica (MT) e i Modelli Linguistici su Grande Scala (LLM), in particolare quando si traduce da lingue a genere neutro (come l'inglese) verso lingue morfologicamente marcate per il genere (come l'italiano).

• Asimmetria Strutturale: L'inglese spesso omette il genere grammaticale (es. "I am a nurse", "I am happy"), mentre l'italiano richiede un accordo esplicito su multiple categorie grammaticali (nomi, aggettivi, participi, articoli).
• Bias Sistemico: Quando la fonte è ambigua, i sistemi MT tendono a ricorrere alla forma maschile come default statistico o stereotipato, rafforzando pregiudizi di genere e riducendo l'accuratezza.
• Mancanza di Standard: Esiste una carenza di framework unificati per valutare e annotare il bias di genere in modo comparabile tra lingue diverse, con la maggior parte delle ricerche attuali focalizzata sui dati inglesi monolingue o su metriche quantitative superficiali senza un'analisi linguistica profonda.

2. Metodologia: Il Framework ConGA

Gli autori presentano ConGA (Contextual Gender Annotation), un framework linguistico fondato per l'annotazione a livello di parola e l'analisi del bias.

• Dataset: Lo studio utilizza il dataset gENder-IT (derivato da MuST-SHE), un corpus parallelo inglese-italiano.
• Schemi di Annotazione:
  • Inglese (Sorgente): Vengono utilizzati tre tag semantici basati sul contesto:
    • <M> (Maschile): genere esplicito o fortemente implicato.
    • <F> (Femminile): genere esplicito o fortemente implicato.
    • <A> (Ambiguo): quando il genere non è inferibile dal contesto (es. pronomi di prima/seconda persona, ruoli neutri).
  • Italiano (Target): Vengono utilizzati solo tag grammaticali <M> e <F>.
    • L'annotazione si applica solo agli elementi che realizzano morfologicamente il genere (aggettivi, participi passati, articoli, pronomi).
    • Le forme neutre o non marcate rimangono non annotate. Questo è cruciale: se un'entità ambigua in inglese viene tradotta in italiano con un genere esplicito (es. <A> $\to$ <M>), ciò viene rilevato come potenziale bias.
• Identificatori di Entità: Ogni tag è arricchito da un identificatore numerico (es. <A1>, <F1>) per tracciare le entità attraverso le frasi e allineare sorgente e target a livello di entità.
• Processo Sperimentale:
  • Traduzione del corpus gENder-IT da Inglese a Italiano utilizzando due modelli: TowerLLM (TowerInstruct-7B) e mBART.
  • Temperatura di inferenza fissata a 0.2 per garantire coerenza semantica e ridurre le allucinazioni, isolando il bias intrinseco del modello.
  • Annotazione manuale effettuata con lo strumento INCEpTION da parte di un linguista esperto, seguendo regole rigorose di accordo grammaticale.

3. Contributi Chiave

1. Framework ConGA: Una metodologia linguistica rigorosa che distingue tra genere semantico (sorgente) e realizzazione grammaticale (target), permettendo di misurare non solo errori, ma anche l'introduzione arbitraria di genere.
2. Dataset Gold-Standard: Creazione di un corpus parallelo annotato a livello di parola e entità, specifico per valutare il bias di genere nelle traduzioni EN-IT.
3. Metriche di Valutazione Ibride: Introduzione di una valutazione quantitativa (Precision, Recall, F1-score) applicata a livello di entità, che distingue tra:
   • Match: Corrispondenza corretta del genere.
   • Mismatch (Errore): Cambio di genere (es. F $\to$ M).
   • Mismatch (Bias): Risoluzione di un'entità ambigua (<A>) in un genere specifico (<M> o <F>).
   • Unmatched: Entità presenti nella sorgente ma assenti nel target.

4. Risultati

L'analisi quantitativa sui modelli TowerLLM e mBART rivela pattern sistematici di bias:

• Sovra-utilizzo del Maschile: Entrambi i modelli mostrano una forte tendenza a defaultare sul genere maschile quando la fonte è ambigua.
  • Bias A $\to$ M: Il numero di casi in cui un'entità ambigua (<A>) viene tradotta in maschile è significativamente superiore rispetto alla traduzione in femminile (es. 215 casi A$\to$M contro 35 A$\to$F per TowerLLM).
• Performance di Genere:
  • Maschile: Alta Recall (il modello genera spesso la forma maschile), ma Precisione più bassa (spesso genera il maschile anche quando non necessario o errato).
  • Femminile: Bassa Recall (il modello spesso fallisce nel generare la forma femminile corretta quando presente nella fonte) e una generazione più selettiva.
• Confronto Modelli: TowerLLM mostra una precisione leggermente superiore rispetto a mBART, ma entrambi i sistemi confermano l'esistenza di un "bias maschile di default" strutturale, non risolvibile solo con architetture neurali più avanzate senza interventi specifici.

5. Significato e Conclusioni

• Validazione del Bias Strutturale: Lo studio conferma che il bias di genere persiste anche nei moderni LLM, riflettendo una disuguaglianza sistemica piuttosto che variazioni casuali. L'asimmetria nella risoluzione dell'ambiguità (preferenza per il maschile) agisce come un meccanismo di rinforzo degli stereotipi.
• Implicazioni per la Mitigazione: Il dataset annotato e le linee guida ConGA offrono una base solida per strategie di mitigazione, come l'addestramento tramite Direct Preference Optimization (DPO) o il fine-tuning mirato per migliorare l'accordo di genere consapevole del contesto.
• Riproducibilità: ConGA fornisce un benchmark scalabile e riproducibile per il confronto tra sistemi e per l'analisi del bias cross-linguistico, spostando il focus dalla semplice valutazione della qualità della traduzione alla valutazione dell'equità sociale e linguistica.

In sintesi, il paper dimostra che senza un'annotazione contestuale fine e una valutazione specifica della risoluzione dell'ambiguità, i sistemi di traduzione continuano a perpetuare pregiudizi di genere, rendendo il framework ConGA uno strumento essenziale per lo sviluppo di NLP più equo e multilingue.