Estimating Grammatical Gender Directions in Contextual Embeddings under Controlled and Natural Contexts

Sintesi Tecnica: Stima delle Direzioni del Genere Grammaticale nei Contextual Embeddings sotto Contesti Controllati e Naturali

1. Definizione del Problema

I modelli linguistici contestuali pre-addestrati (es. BERT, XLM-R) codificano stereotipi di genere sociali pervasivi. Sebbene i metodi di debiasing esistenti affrontino efficacemente questo problema in inglese (una lingua priva di genere grammaticale), essi incontrano criticità significative quando applicati a lingue grammaticalmente dotate di genere come lo spagnolo e il francese. In queste lingue, due segnali di genere distinti coesistono negli embedding:

1. Genere Grammaticale Morfosintattico Obbligatorio: Una proprietà linguistica inerente in cui i sostantivi inanimati sono fissati come maschili o femminili e richiedono l'accordo con articoli e aggettivi.
2. Bias di Genere Semantico Sociale: Stereotipi indesiderati appresi da corpora del mondo reale.

Gli approoli attuali confondono questi due segnali. Inoltre, il lavoro precedente sul disentanglement è stato limitato agli embedding statici delle parole, lasciando inesplorate le rappresentazioni contestuali. Una sfida significativa è la contaminazione semantica: anche i sostantivi inanimati semanticamente neutri assorbono descrizioni di genere contestuali da testi naturali, rendendo difficile isolare la pura direzione del genere grammaticale necessaria per un efficace debiasing.

2. Metodologia

Gli autori propongono un framework consapevole della contaminazione per disgiungere il genere grammaticale dal bias semantico negli embedding contestuali. La metodologia consiste in quattro componenti principali:

A. Costruzione dei Dati

• Sostantivi Inanimati: Sono stati costruiti dataset bilanciati di sostantivi inanimati spagnoli e francesi (circa 6.000 per lingua) filtrando nomi umani, occupazionali e propri.
• Fonti di Contesto: Per ogni sostantivo sono stati creati due distinti tipi di contesto:
  • Template Controllati: Template semantici neutri e fissi, progettati per minimizzare il rumore topico, lessicale e di co-occorrenza, servendo a estrarre i segnali grammaticali puri.
  • Contesti Naturali: Frasi tratte da Wikipedia per quantificare il grado di contaminazione semantica presente nell'uso del mondo reale.
• Lessico di Valutazione: Per ogni lingua è stato creato un set separato di 100 coppie di occupazioni maschile-femminile per testare se il debiasing preservi le legittime distinzioni di genere semantico.

B. Quantificazione della Contaminazione
Il framework caratterizza la contaminazione semantica come il grado in cui gli embedding dei sostantivi inanimati si allineano con un asse di genere semantico (derivato da set di parole di attributi maschio/femmina). Utilizzando un framework di scoring di tipo WEAT, gli autori calcolano un punteggio di contaminazione per ogni sostantivo. Per garantire la robustezza, vengono applicate due strategie di normalizzazione:

• Normalizzazione basata sulla Media: Corregge gli spostamenti globali della contaminazione.
• Normalizzazione basata sulla Mediana: Fornisce robustezza contro outlier e distribuzioni asimmetriche.

C. Stima della Direzione del Genere Grammaticale
Sono implementati tre stimatori per identificare la direzione del genere grammaticale ($d_g$) dagli embedding dei sostantivi:

1. Stimatore del Centroide (Centroid Estimator): Calcola la differenza tra gli embedding medi dei set maschili e femminili (approccio di spostamento distributivo).
2. Analisi Discriminante Lineare (LDA): Modella il genere come un problema di separazione supervisionata per massimizzare la separabilità delle classi.
3. Support Vector Machine (SVM) Lineare: Utilizza il vettore normale dell'iperpiano separatore come direzione del genere.

D. Framework di Valutazione
Viene proposto un sistema di metriche a doppio obiettivo per bilanciare due scopi conflittuali:

1. Punteggio di Riduzione dei Sostantivi Inanimati ($R_{noun}$): Misura la soppressione della fuga del genere grammaticale sui sostantivi inanimati dopo la proiezione ortogonale.
2. Punteggio di Preservazione delle Occupazioni ($P_{occ}$): Misura la ritenzione delle distinzioni di genere semantico nei termini occupazionali dopo la proiezione.
3. Punteggio di Trade-off: La media armonica ($T_{harm}$) dei due punteggi sopra citati viene utilizzata come metrica primaria per classificare i metodi, penalizzando gli squilibri estremi.

3. Risultati Chiave

Gli esperimenti sono stati condotti su quattro encoder pre-addestrati (BETO, mBERT, XLM-R per lo spagnolo; CamemBERT, mBERT, XLM-R per il francese) utilizzando gli embedding dell'ultimo layer.

• Performance degli Stimatori: L'estimatore del Centroide ha superato costantemente i baseline discriminativi (LinearSVM e LDA) in tutte le metriche. Ha ottenuto il più alto punteggio di trade-off armonico (0.870), suggerendo che il genere grammaticale negli embedding contestuali si manifesti più come uno spostamento distributivo globale che come un complesso confine di classificazione.
• Impatto della Fonte di Contesto: I contesti controllati, non pesati hanno prodotto le direzioni del genere grammaticale più pure.
  • Le impostazioni controllate-non pesate hanno raggiunto la più alta riduzione della fuga grammaticale ($R_{noun} \approx 0.98$) mantenendo una forte preservazione semantica.
  • I contesti naturali hanno introdotto variabilità che ha indebolito la chiarezza del segnale stimato.
  • Le strategie di pesatura (media/mediana) hanno fornito solo miglioramenti marginali in casi specifici e hanno spesso ridotto la performance di riduzione a livello di sostantivo, agendo più come un aggiustamento conservativo che come un driver primario di performance.
• Efficacia del Debiasing: Il metodo della proiezione ortogonale ha rimosso con successo le componenti del genere grammaticale dai sostantivi inanimati senza interrompere la struttura semantica lessicale generale, come validato dai test di stabilità semantica.

4. Contributi

Il paper rivendica i seguenti contributi primari:

1. Disentanglement Contestuale Pionieristico: È il primo lavoro che tenta il disentanglement del genere grammaticale-semantico specificamente per i modelli linguistici contestuali, andando oltre gli embedding statici utilizzati nella letteratura precedente.
2. Formalizzazione della Contaminazione Semantica: Gli autori definiscono e quantificano formalmente la contaminazione semantica nelle rappresentazioni dei sostantivi inanimati per i modelli contestuali, introducendo strategie di pesatura consapevoli della contaminazione per sopprimere gli artefatti distributivi distorti.
3. Nuovo Framework di Valutazione: Il paper propone un framework di valutazione a doppio obiettivo (Riduzione della Fuga + Preservazione Semantica) con una metrica di trade-off armonico, affrontando la mancanza di standard bilanciati per il debiasing nelle lingue dotate di genere grammaticale.

5. Significato e Limitazioni

Significato:
Lo studio dimosta che i template controllati sono superiori ai corpora naturali per isolare i segnali del genere grammaticale, eliminando efficacemente il rumore del corpus. Stabilisce che l'aggregazione basata su semplici centroidi è più robusta dei classificatori discriminativi per estrarre queste direzioni in spazi contestuali ad alta dimensionalità e rumorosi. Ciò fornisce una base affidabile per la ricerca sul bias di genere multilingue, separando le regole grammaticali formali dal bias semantico inerente.

Limitazioni e Direzioni Future:

• Ambito Tipologico: Le scoperte sono limitate a spagnolo e francese (lingue romanze con sistemi di genere binari). Gli autori notano che non è chiaro se questi comportamenti di disentanglement lineare si generalizzino a lingue con interazioni caso-genere, sistemi neutri o strutture di genere non binarie.
• Specificità del Modello: I risultati si basano su embedding congelati dell'ultimo layer di specifiche architetture transformer. Il comportamento del disentanglement attraverso diversi layer o architetture di modelli rimane una questione aperta.
• Strategie di Pesatura: Gli attuali schemi di pesatura media/mediana sono riconosciuti come subottimali. Gli autori suggeriscono che il lavoro futuro dovrebbe esplorare paradigmi adattivi, come il pesatura avversaria o le intervezioni causali, per modellare meglio la contaminazione semantica.

Gli autori concludono che, sebbene le strategie di pesatura offrano piccoli aggiustamenti, l'approccio più efficace per stimare le direzioni del genere grammaticale rimane l'uso di contesti controllati non pesati combinati con la stima del centroide.