Is She Even Relevant? When BERT Ignores Explicit Gender Cues

Sintesi Tecnica: "È Ancora Rilevante? Quando BERT Ignora i Segnali Espliciti di Genere"

Enunciato del Problema
Mentre il pregiudizio di genere nei Modelli Linguistici di Grandi Dimensioni (LLM) è stato ampiamente indagato per l'inglese, le lingue con genere grammaticale o morfologico rimangono relativamente poco studiate. Questo divario è critico perché le strutture grammaticali possono oscurare o distorcere la misurazione degli stereotipi sociali. Il paper si concentra sull'olandese, una lingua che occupa una posizione intermedia tra sistemi pienamente con genere (come il tedesco) e sistemi largamente privi di genere (come l'inglese). L'olandese presenta una tensione tra "neutralizzazione" (dove le forme storicamente maschili, morfologicamente non marcate, funzionano come termini generici) e "femminilizzazione" (dove le forme esplicitamente femminili sono derivate tramite suffissi). Gli autori investigano come un modello BERT olandese, addestrato da zero, codifichi le informazioni di genere e se i segnali contestuali espliciti (ad esempio, il pronome zij che significa "lei") possano sovrascrivere le associazioni statistiche apprese (ad esempio, idraulico $\rightarrow$ maschio) all'interno delle rappresentazioni interne del modello.

Metodologia
Lo studio impiega un'analisi a livello di checkpoint di un modello BERT olandese addestrato interamente da zero sul corpus SoNaR-500 (sottoinsieme di libri, $\approx$26 milioni di parole). La metodologia integra tecniche di proiezione di sottospazio statiche con template di frasi controllate per tracciare l'evoluzione del pregiudizio durante l'addestramento.

1. Addestramento del Modello: Un modello BERT viene addestrato da zero per 100 epoche. Vengono salvati checkpoint intermedi per tracciare l'emergere delle rappresentazioni di genere nel tempo.
2. Costruzione del Sottospazio di Genere: A ogni checkpoint, una Support Vector Machine (SVM) lineare viene addestrata sugli embedding contestuali di 60 coppie di parole di genere inequivocabile (ad esempio, man vs. vrouw) per derivare un asse di genere dinamico. Gli autori evitano pronomi ambigui (come zij, che può significare "lei" o "loro") per garantire che il sottospazio rifletta distinzioni di genere chiare.
3. Valutazione del Pregiudizio: Gli autori proiettano gli embedding dei termini professionali dai template di frasi controllati sui sottospazi di genere appresi. La struttura del template è [TARGET] è un [ATTRIBUTO] (ad esempio, "Lei è un idraulico").
   • Variabili: Lo studio varia sistematicamente il genere del target (maschile/femminile), la marcatura morfologica dell'attributo (neutro/non marcato vs. suffisso femminile) e l'allineamento allo stereotipo (pro-stereotipico vs. anti-stereotipico basato sulle statistiche della forza lavoro).
   • Metrica: L'accuratezza è misurata verificando se l'embedding della professione proiettato si allinea con il genere specificato dal contesto della frase (il target) piuttosto che con l'associazione statistica predefinita del modello.

Risultati Chiave
L'analisi produce quattro risultati principali riguardanti la formazione e il comportamento delle rappresentazioni di genere:

1. Emergenza della Separabilità Lineare: Le informazioni di genere diventano chiaramente linearmente separabili nello spazio degli embedding intorno all'epoca 20. Sebbene l'accuratezza aumenti costantemente, si stabilizza appena sopra 0,92, indicando che il genere è una caratteristica stabile delle rappresentazioni apprese nelle prime fasi del processo di addestramento.
2. Distribuzione delle Informazioni di Genere: Contrariamente all'idea di una singola "unità di genere", le informazioni di genere sono distribuite su più dimensioni degli embedding. Tuttavia, la distribuzione è asimmetrica:
   • Le rappresentazioni maschili sono codificate in modo diffuso su molte dimensioni, funzionando come un default robusto e non marcato.
   • Le rappresentazioni femminili sono concentrate in un sottoinsieme più piccolo e specifico di dimensioni.
3. Fallimento della Sovrascrittura Contestuale: I segnali contestuali espliciti spesso falliscono nel sovrascrivere i prior appresi. In contesti anti-stereotipici (ad esempio, "Lei è un idraulico"), la rappresentazione interna del modello della professione rimane allineata con il genere maschile stereotipico in modo significativamente più frequente rispetto al segnale femminile contestuale. Le associazioni stereotipiche sono previste con un'accuratezza dell'82,5%, mentre le associazioni anti-stereotipiche scendono al 43,7%.
4. Dominio dei Marcatori Morfologici: Il modello si affida pesantemente a segnali morfologici di superficie piuttosto che integrare informazioni contestuali. Quando una professione ha un suffisso femminile esplicito (ad esempio, verpleegster), la rappresentazione si allinea con il sottospazio femminile con alta accuratezza (83% in contesti anti-stereotipici). Tuttavia, quando l'attributo è morfologicamente neutro (ad esempio, verpleger), il modello ricade nell'interpretazione maschile, anche quando il soggetto è esplicitamente femminile.

Contributi Chiave

• Analisi a Livello di Checkpoint: Questo lavoro fornisce una delle prime indagini controllate a livello di checkpoint su come le informazioni di genere emergono in un'architettura basata su Transformer, estendendo il lavoro precedente sui modelli ricorrenti (LSTM) ai moderni modelli BERT.
• Proiezione del Sottospazio Contestuale: Gli autori adattano l'analisi di sottospazio basata sulla proiezione a un contesto contestuale, combinandola con template di frasi controllate per misurare direttamente l'interazione tra segnali di genere espliciti e connotazioni di genere apprese.
• Approfondimenti sul Genere Morfologico: Utilizzando l'olandese, lo studio dimostra che anche segnali femminili forti ed espliciti (pronomi) possono essere sovrascritti da default stereotipati quando il termine della professione è morfologicamente non marcato. Questo evidenzia le sfide specifiche del pregiudizio nelle lingue in cui il genere grammaticale e gli stereotipi sociali interagiscono in modo complesso.
• Baseline Meccanicistica: I risultati stabiliscono una baseline per comprendere come si forma e si stabilizza il pregiudizio strutturale di genere, suggerendo che la "contestualizzazione" in questi modelli non è sufficientemente dinamica lungo la direzione del genere per riflettere in modo affidabile i segnali espliciti in scenari anti-stereotipici.

Significato e Affermazioni
Il paper afferma che i suoi risultati sfidano l'assunto secondo cui gli embedding contestuali integrano in modo robusto i segnali locali per regolare le rappresentazioni delle parole. Al contrario, gli autori sostengono che per il modello BERT olandese, i segnali contestuali sono frequentemente oscurati dai prior interni e dai marcatori morfologici. Il comportamento "default maschile" persiste perché le forme non marcate, storicamente maschili, funzionano come termini generici nei dati di addestramento, creando un vantaggio strutturale per le rappresentazioni codificate come maschili.

Gli autori concludono che, sebbene il modello impari a distinguere il genere, lo fa in un modo che rafforza le asimmetrie esistenti: il maschile è il default diffuso, mentre il femminile è un segnale marcato e concentrato che richiede una suffissazione morfologica esplicita per essere codificato in modo affidabile. Di conseguenza, le applicazioni che si basano su queste rappresentazioni (come la traduzione o la risoluzione anaforica) possono riprodurre stereotipi di genere anche quando l'input li contraddice esplicitamente. Il paper nota modestamente che queste conclusioni sono limitate al livello rappresentazionale catturato dalle sonde e non misurano direttamente le prestazioni dei task a valle, ma offrono un'analisi critica dei meccanismi di formazione del pregiudizio nell'NLP multilingue.