Relating Word Embedding Gender Biases to Gender Gaps: A Cross-Cultural Analysis

Sintesi Tecnica: Relazione tra i Bias di Genere nei Word Embedding e i Gender Gap

Definizione del Problema
I modelli di apprendimento automatico per l'Elaborazione del Linguaggio Naturale (NLP), in particolare quelli che utilizzano i word embedding, sono noti per ereditare bias dai loro dati di addestramento, riflettendo spesso stereotipi sociali riguardanti la razza e il genere. Mentre la ricerca recente si concentra sulla debiasing (rimozione dei bias) di questi modelli per migliorare l'accuratezza e rimuovere gli stereotipi, questo articolo propone una prospettiva alternativa: questi bias intrinseci potrebbero non essere semplici errori, ma piuttosto riflessi di reali disparità statistiche (gender gap) all'interno delle culture che hanno prodotto il testo di addestramento. Il problema centrale affrontato è se l'entità e la direzione del bias di genere nei word embedding possano essere quantitativamente correlate ai reali gap di genere statistici in ambito educativo, politico, economico e sanitario attraverso diverse culture.

Metodologia
Gli autori hanno condotto un'analisi transculturale utilizzando dati di Twitter del 2018, coprendo 99 paesi e 51 regioni degli Stati Uniti (50 stati e Washington, D.C.).

1. Raccolta e Pre-elaborazione dei Dati:

   • Il dataset consisteva in tweet in lingua inglese raccolti in un periodo di 100 giorni nel 2018.
   • I tweet sono stati filtrati per includere solo quelli con tre o più parole. URL, username, hashtag, immagini ed emoji sono stati sostituiti con token.
   • I corpora sono stati costruiti per ogni paese e stato. Per le culture con oltre 10 milioni di tweet, è stato utilizzato un campione di 10 milioni. Il corpus più piccolo conteneva 98.000 tweet (Mauritius), e il più grande 122 milioni (Regno Unito).
   • Gli autori hanno notato che questi corpora sono di ordini di grandezza inferiori rispetto a quelli utilizzati in altri studi sugli embedding di tweet (es. Li et al., 2017).

2. Costruzione degli Embedding:

   • L'algoritmo primario utilizzato è stato Word2Vec (skip-gram).
   • Per l'analisi comparativa, gli autori hanno testato anche GloVe, Word2Vec CBOW e FastText.
   • I parametri includevano una dimensione della finestra di 10, una frequenza minima delle parole di 5 e vettori di output a 200 dimensioni.

3. Misurazione del Bias:

   • Gli autori hanno definito un "asse maschio-femmina" mediando i vettori delle parole specifiche per il genere maschile ($\vec{male}$) e quelle per il genere femminile ($\vec{female}$).
   • Metrica Primaria: La proiezione media dell'asse di un set di parole tematicamente neutre ($W$) sul asse maschio-femmina è stata calcolata utilizzando la formula:
     $$\text{avg}_{w \in W} \left( \frac{\vec{w} \cdot (\vec{female} - \vec{male})}{||\vec{female} - \vec{male}||^2} \right)$$
   • Questa proiezione funge da misura del bias di genere per specifici set tematici di parole (ad es., governo, minaccia, cura dei bambini, intelletto).

4. Analisi di Correlazione:

   • Gli autori hanno correlato i punteggi di bias dei set tematici di parole con 18 statistiche internazionali sul divario di genere (dal Global Gender Gap Index) e 5 statistiche basate sugli Stati Uniti (dal CDC, dall'U.S. Census Bureau e da Represent Women).
   • Selezione delle Caratteristiche: Per evitare l'overfitting, l'algoritmo ha eseguito la selezione delle caratteristiche su un 20% dei paesi/stati per selezionare le parole all'interno di un set tematico, per poi calcolare il coefficiente di determinazione $R^2$ rispetto all'intero dataset. Questo processo è stato ripetuto cinque volte e mediato.

Risultati Chiave
Lo studio ha trovato correlazioni significative e selettive tra i bias linguistici e i gap di genere statistici:

• Risultati Internazionali:

  • Empowerment Politico: Il set di parole "governo" ha mostrato una correlazione positiva con l'indice del Political Empowerment Gender Gap. Poiché il linguaggio politico mostrava un bias femminile più forte, il gap di genere nel potere politico diminuiva (ovvero, l'influenza delle donne aumentava).
  • Partecipazione Economica: I set di parole "intelletto" e "luogo di lavoro" hanno correlato positivamente con le statistiche della partecipazione economica.
  • Salute: I termini relativi alla "malattia" hanno mostrato correlazioni indirette con le statistiche di salute e sopravvivenza.
  • Gap Complessivo: La singola parola "pretty" (bella/carina) ha dimostrato la maggiore determinazione ($R^2$) rispetto all'indice di gap di genere complessivo.
  • Baseline Casuali: Quattro set di parole campionati casualmente non hanno mostrato alcuna correlazione significativa ($R^2 < 0,09$) con alcun gap di genere, confermando che i risultati non sono artefatti della metodologia.

• Risultati per gli Stati USA:

  • Divario Salariale: Il set di parole "minaccia" (es. pericoloso, tossico, sospetto) ha mostrato una forte correlazione inversa ($R^2 = 0,51$) con il divario salariale di genere negli Stati Uniti. Negli stati in cui le parole di minaccia erano più associate alle femmine, il divario salariale era maggiore (le donne guadagnavano meno centesimi per ogni dollaro).
  • Istruzione e Forza Lavoro: Le parole relative a "STEM-alum" correlando con percentuali più elevate di lauree femminili in matematica e informatica. Le parole relative al comportamento "criminale" hanno mostrato una correlazione negativa con la proporzione di legislatrici statali.
  • Esercizio Fisico: Le parole che descrivono "persistenza e devozione" hanno correlato con una riduzione dei gap di genere nei tassi di esercizio fisico.

• Confronto tra Algoritmi e Metriche:

  • Tra i quattro algoritmi testati, Word2Vec (skip-gram) combinato con la metrica di proiezione dell'asse ha prodotto i coefficienti di determinazione più elevati sia per le correlazioni dirette che per quelle indirette.
  • Valenza e Dominanza: Gli aggettivi che correlavano con la riduzione dei gap di genere (es. salari più alti, più legislatrici) avevano punteggi di valenza (positività) e dominanza significativamente più alti rispetto a quelli correlati con l'aumento dei gap.

Contributi Principali

1. Quantificazione della Relazione Bias-Gap: Il documento fornisce un metodo per quantificare il bias di genere nei word embedding e correlarlo direttamente ai gap di genere statistici in 99 paesi e 51 regioni degli Stati Uniti.
2. Specificità Tematica: Dimostra che i bias di genere non sono monolitici; specifici set tematici di parole (es. governo, minaccia) correlano con specifici domini di disparità di genere (es. potere politico, divario salariale), mentre i set di parole casuali non lo fanno.
3. Social Media come Proxy Culturale: Lo studio valida che i dati di Twitter, nonostante i corpus più piccoli e i vincoli della sola lingua inglese, possono servire come fonte plausibile per calcolare i bias di genere culturali che si allineano con le statistiche reali.
4. Validazione Algoritmica: Identifica Word2Vec con la proiezione dell'asse come la configurazione più efficace per rilevare questi specifici scarti rispetto a GloVe, FastText e metriche di bias alternative.

Significatività e Rivendicazioni
Gli autori sostengono che il loro lavoro supporti tre asserzioni principali:

1. I bias di genere culturali nel linguaggio sono associati a reali gap di genere statistici.
2. Questi bias possono essere caratterizzati dalla forza e dalla direzione della loro correlazione con specifici gap.
3. I set di parole tematiche catturano diverse dimensioni dei bias e dei gap di genere, permettendo un'analisi sfumata.

Il documento conclude che questi risultati sono in linea con le teorie sociali che suggeriscono che le differenze nella valutazione implicita del genere (bias linguistico) si manifestino in differenze nelle opportunità e nello status di genere. Tuttavia, gli autori dichiarano esplicitamente che la loro analisi illustra correlazioni, non causalità. Avvertono che il potere interpretativo è limitato e che l'uso di tweet esclusivamente in inglese crea punti ciechi culturali, escludendo le popolazioni senza accesso alla tecnologia o competenza linguistica. Si suggerisce che il lavoro futuro incorpori modelli causali ed espanda ad altre lingue.