Relating Word Embedding Gender Biases to Gender Gaps: A Cross-Cultural Analysis

Technische Samenvatting: Het relateren van genderbiases in woordembeddings aan genderkloven

Probleemstelling
Machine learning-modellen voor Natural Language Processing (NLP), met name die gebruikmaken van word embeddings, staan erom bekend dat ze vooroordelen erven uit hun trainingsdata, wat vaak maatschappelijke stereotypen met betrekking tot ras en gender weerspiegelt. Terwijl recent onderzoek zich richt op het ontbiasen (debiasing) van deze modellen om de nauwkeurigheid te verbeteren en stereotypen te verwijderen, stelt dit artikel een alternatief perspectief: deze inherente vooroordelen zijn mogelijk niet louter fouten, maar eerder reflecties van werkelijke statistische ongelijkheden (genderkloven) binnen de culturen die de trainings-teksten hebben geproduceerd. Het kernprobleof dat wordt geadresseerd is of de omvang en richting van de genderbias in word embeddings kwantitatief gecorreleerd kunnen worden met reële statistische genderkloven in onderwijs, politiek, economie en gezondheidszorg over verschillende culturen heen.

Methodologie
De auteurs voerden een cross-culturele analyse uit met behulp van Twitter-data uit 2018, die 99 landen en 51 Amerikaanse regio's (50 staten en Washington, D.C.) beslaat.

1. Datacollectie en Preprocessing:

   • De dataset bestond uit Engelstalige tweets verzameld gedurende 100 dagen in 2018.
   • Tweets werden gefilterd om alleen die met drie of meer woorden te bevatten. URL's, gebruikersnamen, hashtags, afbeeldingen en emoji's werden vervangen door tokens.
   • Corpora werden geconstrueerd voor elk land en elke staat. Voor culturen die meer dan 10 miljoen tweets overstegen, werd een steekproef van 10 miljoen gebruikt. Het kleinste corpus bevatte 98.000 tweets (Mauritius), en het grootste 122 miljoen (Verenigd Koninkrijk).
   • De auteurs merkten op dat deze corpora orders van grootte kleiner zijn dan die gebruikt in andere studies naar tweet embeddings (bijv. Li et al., 2017).

2. Constructie van Embeddings:

   • Het primaire algoritme was Word2Vec (skip-gram).
   • Voor vergelijkende analyse testten de auteurs ook GloVe, Word2Vec CBOW en FastText.
   • Parameters omvatten een window size van 10, een minimale woordfrequentie van 5, en 200-dimensionale outputvectoren.

3. Meten van Bias:

   • De auteurs definieerden een "mannelijk-vrouwelijk as" door de vectoren van man-specifieke woorden ($\vec{male}$) en vrouw-specifieke woorden ($\vec{female}$) te middelen.
   • Primaire Metriek: De gemiddelde asprojectie van een thematisch neutrale woordenset ($W$) op de mannelijk-vrouwelijk as werd berekend met de formule:
     $$\text{avg}_{w \in W} \left( \frac{\vec{w} \cdot (\vec{female} - \vec{male})}{||\vec{female} - \vec{male}||^2} \right)$$
   • Deze projectie dient als de maatstaf voor genderbias voor specifieke thematische woordensets (bijv. overheid, dreiging, kinderopvang, intellect).

4. Correlatieanalyse:

   • De auteurs correleerden de bias-scores van thematische woordensets met 18 internationale gendergap-statistieken (uit de Global Gender Gap Index) en 5 Amerikaanse statistieken (uit de CDC, de U.S. Census Bureau en Represent Women).
   • Feature Selectie: Om overfitting te voorkomen, voerde het algoritme feature selectie uit op 20% van de landen/staten om woorden binnen een thematische set te selecteren, en berekende vervolgens de $R^2$ determinatiecoëfficiënt tegen de volledige dataset. Dit proces werd vijf keer herhaald en gemiddeld.

Belangrijkste Resultaten
De studie vond significante, selectieve correlaties tussen linguïstische biases en statistische genderkloven:

• Internationale Bevindingen:

  • Politieke Empowerment: De "overheid"-woordenset vertoonde een positieve correlatie met de index voor de gendergap in politieke empowerment. Naarmate de politieke taal een sterkere vrouwelijke bias vertoonde, nam de gendergap in politieke macht af (d.w.z. de invloed van vrouwen nam toe).
  • Economische Participatie: "Intellect"- en "werkplek"-woordensets correleerden positief met statistieken voor economische participatie.
  • Gezondheid: "Ziekte"-termen vertoonden indirecte correlaties met statistieken voor gezondheid en overleving.
  • Algehele Gap: Het enkele woord "pretty" demonstreerde de sterkste determinatie ($R^2$) tegen de algemene gendergap-index.
  • Random Baselines: Vier willekeurig gesamplede woordensets vertoonden geen significante correlatie ($R^2 < 0,09$) met enige gendergap, wat bevestigt dat de resultaten geen artefacten van de methodologie zijn.

• Amerikaanse Staat-bevindingen:

  • Salariskloof: De "dreiging"-woordenset (bijv. gevaarlijk, toxisch, verdacht) vertoonde een sterke inverse correlatie ($R^2 = 0,51$) met de gender pay gap in de VS. In staten waar dreigingswoorden sterker geassocieerd werden met vrouwen, was de loonkloof groter (vrouwen verdienden minder centen per dollar).
  • Onderwijs en Arbeidsmarkt: "STEM-alum"-woorden correleerden met hogere percentages vrouwelijke wiskunde- en CS-graden. "Crimineel" gedragswoorden correleerden negatief met het aandeel vrouwelijke staatswetgevers.
  • Beweging: Woorden die "volharding en toewijding" beschrijven, correleerden met een vermindering van de genderkloven in bewegingspercentages.

• Algoritme en Metriek Vergelijking:

  • Onder de vier geteste algoritmen leverde Word2Vec (skip-gram) in combinatie met de asprojectie-metriek de hoogste determinatiecoëfficiënten voor zowel directe als indirecte correlaties.
  • Valentie en Dominantie: Adjectieven die correleerden met verminderde genderkloven (bijv. hogere lonen, meer vrouwelijke wetgevers) hadden significant hogere valentie- en dominantiescores dan die correleerden met toenemende kloven.

Belangrijkste Bijdragen

1. Kwantificering van de Relatie tussen Bias en Kloof: Het artikel biedt een methode om genderbias in word embeddings te kwantificeren en deze direct te correleren met statistische genderkloven over 99 landen en 51 Amerikaanse regio's.
2. Thematische Specificiteit: Het demonstreert dat genderbiases niet monolithisch zijn; specifieke thematische woordensets (bijv. overheid, dreiging) correleren met specifieke domeinen van genderdispariteit (bijv. politieke macht, loonkloof), terwijl willekeurige woordensets dat niet doen.
3. Sociale Media als Culturele Proxy: De studie valideert dat Twitter-data, zelfs met kleinere corpusgroottes en een beperking tot het Engels, een plausibele bron kunnen zijn voor het berekenen van culturele genderbiases die overeenkomen met reële statistieken.
4. Algoritmische Validatie: Het identificeert Word2Vec met asprojectie als de meest effectieve configuratie voor het detecteren van deze specifieke correlaties vergeleken met GloVe, FastText en alternatieve bias-metrieken.

Betekenis en Claims
De auteurs stellen dat hun werk drie beweringen ondersteunt:

1. Culturele genderbiases in taal zijn geassocieerd met werkelijke statistische genderkloven.
2. Deze biases kunnen worden gekarakteriseerd door de sterkte en richting van hun correlatie met specifieke kloven.
3. Thematische woordensets vangen verschillende dimensies van genderbias en kloven op, wat een genuanceerde analyse mogelijk maakt.

Het artikel concludeert dat deze bevindingen in lijn zijn met sociale theorieën die suggereren dat verschillen in impliciete genderwaardering (linguïstische bias) zich manifesteren in verschillen in genderkansen en status. De auteurs benadrukken echter expliciet dat hun analyse correlaties illustreert, en geen causaliteit. Ze waarschuwen dat de interpretatieve kracht beperkt is en dat het gebruik van uitsluitend Engelse tweets culturele blinde vlekken creëert, waarbij populaties zonder toegang tot technologie of zonder Engelse taalvaardigheid worden uitgesloten. Toekomstig werk wordt gesuggereerd om causale modellen te incorporeren en uit te breiden naar andere talen.