Estimating Grammatical Gender Directions in Contextual Embeddings under Controlled and Natural Contexts

Technische Samenvatting: Het schatten van grammaticale geslachtsrichtingen in contextuele embeddings onder gecontroleerde en natuurlijke contexten

1. Probleemstelling

Pre-trained contextuele taalmodellen (bijv. BERT, XLM-R) coderen hardnekkige sociale genderstereotypen. Hoewel bestaande debiasing-methoden dit effectief aanpakken in het Engels (een taal zonder grammaticaal geslacht), lopen ze kritieke beperkingen op bij toepassing op grammaticaal geslachtsgevoelige talen zoals Spaans en Frans. In deze talen coëxisteren twee verschillende gender-signalen binnen de embeddings:

1. Verplichte morfosyntactische grammaticale geslachtskenmerken: Een inherente linguïstische eigenschap waarbij levenloze zelfstandige naamwoorden vaststaan als mannelijk of vrouwelijk en overeenstemming vereisen met artikelen en bijvoeglijke naamwoorden.
2. Sociale semantische genderbias: Ongewenste stereotypen die zijn geleerd uit real-world corpora.

Huidige benaderingen vervagen deze twee signalen met elkaar. Bovendien was eerder werk over ontwarring (disentanglement) beperkt tot statische woordembeddings, waardoor contextuele representaties nog niet onderzocht zijn. Een aanzienlijke uitdaging is semantische contaminatie: zelfs semantisch neutrale levenloze zelfstandige naamwoorden absorberen contextuele genderbeschrijvingen uit natuurlijke teksten, wat het moeilijk maakt om de zuivere grammaticale geslachtsrichting te isoleren die nodig is voor effectieve debiasing.

2. Methodologie

De auteurs stellen een contaminatie-bewust framework voor om grammatical geslacht te ontwarren van semantische bias in contextuele embeddings. De methodologie bestaat uit vier hoofdonderdelen:

A. Dataconstructie

• Levenloze zelfstandige naamwoorden: Gebalanceerde datasets van Spaanse en Franse levenloze zelfstandige naamwoorden werden geconstrueerd (ca. 6.000 per taal) door menselijke, beroeps- en eigennamen te filteren.
• Contextbronnen: Twee verschillende contexttypen werden voor elk zelfstandig naamwoord gecreëerd:
  • Gecontroleerde sjablonen (Templates): Semantisch neutrale, vaste sjablonen ontworpen om topic-, lexicale- en co-occurrence-ruis te minimaliseren, dienend om zuivere grammaticale signalen te extraheren.
  • Natuurlijke contexten: Zinnen uit Wikipedia om de mate van semantische contaminatie te kwantificeren die aanwezig is in real-world gebruik.
• Evaluatie-lexicon: Een aparte set van 100 mannelijk-vrouwelijke beroepsparen per taal werd gemaakt om te testen of debiasing legitieme semantische genderonderscheid behoudt.

B. Kwantificering van contaminatie
Het framework karakteriseert semantische contaminatie als de mate waarin embeddings van levenloze zelfstandige naamwoorden uitlijnen met een semantische genderas (afgeleid van sets met mannelijke/vrouwelijke attribuutwoorden). Met behulp van een WEAT-stijl scoringframework berekenen de auteurs een contaminatiescore voor elk zelfstandig naamwoord. Om robuustheid te garanderen, worden twee normalisatiestrategieën toegepast:

• Gemiddelde-gebaseerde normalisatie: Corrigeert voor globale verschuivingen in contaminatie.
• Mediaan-gebaseerde normalisatie: Biedt robuustheid tegen uitschieters en scheve distributies.

C. Schatting van de grammaticale geslachtsrichting
Drie estimators worden geïmplementeerd om de grammaticale geslachtsrichting ($d_g$) te identificeren uit de zelfstandige naamwoord-embeddings:

1. Centroid Estimator: Berekent het verschil tussen de gemiddelde embeddings van mannelijke en vrouwelijke sets (distributional shift benadering).
2. Lineaire Discriminant Analyse (LDA): Modelleert gender als een gesuperviseerd scheidingsprobleem om klassenseparabiliteit te maximaliseren.
3. Lineaire Support Vector Machine (SVM): Gebruikt de normale vector van het scheidende hypervlak als de geslachtsrichting.

D. Evaluatieframework
Een duaal-doelgericht metrieksysteem wordt voorgesteld om twee conflicterende doelen te balanceren:

1. Inanimate Noun Reduction Score ($R_{noun}$): Meet de onderdrukking van grammaticale genderlekkage op levenloze zelfstandige naamwoorden na orthogonale projectie.
2. Occupational Preservation Score ($P_{occ}$): Meet het behoud van semantische genderonderscheid in beroepstermen na projectie.
3. Trade-off Score: Het harmonisch gemiddelde ($T_{harm}$) van de bovenstaande twee scores wordt gebruikt als de primaire metriek om methoden te rangschikken, waarbij extreme onbalans wordt bestraft.

3. Belangrijkste Resultaten

Experimenten werden uitgevoerd op vier pre-trained encoders (BETO, mBERT, XLM-R voor Spaans; CamemBERT, mBERT, XLM-R voor Frans) met behulp van final-layer embeddings.

• Prestaties van de Estimators: De Centroid estimator presteerde consistent beter dan discriminatieve baselines (LinearSVM en LDA) over alle metrieken. Het behaalde de hoogste harmonische trade-off score (0,870), wat suggereert dat grammatical geslacht in contextuele embeddings zich meer manifesteert als een globale distributionele verschuiving dan als een complexe classificatiegrens.
• Impact van de Contextbron: Gecontroleerde, ongegewogen contexten leverden de zuiverste grammaticale geslachtsrichtingen op.
  • Gecontroleerde, ongegewogen settings bereikten de hoogste reductie in grammaticale lekkage ($R_{noun} \approx 0,98$) terwijl ze een sterke semantische preservatie behielden.
  • Natuurlijke contexten introduceerden variabiliteit die de helderheid van het geschatte signaal verzwakte.
  • Wegingsstrategieën (gemiddelde/mediaan) boden slechts marginale verbeteringen in specifieke gevallen en werkten vaak als een conservatieve aanpassing in plaats van een primaire prestatie-driver, wat de reductie op naamwoogniveau verminderde.
• Debiasing Effectiviteit: De orthogonale projectiemethode slaagde erin om de grammaticale gendercomponenten uit levenloze zelfstandige naamwoorden te verwijderen zonder de algemene lexicale semantische structuur te verstoren, zoals gevalideerd door semantische stabiliteitstests.

4. Bijdragen

Het artikel claimt de volgende primaire bijdragen:

1. Pionierswerk in Contextuele Ontwarring: Dit is het eerste werk dat probeert grammaticale-semantische genderontwarring specifiek voor contextuele taalmodellen te bewerkstelligen, waarmee het verder gaat dan de statische embeddings die in eerdere literatuur werden gebruikt.
2. Formalisering van Semantische Contaminatie: De auteurs definiëren en kwantificeren formeel semantische contaminatie in de representaties van levenloze zelfstandige naamwoorden voor contextuele modellen, en introduceren contaminatie-bewuste weegstrategieën om bevooroordeelde distributionele artefacten te onderdrukken.
3. Nieuw Evaluatieframework: Het artikel stelt een duaal-doelgericht evaluatieframework voor (Lekkage Reductie + Semantische Preservatie) met een harmonische trade-off metriek, waarmee het gebrek aan gebalanceerde standaarden voor debiasing in grammaticaal geslachtsgevoelige talen wordt geadresseerd.

5. Betekenis en Beperkingen

Betekenis:
De studie toont aan dat gecontroleerde sjablonen superieur zijn aan natuurlijke corpora voor het isoleren van grammaticale geslachtssignalen, waardoor corpusruis effectief wordt geëlimineerd. Het stelt vast dat eenvoudige centroid-gebaseerde aggregatie robuuster is dan discriminatieve classifiers voor het extraheren van deze richtingen in hoogdimensionale, ruisige contextuele ruimtes. Dit biedt een betrouwbare basis voor meertalig genderbias-onderzoek door formele grammaticale regels te scheiden van inherente semantische bias.

Beperkingen en Toekomstige Richtingen:

• Typologische reikwijdte: De bevindingen zijn beperkt tot Spaans en Frans (Romaanse talen met binaire gendersystemen). De auteurs merken op dat het onduidelijk is of deze lineaire ontwarring gedragingen generaliseren naar talen met case-gender interacties, neutere systemen of niet-binaire genderstructuren.
• Modelspecificiteit: De resultaten zijn gebaseerd op frozen final-layer embeddings van specifieke transformer-architecturen. Het gedrag van ontwarring over verschillende lagen of modelarchitecturen blijft een open vraag.
• Wegingsstrategieën: De huidige gemiddelde/mediaan weegschema's worden als suboptimaal beschouwd. De auteurs suggereren dat toekomstig werk adaptieve paradigma's moet verkennen, zoals adversariële weging of causale interventies, om semantische contaminatie beter te modelleren.

De auteurs concluderen dat hoewel wegingstrategieën kleine aanpassingen bieden, de meest effectieve benadering voor het schatten van grammaticale geslachtsrichtingen het gebruik van ongegewogen gecontroleerde contexten gecombineerd met centroid-gebaseerde schatting blijft.