Will the Prince Get True Love's Kiss? On the Model Sensitivity to Gender Perturbation over Fairytale Texts

Probleemstelling

Talenmodellen (LMs) en grote taalmodellen (LLMs) worden getraind op grote corpora die vaak sterke genderstereotypen bevatten. In het bijzonder worden sprookjes gebruikt om culturele normen door te geven, maar deze bevatten vaak verouderde en schadelijke genderrollen (bijv. de dappere prins die de hulpeloze prinses redt). Het paper onderzoekt of modellen die zijn getraind op dergelijke teksten deze stereotypen "leren" en of hun begrip van verhalen gevoelig is voor verstoringen in het geslacht van personages. Als modellen sterk afhankelijk zijn van geleerde gendercorrelaties in plaats van contextuele redenering, zullen ze falen wanneer ze geconfronteerd worden met tegenstrijdige (counterfactual) scenario's, zoals een prinses die een prins redt.

Methodologie

De auteurs gebruiken Counterfactual Data Augmentation (CDA) om de FairytaleQA-dataset (een dataset voor narratief begrip bij kinderen van kleuterschool tot 8e klas) te manipuleren. Het doel is om geleerde genderbias te doorbreken terwijl de grondwahrheid (ground truth labels) behouden blijft.

1. Data Augmentatie Strategieën:
Er werden drie methoden ontwikkeld om geslachtsgebonden woorden (bijv. prinses, naald, koningin) en voornaamwoorden om te wisselen naar hun tegenpool (prins, naald, koning), zonder de plot of het antwoord te veranderen:

• Rule-based translation: Gebruik van een statisch woordenboek met geslachtsparen (bijv. heir ↔ heiress). Dit biedt controle maar mist flexibiliteit voor nieuwe domeinen.
• LLM text rewriting: Het gebruik van een generatief LLM (GPT-3.5-turbo) via prompts om de tekst te herschrijven. Dit is flexibel maar kan inconsistent zijn en onbedoelde wijzigingen in niet-geslachtsgebonden woorden introduceren.
• LLM-assisted rule-based translation: Een hybride aanpak. Een rule-based systeem identificeert woorden; als een woord niet in het woordenboek staat, wordt het via een LLM omgezet en toegevoegd aan het woordenboek. Dit combineert precisie met de adaptiviteit van LLMs.

2. Experimenteel Opzet:

• Modellen: T5 en BART werden fijngefineerd (fine-tuned) op de originele FairytaleQA-dataset.
• Testscenario's:
  1. Modellen getraind op originele data getest op tegenstrijdige (counterfactual) testdata.
  2. Modellen getraind op een combinatie van originele en tegenstrijdige data (50/50 en 100/100 splits) getest op zowel originele als tegenstrijdige data.
• Evaluatiemetrics: ROUGE-L F1-scores voor prestatie, en een bias-score om prestatieverschillen tussen datasets te meten. Voor de generatie-case study werden kwalitatieve metrics gebruikt (plotconsistentie, bias-propagatie, veiligheid).

3. Case Study:
Om de impact op generatieve taken te testen, werd GPT-3.5-turbo geprompt om nieuwe sprookjes te genereren gebaseerd op zowel originele als tegenstrijdige input. De output werd geëvalueerd op narratieve kwaliteit en de voortplanting van stereotypen.

Belangrijkste Resultaten

1. Gevoeligheid voor Genderperturbaties:

• Modellen die zijn getraind op de originele FairytaleQA-dataset vertonen een significante prestatiedaling wanneer ze worden getest op data met omgewisselde geslachten.
• Dit bevestigt dat de modellen afhankelijk zijn van geleerde genderstereotypen in plaats van puur op de tekstuele context te redeneren.
• Extractieve vragen (waar het antwoord letterlijk in de tekst staat) lieten een grotere daling zien dan abstractive vragen (waar redenering nodig is), wat suggereert dat modellen bij extractie directer terugvallen op bias-correlaties.

2. Robuustheid door Counterfactual Training:

• Modellen die zijn fijngefineerd op een combinatie van originele en tegenstrijdige data (vooral de 50/50 mix) presteren robuuster.
• Ze vertonen minder prestatieverlies op tegenstrijdige testdata en behouden een vergelijkbare prestatie op de originele data.
• Dit bewijst dat het introduceren van tegenstrijdige voorbeelden tijdens training helpt om de modelrepresentatie te diversifiëren en minder afhankelijk te maken van stereotiepe patronen.

3. Case Study: Inclusiviteit in Generatie:

• Sprookjes gegenereerd op basis van tegenstrijdige prompts toonden minder bias-propagatie en een sterkere focus op persoonlijkheidseigenschappen in plaats van fysieke uiterlijkken.
• Ze vertoonden betere continuïteit en minder logische inconsistenties dan die gegenereerd op basis van traditionele prompts.
• De gegenereerde verhalen waren inclusiever en braken met traditionele genderrollen (bijv. vrouwelijke helden).

Bijdragen

1. Empirisch Bewijs: Het paper levert kwantitatief bewijs dat taalkundige modellen gevoelig zijn voor genderstereotypen in narratieve contexten, zelfs bij modellen die goed presteren op standaard QA-taken.
2. Nieuwe CDA-methode: De introductie van de "LLM-assisted rule-based translation" methode, die de precisie van regelgebaseerde systemen combineert met de flexibiliteit van LLMs voor domeinspecifieke augmentatie.
3. Strategie voor Mitigatie: Het demonstreert dat het mixen van originele en tegenstrijdige data tijdens fine-tuning een effectieve strategie is om bias te verminderen zonder de algehele nauwkeurigheid op de oorspronkelijke taak te verliezen.
4. Toepassing in Generatie: Het toont aan dat tegenstrijdige training data niet alleen begrip verbetert, maar ook leidt tot inclusievere en minder stereotiepe generatie van verhalen.

Significantie

De bevindingen zijn cruciaal voor de ontwikkeling van eerlijke AI-systemen, vooral in educatieve contexten waar sprookjes worden gebruikt. Het paper stelt dat het simpelweg "debiasen" van woordembeddings onvoldoende is; in plaats daarvan moet de trainingdata actief worden verrijkt met tegenstrijdige voorbeelden om modellen te leren om contextueel te redeneren in plaats van te vertrouwen op stereotypen. Dit biedt een schaalbare route naar het creëren van inclusieve narratieve AI die diversiteit in geslachtsrollen weerspiegelt, wat essentieel is voor het vermijden van schadelijke effecten op het zelfbeeld en de kansen van kinderen.

Beperkingen: De studie focust zich momenteel op de man-vrouw binair en behandelt geen niet-binaire of gender-non-conforme identiteiten, noch intersektionele vormen van bias (zoals ras of klasse), wat een aandachtspunt is voor toekomstig onderzoek.