Technische Samenvatting: HEIMAT – Een heuristisch perspectief op het de-biasing van taalmodellen

Probleemstelling

Taalmodellen (LM's), inclusief Pre-trained Language Models (PLM's) en Large Language Models (LLM's), verwerven onvermijdelijk maatschappelijke vooroordelen (biases) tijdens de pre-training vanwege de aard van hun trainingsdata, die afkomstig is uit online gemeenschappen die de werkelijke ongelijkheden weerspiegelen. Deze vooroordelen manifesteren zich in downstream taken, zoals het associëren van specifieke demografieën (bijv. geslacht, ras) met bepaalde beroepen of narratieven, wat potentieel schadelijke stereotypen versterkt en sociale schade veroorzaakt.

Bestaande de-biasing methoden kampen met aanzienlijke beperkingen:

• Hoge kosten: Strategieën die steunen op counterfactual data-augmentatie of representatie-projectie zijn computationeel duur en moeilijk schaalbaar.
• Afhankelijkheid van handmatige annotatie: Veel benaderingen vereisen handmatig gecureerde datasets of vaste voorkeursdatasets, die kostbaar zijn om te produceren en moeilijk te generaliseren over diverse talen, culturen en bias-categorieën.
• Gebrek aan generaliseerbaarheid: Huidige methoden gaan vaak uit van culturele universaliteit of richten zich primair op Engels, waardoor ze niet in staat zijn de nuances van cross-culturele bias aan te pakken. Ze vertrouwen vaak op een "one-size-fits-all"-benadering die geen rekening houdt met de specifieke bias-tendensen van verschillende modellen.

De kernuitdaging die dit werk adresseert is: Hoe kunnen we taalmodellen de-biasen over talen en culturen heen zonder te vertrouwen op vaste voorkeursdatasets of externe corpora?

Methodologie: HEIMAT-framework

De auteurs stellen HEIMAT voor (HEurIstic-style autoMATic debiasing), een framework dat is ontworpen om onafhankelijk van externe corpora en handmatige lexiconen te opereren. Het bestaat uit twee primaire fasen: Bias Disclosure (onthulling van bias) en Debiasing Fine-tuning.

1. Bias Disclosure

Deze fase heeft als doel de intrinsieke vooroordelen van het model expliciet te onthullen en een set minimaal contrasterende contextuele prompts te construeren.

• Heuristische Prompts: Het framework maakt gebruik van zes vooraf gedefinieerde templates om heuristische prompts te genereren. Deze prompts combineren drie componenten:
  • Target Word ($W_t$): De sociale entiteit (bijv. "jonge vrouw").
  • Feature Word ($W_f$): Contextuele attributen (bijv. "verschijnt in een ziekenhuis").
  • Bias Type Word ($W_b$): De categorie van belang (bijv. "baan").
  • Voorbeeld: "Deze jonge vrouw verschijnt vaak in een ziekenhuis, en haar baan is als een [MASK]."
• Associatie-prompts & Substitutielijsten: Om de demografische dekking uit te breiden, wordt het model geprompt om gerelateerde demografische termen te genereren op basis van zijn initiële voorspellingen. Dit creëert een Substitution List ($S_L$) die groepen gerelateerde termen bevat (bijv. "Aziatisch", "Hispanic", "Latinx").
• Context Prompt Set (CPS): Met behulp van de substitutielijst construeert het framework een set contextuele prompts waarbij het demografische attribuut wordt gevarieerd terwijl de semantische context identiek blijft. Voor autoregressieve modellen worden zinstructuren geherordend om ervoor te zorgen dat het model conditioneert op het demografische attribuut voordat het volgende token wordt voorspeld.

2. Debiasing Fine-tuning

Het model wordt gefinetuned om de discrepantie in zijn voorspellingen over de geconstrueerde Context Prompt Set te minimaliseren.

• Doel: Het doel is om ervoor te zorgen dat het model consistente voorspellingsdistributies produceert voor prompts die alleen verschillen in demografische attributen, waardoor demografisch-invariante gedragingen worden afgedwongen zonder de contextuele semantiek te wijzigen.
• Loss Function: Het framework minimaliseert de Jensen-Shannon Divergentie (JSD) loss ($L_{JSD}$) tussen de voorspellingsdistributies geïnduceerd door de verschillende prompts in de CPS.
  $$L_{JSD} = \frac{1}{n} \sum_{i=1}^{n} D_{KL} \left( p_i \middle\| \frac{1}{n} \sum_{j=1}^{n} p_j \right)$$
  Waarbij $p_i$ de voorspellingsdistributie is voor de $i$-de contextuele prompt en $D_{KL}$ de Kullback-Leibler Divergentie is.

Adaptatie aan Talen en Culturen

HEIMAT is ontworpen voor flexibiliteit. Om aan te passen aan nieuwe talen of culturen, worden de heuristische templates geregenereerd met behulp van een LLM (bijv. DeepSeek) met cultureel relevante feature words, in plaats van te vertrouwen op statische vertalingen. Dit zorgt ervoor dat de gemeten biases specifiek zijn voor de doelcultuur. Op dezelfde manier kunnen bias-categorieën worden verschoven (bijv. van geslacht naar ras) door simpelweg het bias-type woord in de templates te vervangen.

Belangrijkste Bijdragen

1. HEIMAT Framework: Introductie van een heuristisch-stijl, automatisch de-biasing framework dat opereert zonder externe corpora of vaste voorkeursdatasets.
2. Automatische Adaptiviteit: De methode gebruikt automatisch geconstrueerde heuristische en associatieve prompts, waardoor eenvoudige adaptatie aan verschillende talen, culturen en bias-categorieën mogelijk is via eenvoudige prompt-modificaties.
3. Empirische Validatie: Uitgebreide experimenten tonen aan dat HEIMAT effectief bias mitigeert terwijl het de Natural Language Understanding (NLU) capaciteiten van het model behoudt.

Experimentele Resultaten

De auteurs evalueerden HEIMAT op vijf PLM's (BERT, ALBERT, TinyBERT, LLaMA-2, GPT-2) en twee Franse PLM's (CamemBERT, FrALBERT) over meerdere benchmarks.

• Bias Mitigatie:
  • Op CrowS-Pairs en StereoSet behaalde HEIMAT consequent scores die het dichtst bij de ideale waarde van 50 lagen (wat duidt op geen bias), waarmee het baselines zoals CDA, INLP en diverse prompt-gebaseerde methoden overtrof.
  • Voor BERT verminderde HEIMAT de gender-bias op CrowS-Pairs van 58,01 naar 50,00 en de race-bias naar 47,48.
  • Vergelijkbare verbeteringen werden waargenomen voor LLaMA-2 en GPT-2, waarbij de laagste bias-scores werden behaald onder de geteste methoden.
• Cross-Categorie Generalisatie: De-biasing op gender en ras leidde tot consistente scoreverbeteringen in ongeziene categorieën zoals sociaaleconomische status, nationaliteit, religie en fysieke verschijning, wat suggereert dat er intrinsieke correlaties bestaan tussen verschillende bias-typen in modellen.
• Meertalige Prestaties: HEIMAT slaagde er succesvol in om bias in Franse modellen (CamemBERT en FrALBERT) te verminderen, waarbij het zich aanpaste aan de complexiteit van grammaticaal geslacht (bijv. overeenstemming van het zelfstandig naamwoord), waar statische lijst-gebaseerde methoden moeite mee hebben.
• NLU Behoud:
  • Op de GLUE benchmark (Engels) behield HEIMAT een NLU-prestatie die vergelijkbaar is met de originele modellen (bijv. BERT gemiddelde score 79,09 vs. origineel 79,24).
  • Op de FLUE benchmark (Frans) bleven de prestaties grotendeels ongewijzigd of verbeterden ze licht (CamemBERT gemiddelde 89,18 vs. 89,05).
• Kwalitatieve Analyse: Casestudies toonden aan dat de de-biased modellen meer gebalanceerde gender-pronomen voorspellingen produceerden voor beroepen (bijv. "verpleegkundige" vs. "arts") en de systematische attributie van gewelddadige narratieven aan specifieke raciale groepen verminderden.

Betekenis en Claims

Het paper claimt dat HEIMAT een flexibele, schaalbare en kosteneffectieve alternatief biedt voor bestaande de-biasing strategieën. Door geen gebruik te maken van dure, handmatig geannoteerde datasets, maakt het mitigatie van maatschappelijke bias in diverse talen en culturen mogelijk. De auteurs benadrukken dat hun aanpak intrinsieke verbindingen tussen verschillende bias-typen blootlegt, waardoor mitigatie in één gebied kan generaliseren naar andere.

Het werk concludeert dat effectieve de-biasing geen volledige hertraining of externe corpora vereist; in plaats daarvan kan een heuristisch gestuurde aanpak met JSD-gebaseerde regularisatie de modelvoorspellingen afstemmen om rechtvaardiger te zijn, terwijl de kern van het taalbegrip behouden blijft.

Erkende Beperkingen:
De auteurs merken op dat niet alle stereotiepe associaties inherent schadelijk zijn (bijv. religieuze associaties met specifieke plaatsen), en dat het onderscheid tussen schadelijke bias en onschadelijke algemene kennis een openstaand vraagstuk blijft voor toekomstig werk.