A Representation-Level Assessment of Bias Mitigation in Foundation Models

Dit onderzoek toont aan dat bias-mitigatie in foundation-modellen zoals BERT en Llama2 leidt tot meetbare, neutrale verschuivingen in de inbeddingsruimte, en introduceert bovendien de WinoDec-dataset om de evaluatie van decoder-only-modellen te bevorderen.

De kern

Stel je voor dat de grote AI-modellen die we vandaag gebruiken (zoals chatbots of tekstschrijvers) als enorme bibliotheken zijn. Deze bibliotheken zijn gevuld met miljoenen boeken uit de hele wereld. Het probleem is dat de mensen die deze boeken schreven, soms onbewuste vooroordelen hadden. Bijvoorbeeld: ze dachten dat een "verpleegster" altijd een vrouw is en een "brandweerman" altijd een man.

Omdat de AI deze boeken heeft gelezen, heeft ze die vooroordelen ook in haar hoofd (of beter gezegd: in haar "geheugenruimte") opgeslagen.

Dit onderzoek van Svetoslav Nizhnichenkov en zijn team gaat over het opsporen en oplossen van deze vooroordelen, maar dan op een heel slimme manier. Ze kijken niet alleen naar wat de AI zegt, maar ze kijken diep in haar hoofd om te zien hoe ze woorden met elkaar verbindt.

Hier is de uitleg in simpele taal, met een paar creatieve vergelijkingen:

1. De "Geheugenkaart" van de AI

Stel je het geheugen van een AI voor als een gigantische, driedimensionale kaart. Op deze kaart staan alle woorden die de AI kent.

• Woorden die op elkaar lijken, staan dicht bij elkaar.
• Woorden die niets met elkaar te maken hebben, staan ver uit elkaar.

In een "onzuivere" AI-kaart staan woorden als "vrouw" en "verpleegster" heel dicht bij elkaar, en "man" en "brandweerman" ook. Maar "man" en "verpleegster" staan juist heel ver uit elkaar. Dit is de digitale weerspiegeling van het stereotype: "Verplegen is vrouwelijk werk."

2. Het Experiment: Twee soorten AI's

De onderzoekers hebben twee verschillende soorten AI's getest:

• De "Lezer" (Encoder-only, zoals BERT): Deze AI leest een hele zin in één keer en kijkt naar alle woorden tegelijk. Het is als iemand die een zin leest en direct alle verbanden ziet.
• De "Schrijver" (Decoder-only, zoals Llama2): Deze AI schrijft woord voor woord en kijkt alleen naar wat er voor staat. Het is als iemand die een verhaal vertelt en steeds moet raden wat het volgende woord wordt.

De onderzoekers wilden weten: Als we deze AI's "de-biasen" (vooroordeelvrij maken), verandert er dan echt iets in hun geheugenkaart?

3. De Oplossing: Het "Herordenen" van de Kaart

Om de vooroordelen te verwijderen, hebben de onderzoekers de AI's getraind met speciale technieken. Ze hebben de AI's eigenlijk geleerd: "Hé, wacht even, een man kan ook verpleger zijn en een vrouw kan ook brandweerman zijn."

Wat ze ontdekten, is fascinerend:

• Vóór de training: Op de kaart lagen de woorden voor "man" en "vrouw" ver uit elkaar van de beroepen die niet bij hun stereotype pasten.
• Na de training: De AI's hebben hun kaart opnieuw ingedeeld. De woorden "man" en "vrouw" zijn nu dichter bij elkaar gekomen, ongeacht of het beroep "verpleger" of "brandweerman" is.

Het is alsof je een rommelige kast hebt waar alle sokken links en alle schoenen rechts liggen, en je zegt: "Nee, we doen het anders." Na het opruimen liggen de sokken en schoenen gemengd, zodat je niet meer automatisch denkt: "Sokken zijn voor links, schoenen voor rechts." De AI heeft geleerd dat geslacht en beroep niet per se aan elkaar vastzitten.

4. De Nieuwe Speelgoeddoos: WinoDec

Omdat er geen goede manier was om dit te testen bij de "Schrijver"-AI's (de decoder-only modellen), hebben de onderzoekers een nieuwe dataset bedacht, genaamd WinoDec.
Dit is een verzameling van 4.000 zinnen die speciaal zijn ontworpen om te testen of de AI echt begrijpt dat een "brandweerman" ook een "man" kan zijn, en vice versa, zelfs als de woorden in verschillende zinnen staan. Het is een soort testexamen dat ze gratis beschikbaar hebben gesteld voor iedereen.

5. Wat betekent dit voor ons?

De belangrijkste conclusie is dat vooroordeelvrij maken werkt, en dat we dit nu kunnen zien.
Vroeger keken we alleen naar het eindresultaat: "Zegt de AI een racistische opmerking?" Als dat niet zo was, dachten we: "Oké, het werkt."
Nu kijken we diep in de "geheugenkaart" van de AI. Ze zien dat de afstanden tussen de woorden veranderd zijn. De AI is intern eerlijker geworden.

Samengevat:
Dit onderzoek laat zien dat we AI's niet alleen kunnen "fixen" door hun antwoorden te controleren, maar dat we hun interne wereld (hun geheugenkaart) kunnen herschikken. Door woorden als "man", "vrouw", "verpleger" en "brandweerman" dichter bij elkaar te brengen op die kaart, zorgen we ervoor dat de AI eerlijkere beslissingen neemt in de echte wereld. Het is alsof we de AI een nieuwe bril opzetten, zodat ze de wereld niet meer ziet met vooroordelen, maar met een helder, neutraal beeld.

Technische samenvatting

Probleemstelling

Foundation models (zoals BERT en Llama) vertonen vaak biases die zijn geleerd uit de trainingsdata, wat kan leiden tot onrechtvaardige beslissingen in toepassingen zoals sollicitatieprocedures. Hoewel er technieken zijn ontwikkeld om deze biases te mitigeren (te verminderen), is het onduidelijk hoe deze interventies het interne functioneren van de modellen beïnvloeden.

De meeste bestaande onderzoek focust op:

1. Output-niveau: Het meten van bias in de gegenereerde antwoorden of classificaties.
2. Statische embeddings: Het analyseren van vaste woordrepresentaties, terwijl moderne foundation models contextuele embeddings gebruiken.
3. Architectuurverschillen: Er is weinig inzicht in of bias-mitigatie op dezelfde manier werkt voor encoder-only modellen (zoals BERT) en decoder-only modellen (zoals Llama), die fundamenteel verschillend werken in het verwerken van context.

Het paper stelt de volgende onderzoeksvragen:

• RQ1: Vermindert de dispariteit in associatie tussen geslachtswoorden en stereotiepe beroepen na bias-mitigatie in de embedding-ruimte?
• RQ2: Beïnvloeden bias-mitigatiestrategieën de embedding-ruimte van encoder-only en decoder-only modellen op verschillende manieren?

Methodologie

De auteurs voerden een representatieniveau-analyse uit om de verschuivingen in de embedding-ruimte te meten tussen een baseline-model en een bias-gemitigeerd variant.

1. Modellen:

• Encoder-only: BERT-large (baseline) en een bias-gemitigeerde variant van BERT-large (met Counterfactual Data Augmentation of CDA).
• Decoder-only: Llama2-7B (baseline) en Llama2-7B-Chat (bias-gemitigeerd via Reinforcement Learning from Human Feedback - RLHF).

2. Data en Datasets:

• Real-world data: Een dataset van 60.000 sollicitantprofielen gekoppeld aan vacatures (o.a. HR en Loodgieter) om de contextuele embeddings te extraheren.
• Synthetische data: Een dataset met 40 zinnenparen voor BERT-experimenten.
• WinoDec (Nieuw): Een speciaal ontwikkelde dataset van 4.000 zinnenparen voor decoder-only modellen. Omdat decoder-only modellen unidirectioneel werken (ze kijken alleen naar voorgaande context), zijn standaard methoden zoals WinoBias niet direct toepasbaar. WinoDec gebruikt een structuur met twee zinnen (bijv. "De brandweerman is een man. De man is een brandweerman.") om wederzijdse contextuele invloeden tussen geslachts- en beroepstermen te creëren en te evalueren.

3. Analyse-maatstaven:

• Embedding Extractie: Het extraheren van contextuele embeddings uit de laatste verborgen laag van de modellen.
• Cosine Similariteit: Het meten van de afstand tussen embeddings van geslachtswoorden (man/vrouw) en beroepstermen.
• Kolmogorov-Smirnov (KS) Test: Een statistische test om te bepalen of de verdelingen van de cosine-similariteitscores significant verschillen tussen de baseline en de gemiteerde modellen.

Belangrijkste Bijdragen

1. Representatieniveau Inzicht: Het paper toont aan dat succesvolle bias-mitigatie zichtbaar is als meetbare en interpreteerbare geometrische verschuivingen in de embedding-ruimte, niet alleen als verbetering in output.
2. Architectuur-agnostisch Effect: Het bewijst dat bias-mitigatie leidt tot vergelijkbare herstructureringen van associaties in zowel encoder-only als decoder-only modellen.
3. WinoDec Dataset: De introductie en openbaarmaking van een nieuwe dataset die specifiek is ontworpen om gender-beroepsassociaties in decoder-only foundation models te evalueren, rekening houdend met hun masker-zelf-attentie mechanisme.

Resultaten

Encoder-only Modellen (BERT):

• Baseline: Toonde duidelijke bias; bijvoorbeeld, "vrouw" had een sterkere associatie met "HR" en "man" met "loodgieter" (hoewel er ook verrassende patronen waren, zoals een sterke associatie van "vrouw" met "loodgieter" in de baseline, wat werd gecorrigeerd).
• Na Mitigatie: De dispariteit in cosine-similariteit nam significant af. De KS-test bevestigde dat de verdelingen van de embeddings voor mannelijke en vrouwelijke termen dichter bij elkaar kwamen te liggen. De bias-mitigatie veranderde de interne representaties substantieel, wat resulteerde in meer neutrale associaties.

Decoder-only Modellen (Llama2):

• Configuratie "Gender 2 - Occupation 2" (beide termen in tweede zin): De baseline toonde een duidelijke scheiding tussen mannelijke en vrouwelijke termen in relatie tot stereotiepe beroepen. Na mitigatie convergeren deze verdelingen, wat wijst op een meer uniforme behandeling van geslachtswoorden. De KS-statistieken toonden een significante verkleining van de dispariteit.
• Configuratie "Gender 1 - Occupation 2" (termen in verschillende zinnen): De bias was hier minder uitgesproken in de baseline, maar mitigatie zorgde toch voor een verdere concentratie van de verdelingen rond het gemiddelde en een vermindering van de variabiliteit.
• Conclusie: De mitigatiestrategieën (RLHF) veranderden de embedding-ruimte van Llama2 op een manier die de genderbias in de associaties met beroepen verlaagde, zowel voor mannelijke als vrouwelijke termen.

Betekenis en Conclusie

Dit onderzoek biedt een cruciale stap naar transparantere en verantwoorde AI-systemen. De belangrijkste bevindingen zijn:

• Interne Validatie: Het succes van bias-mitigatie kan worden geverifieerd door te kijken naar de geometrie van de embedding-ruimte. Dit biedt een "grondige verklaring" voor waarom een methode werkt, in plaats van alleen te kijken naar het eindresultaat.
• Vroege Detectie: Het analyseren van interne representaties kan helpen bij het opsporen van verborgen of residuale biases die niet direct zichtbaar zijn in output-metrics.
• Toekomstige Richting: Hoewel de resultaten veelbelovend zijn, suggereert het paper dat toekomstig onderzoek zich moet richten op andere bias-dimensies (zoals ras of leeftijd), de link moet leggen tussen embedding-verschuivingen en daadwerkelijke prestaties in downstream-taken, en de methoden moet testen op een breder scala aan modelarchitecturen.

Kortom, het paper bewijst dat het "de-biasen" van foundation models leidt tot een fundamentele, meetbare en positieve herstructurering van hoe het model concepten intern relateert, wat essentieel is voor het bouwen van eerlijke AI.