Investigating Gender Stereotypes in Large Language Models via Social Determinants of Health

Deze studie toont aan dat Large Language Models in het Frans gebaseerde gezondheidsdomein genderstereotypen vertonen die worden versterkt door interacties met andere sociale determinanten van gezondheid, wat aangeeft dat het evalueren van deze interacties essentieel is voor een nauwkeurige bias-analyse.

De kern

De "Dokter-robot" en de onzichtbare vooroordelen: Een uitleg van het onderzoek

Stel je voor dat je een superintelligente robot hebt die is opgeleid om artsen te helpen bij het stellen van diagnoses. Deze robot heeft miljoenen medische dossiers gelezen en kan razendsnel teksten analyseren. Maar er zit een addertje onder het gras: de robot heeft niet alleen medische feiten geleerd, maar ook alle vooroordelen en stereotypen uit de wereld waarin die teksten zijn geschreven.

Dit onderzoek van een team uit Nantes (Frankrijk) kijkt precies naar dit probleem. Ze willen weten: Als we de robot alleen informatie geven over het leven van een patiënt (zoals beroep, woonomstandigheid of rookgewoontes), maakt hij dan onterechte aannames over het geslacht van die persoon?

Hier is hoe ze dit hebben onderzocht, vertaald in alledaagse taal:

1. Het Experiment: De "Geslachtsloze" Proef

Stel je voor dat je de robot een dossier geeft, maar je verwijdert alle woorden die direct zeggen of het een man of een vrouw is (zoals "hij" of "zij"). Je geeft de robot alleen de "sociale details":

• "Deze persoon is gepensioneerd."
• "Deze persoon werkt als verkoopster."
• "Deze persoon rookt."

Vervolgens vragen we de robot: "Is dit een man of een vrouw?"
De robot moet een score geven op een schaal van 1 (vrouw) tot 7 (man), met 4 als "ik weet het niet".

De vraag is: Als de robot toch zegt "Dit is een man" omdat de persoon "rookt" of "boer is", dan gebruikt hij stereotypen in plaats van feiten. Hij denkt: "Ah, rokers zijn vaak mannen, dus dit moet een man zijn."

2. De Resultaten: De Robot heeft een "Kopje"

De onderzoekers testten verschillende grote AI-modellen (zoals Llama, Mistral en Qwen). Wat bleek?

• De robot heeft een "vooringenomenheid": Zelfs zonder de woorden "hij" of "zij" te zien, gaven de modellen vaak een geslacht aan op basis van het beroep of de levensstijl.
  • Voorbeeld: Als iemand "pensionaris" of "tabakgebruiker" was, dacht de AI vaak: "Man".
  • Voorbeeld: Als iemand "student" was, dacht de AI vaak: "Vrouw".
• Kleinere robots zijn stugger: De kleinere AI-modellen waren vaak zekerder van hun onzin dan de grotere, slimmere modellen. Ze leken sneller te grijpen naar oude clichés.
• Medische modellen zijn niet beter: Je zou denken dat AI-modellen die speciaal zijn getraind voor de medische wereld (zoals "OpenBioLLM") neutraal zijn. Maar nee, ze bleken soms zelfs meer vooroordelen te hebben dan de standaardmodellen. Het lijkt erop dat ze die vooroordelen hebben "geleerd" uit de medische dossiers die ze hebben bestudeerd.

3. De Menselijke Vergelijking: Robot vs. Mens

Om te zien of dit een uniek AI-probleem is, vroegen ze ook echte mensen (studenten) om dezelfde dossiers te beoordelen.

• Het verrassende resultaat: De mensen deden precies hetzelfde als de robots! Als een dossier over een "boer" ging, dachten de mensen ook sneller aan een man. Als het over een "huishoudster" ging, dachten ze aan een vrouw.
• De les: De AI is niet per se "slecht", maar hij is een spiegel van de maatschappij. Hij heeft geleerd wat mensen denken, inclusief onze onbewuste vooroordelen.

4. Waarom is dit gevaarlijk?

Stel je voor dat een AI-assistent een arts helpt. Als de AI denkt: "Oh, deze patiënt is een vrouw (want ze is getrouwd en heeft kinderen), dus ik ga zoeken naar hormoonproblemen," terwijl het eigenlijk een man is met hartklachten, kan dat leiden tot een verkeerde diagnose.

Het is alsof je een detective hebt die altijd denkt dat de dader een man is in een pak, en daarom nooit naar een vrouw in een joggingpak kijkt. Je mist dan de echte dader.

5. Wat leren we hieruit?

De onderzoekers concluderen dat we AI niet zomaar kunnen vertrouwen in de zorg, tenzij we eerst kijken naar deze "onzichtbare vooroordelen".

• De oplossing? We moeten AI testen op deze specifieke situaties voordat we ze in het ziekenhuis gebruiken.
• De realiteit: We kunnen AI waarschijnlijk nooit 100% vooroordeelvrij maken, omdat ze zijn getraind op onze wereld, en onze wereld heeft nu eenmaal vooroordelen. Maar we kunnen wel proberen de AI te "trainen" om deze valkuilen te herkennen en te negeren.

Kortom: Deze studie is als een "lieveheersbeestje-test" voor AI. Het laat zien dat zelfs de slimste robots soms denken met hun "koptelefoon" op, vol met oude ideeën over wie wat moet doen. En in de zorg, waar het om levens gaat, moeten we die koptelefoon afzetten.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "Investigating Gender Stereotypes in Large Language Models via Social Determinants of Health" in het Nederlands.

Probleemstelling

Grote Taalmodellen (LLMs) worden steeds vaker ingezet om medische diagnoses te ondersteunen door klinische patiëntgegevens te analyseren. Een groot risico is dat deze modellen de stereotiepe vooroordelen uit hun trainingsdata repliceren en versterken. In de gezondheidszorg kunnen dergelijke biases leiden tot misdiagnoses, ongeschikte behandelingen en het versterken van gezondheidsongelijkheden.

Bestaande benchmarks voor het meten van bias in LLMs focussen vaak op geïsoleerde sociale determinanten van gezondheid (SDoH), zoals geslacht of etniciteit, in een ontcontextualiseerde omgeving. Ze negeren echter de interacties tussen verschillende SDoH-factoren (bijv. hoe beroep en geslacht samenwerken) en missen vaak context-specifieke beoordelingen binnen echte medische dossiers. Dit onderzoek richt zich specifiek op geslachtsstereotypen en hoe LLMs deze coderen en vertegenwoordigen in relatie tot andere SDoH-factoren in Franse patiëntendossiers.

Methodologie

1. Taakdefinitie en Data

• Doel: Het voorspellen van het geslacht van een patiënt op basis van geanonimiseerde SDoH-informatie uit klinische notities.
• Dataset: 1.700 geanonimiseerde sociale geschiedenissecties uit Franse klinische notities (Nantes Universitair Ziekenhuis). Na filtering voor minimaal drie SDoH-factoren en beroepsinformatie bleven 958 notities over (52% mannelijk, 48% vrouwelijk).
• SDoH Factoren: 14 factoren, waaronder geslacht, woonstatus, huwelijkstatus, nageslacht, werkstatus, beroep, gebruik van tabak/alcohol/drugs, huisvesting, opleiding, fysieke activiteit, inkomen en etniciteit.
• Geslachtsneutralisatie: Om te voorkomen dat de taal zelf (Frans is een geslachtsgebonden taal) als hint fungeert, werden de teksten voorverwerkt. SDoH-waarden werden omgezet naar gestructureerde sleutel-waarde paren en genormaliseerd naar neutrale vormen (bijv. "verpleegkundige" in plaats van "verpleegster" of "verpleger").

2. Experimenteel Ontwerp

• Taak: De modellen kregen de genormaliseerde SDoH-data als input en moesten een voorspelling doen op een 7-punts Likert-schaal (1 = vrouwelijk, 4 = onzeker, 7 = mannelijk).
• Modellen: Er werden 9 LLMs getest, variërend van open-source tot medisch gespecialiseerde modellen:
  • Base-modellen: Llama-3.1/3.3, Qwen2.5, Mistral.
  • Medisch aangepaste modellen: OpenBioLLM, Med42, HuatuoGPT.
• Evaluatiemetrics:
  • Gewijzigde RMSE (Root Mean Squared Error): Meet de afwijking van de neutrale waarde (4). Een positieve score duidt op een bias naar mannelijk, een negatieve naar vrouwelijk. De score weegt zekerheid zwaarder.
  • Associatieanalyse: Fisher's exact tests en Odds Ratios om te bepalen welke SDoH-factoren statistisch significant geassocieerd zijn met geslachtsvoorspellingen.

3. Vergelijking met Mensen

• Een annotatiecampagne met 9 studenten werd uitgevoerd om menselijke voorspellingen te vergelijken met die van de modellen, om te zien of menselijke en machine-stereotypen overeenkomen.

Belangrijkste Bijdragen

1. Probeerframework: Een model-onafhankelijk framework om geslachtsstereotypen te onderzoeken via interacties tussen geslacht en 13 andere SDoH-factoren in patiëntendossiers.
2. Interactieanalyse: Een diepgaande analyse van hoe specifieke SDoH (met name Beroep) de geslachtsvoorspellingen van LLMs beïnvloeden.
3. Mens-Machine Vergelijking: Een directe vergelijking van de bias-patterns tussen LLMs en menselijke annotatoren, wat laat zien dat beide groepen vergelijkbare sociale stereotypen gebruiken.

Resultaten

1. Voorspellende Tendensen en Bias

• Alle geteste modellen vertoonden een zekere mate van bias, wat aangeeft dat ze vertrouwen op ingebouwde stereotypen in plaats van alleen op de neutrale input.
• Kleinere modellen (bijv. 7B parameters) vertoonden vaak een hogere zekerheid en sterkere bias dan grotere modellen (70B), mogelijk door beperkte capaciteit om complexe input te verwerken.
• Medisch aangepaste modellen vertoonden soms zelfs meer bias dan hun basisversies, wat suggereert dat de adaptatie op medische data de stereotypen kan versterken.

2. Associaties tussen SDoH en Geslacht
De heatmaps toonden duidelijke, statistisch significante patronen van stereotypen:

• Beroep: Sterke associatie tussen "Arbeiders" (Workers) en mannelijke voorspellingen, en "Kantoorpersoneel" (Employees) en vrouwelijke voorspellingen.
• Levensstijl: "Roker" en "Alcoholgebruik" werden consistent geassocieerd met mannelijke voorspellingen.
• Sociale status: "Gepensioneerd" werd geassocieerd met mannen, terwijl "Student" en "Huisvrouw" (Homemaker) sterk met vrouwen werden geassocieerd.
• Mistral-v0.3 toonde afwijkende patronen ten opzichte van andere modellen, waarschijnlijk door verschillen in vocabulairegrootte.

3. Menselijke Vergelijking

• Menselijke annotatoren vertoonden vergelijkbare associaties als de modellen (bijv. beroep en geslacht).
• Dit bevestigt dat de LLMs geen nieuwe, vreemde biases creëren, maar bestaande maatschappelijke stereotypen uit de trainingsdata repliceren die ook door mensen worden gebruikt.

4. Impact van Neutralisatie

• Experimenten toonden aan dat het verwijderen van linguïstische geslachtsmarkeringen (neutralisatie) de bias-scores aanzienlijk verlaagde. Dit bewijst dat de modellen inderdaad afhankelijk zijn van SDoH-inhoud en niet alleen van taalkundige hints in de tekst.

Betekenis en Conclusie

Dit onderzoek demonstreert dat LLMs, zelfs in medische contexten, gevoelig zijn voor geslachtsstereotypen die voortkomen uit de interactie tussen verschillende sociale determinanten van gezondheid.

• Risico: Zelfs als een model instructies krijgt om geslachtsvooroordeels te negeren, kan de onderliggende bias leiden tot verkeerde diagnoses (zoals in Figuur 1 van het paper getoond: een mannelijke patiënt krijgt menstruatiegerelateerde diagnoses).
• Aanbeveling: Het evalueren van LLMs moet niet alleen focussen op geïsoleerde bias-tests, maar ook op de interacties tussen SDoH-factoren in specifieke domeinen.
• Toekomst: Er is een pragmatische afweging nodig tussen prestaties en bias-reductie. Prompt-engineering en het bewust kiezen van modellen die neutraal zijn op het niveau van mensen (of beter), zijn cruciale stappen. De auteurs benadrukken dat het ontwikkelen van volledig bias-vrije modellen waarschijnlijk onmogelijk is, maar dat systematische identificatie en mitigatie van risico's essentieel zijn voor veilige integratie in de gezondheidszorg.