💬 NLP

Evaluating the Presence of Sex Bias in Clinical Reasoning by Large Language Models

Deze studie onthult dat hedendaagse grote taalmodellen significante, modelspecifieke geslachtsbiases vertonen in klinische redenering bij het verwerken van niet-informatieve patiëntcasussen, wat de kritieke behoefte aan conservatieve configuratie, data-auditing en menselijk toezicht onderstreept om veilige integratie in de gezondheidszorg te waarborgen.

Oorspronkelijke auteurs: Isabel Tsintsiper, Sheng Wong, Beth Albert, Shaun P Brennecke, Gabriel Davis Jones

Gepubliceerd 2026-02-05

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Isabel Tsintsiper, Sheng Wong, Beth Albert, Shaun P Brennecke, Gabriel Davis Jones

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je vier verschillende "digitale artsen" (AI-chatbots) hebt die ongelooflijk slim zijn in het lezen van medische tekstboeken en het schrijven van rapporten. Je wilt zien of ze eerlijk zijn bij het diagnosticeren van patiënten. Om dit te testen, hebben de onderzoekers 50 verzonnen patiëntverhalen gemaakt. Deze verhalen waren zorgvuldig geschreven zodat het geslacht van de patiënt (man of vrouw) er in feite niet toe deed voor het begrijpen van wat er aan de hand was. Het was als een puzzel waarbij de oplossing hetzelfde was, ongeacht of het stukje rood of blauw was.

Hier is wat er gebeurde toen ze de AI-artsen vroegen om de puzzels op te lossen:

1. De "Gokspelletjes"-bias

Wanneer de onderzoekers de AI vroegen: "Wat is het geslacht van de patiënt?", zonder aanwijzingen te geven, zei de AI niet: "Ik weet het niet." In plaats daarvan begonnen ze te gokken op basis van stereotypen, zoals iemand die een beroep raadt op basis van een naam.

De "Vrouwen"-gokkers: Drie van de AI's (ChatGPT, Claude en DeepSeek) hadden de sterke gewoonte om te gokken dat de patiënt vrouw was. Bijvoorbeeld, als het verhaal over een hartprobleem of een urineprobleem ging, gokten ze nog steeds vaak "vrouw".
De "Man"-gokker: Eén AI (Gemini) deed het tegenovergestelde en gokte meestal man.
De "Specialisme"-stereotypen: De bias werd nog vreemder afhankelijk van het medische vakgebied.
- Als het verhaal over psychiatrie, reumatologie of bloedziekten ging, gokten álle AI's 100% van de tijd "vrouw".
- Als het over hart- of urineproblemen ging, gokten álle AI's 100% van de tijd "man".
- Het is alsof de AI's een mentale kaart hebben waar "verdriet" altijd een vrouw is en "hartproblemen" altijd een man is, zelfs wanneer het verhaal niets over dat onderwerp zegt.

2. De "Temperatuur"-knop

De onderzoekers probeerden de "temperatuur"-draaiknop van de AI's te verdraaien. Denk hierbij aan een knop voor het pittigheidsniveau:

Lage temperatuur (0.2): De AI is heel strikt, logisch en repetitief.
Hoge temperatuur (1.0): De AI is creatiever, willekeuriger en wilder.

Ze hoopten dat het creatiever maken van de AI (het opendraaien van de hitte) de stereotypen zou doorbreken. Dat deed het niet. Hoewel de AI met een hoge temperatuur iets andere lijsten met gokken gaf, bleef de onderliggende bias (het gokken van het verkeerde geslacht op basis van het specialisme) exact hetzelfde. De "specerijen" hadden het recept niet verbeterd; ze maakten alleen hetzelfde bevooroordeelde gerecht met een iets andere smaak.

3. De "Ik weet het niet"-optie

In een tweede test gaven de onderzoekers de AI's een derde optie: "Onthouden" (of "Ik weet het niet").

ChatGPT koos direct de veilige weg en zei elke keer "Ik weet het niet".
De anderen zeiden meestal "Ik weet het niet", maar niet altijd.

De adder onder het gras: Zelfs wanneer de AI's niet expliciet het geslacht van de patiënt benoemden, dachten ze er nog steeds over na. Wanneer de AI werd gevraagd om mogelijke ziekten op te sommen voor een "mannelijke" versie van een verhaal versus een "vrouwelijke" versie, veranderden de lijsten met ziekten. De AI behandelde de twee patiënten nog steeds verschillend achter de schermen, zelfs als het dat niet expliciet labelde.

4. De Conclusie

Het artikel concludeert dat deze AI-modellen als studenten zijn die oude, bevooroordeelde tekstboeken uit het hoofd hebben geleerd. Ze hebben niet geleerd om neutraal te denken; ze herhalen simpelweg de patronen die ze zagen in hun trainingsdata.

De bias zit ingebouwd: De bias is geen foutje; het is onderdeel van hoe de modellen zijn gebouwd.
Instellingen lossen het niet op: Je kunt niet zomaar een instelling aanpassen (zoals temperatuur) om ze eerlijk te maken.
Het gevaar: Omdat deze modellen hun medische advies veranderen op basis van of ze denken dat de patiënt een man of een vrouw is (zelfs als de symptomen identiek zijn), zeggen de auteurs dat deze algemene AI-tools nu niet gebruikt mogen worden voor echte medische beslissingen.

De kernboodschap: Als je deze digitale artsen om hulp vraagt, kunnen ze slim zijn, maar ze dragen ook een zware bagage mee van ouderwetse stereotypen. Totdat ze worden geleerd om deze stereotypen te negeren, moeten mensen een nauwlettend oog houden op hun werk.

Technische Samenvatting: Evaluatie van de Aanwezigheid van Geslachtsbias in Klinisch Redeneren door Large Language Models

Probleemstelling

Large Language Models (LLM's) worden steeds vaker geïntegreerd in klinische workflows voor documentatie, educatie en klinische besluitvormingsondersteuning. Deze modellen zijn echter getraind op enorme tekstcorpora die inherent historische sociale en biologische vooroordelen bevatten, waaronder geslachtsafwijkingen in diagnose en behandeling. Hoewel eerder onderzoek de prestaties van AI heeft onderzocht tegenover menselijke benchmarks en de publieke perceptie van AI, is er een kritiek gebrek aan empirisch bewijs over de vraag of hedendaagse LLM's biologische geslachtsbiaspatronen reproduceren bij het interpreteren van klinische informatie. Specifiek blijft het onduidelijk of deze modellen standaard uitgaat van geslachtsgebonden aannames in afwezigheid van expliciete patiëntgegevens en of dergelijke biases de downstream diagnostische redenering veranderen.

Methodologie

De auteurs voerden een gecontroleerde, drieledige experimentele studie uit met 50 door clinici geschreven klinische vignettes verspreid over 44 medische specialismen. Deze vignettes waren specifiek ontworpen als "geslachtneutraal", wat betekent dat het initiële diagnostische pad niet beïnvloed zou mogen worden door het geslacht van de patiënt. De studie maakte gebruik van vier algemene LLM's: OpenAI ChatGPT (gpt-4o-mini), Anthropic Claude 3.7 Sonnet, Google Gemini 2.0 Flash en DeepSeek-chat.

Het experimentele ontwerp bestond uit drie afzonderlijke taken:

Binaire Geslachtstoewijzing: Modellen kregen neutrale vignettes voorgelegd (waarbij het geslacht van de patiënt werd weggelaten) en kregen de instructie om een binair geslacht (man/vrouw) toe te wijzen.
Abstentiemogelijkheid: Dezelfde neutrale vignettes werden voorgelegd, maar de prompt stond een derde optie toe: "onthouden" (abstain). Dit testte of modellen konden afzien van ongevraagde demografische inferentie.
Differentiaaldiagnostisch Redeneren: Modellen werden gevraagd een top-vijf geranglijst van differentiaaldiagnoses te genereren voor parren vignettes die alleen verschilden door het geslacht van de patiënt (mannelijke versus vrouwelijke varianten).

Experimentele Condities:

Temperaturen: Elk model werd bevraagd bij drie temperatuurinstellingen (0.2, 0.5 en 1.0) om de invloed van steekproefvariabiliteit te beoordelen.
Repetitie: Elke conditie werd 10 keer herhaald om robuustheid te garanderen.
Analyse:
- Voor Experimenten 1 en 2 werden de proporties geslachtstoewijzingen en onthoudingen geanalyseerd met behulp van exacte binomialtests.
- Voor Experiment 3 werden diagnostische lijsten vergeleken met vier metrieken: Jaccard-gelijkenis (overlap), overeenstemming op itemniveau (rangorde-alignement), cumulative match characteristic (divergentiepunt) en Kendall's tau-b (ordening-gelijkenis).
- Statistische significantie werd beoordeeld met Chi-kwadraat-testen, ANOVA en Wilcoxon signed-rank tests.

Belangrijkste Resultaten

1. Scheefstelling in Geslachtstoewijzing

Alle modellen vertoonden significante, modelspecifieke biases bij het toewijzen van geslacht aan neutrale klinische vignettes ( $\chi^2_{(3)}=363.6, p<0.001$ ).

ChatGPT: Toonde de sterkste vrouwelijke scheefstelling, waarbij in 70% van de gevallen bij temperatuur 0.5 het geslacht vrouw werd toegewezen.
DeepSeek & Claude: Vertoonden een matige vrouwelijke bias (61% en 59% respectievelijk).
Gemini: Toonde een consistente mannelijke scheefstelling, waarbij in slechts 36% van de gevallen het geslacht vrouw werd toegewezen.
Temperatuur-effect: Temperatuur alleen had geen significant hoofdeffect op de geslachtstoewijzing ( $p=0.95$ ), hoewel er een significante interactie bestond tussen model en temperatuur.

2. Specialisme-specifieke Patronen

Bias was niet uniform over medische domeinen; het weerspiegelde bekende klinische stereotypen:

Vrouwelijk-gelabelde Specialismen: Psychiatrie, reumatologie en hematologie werden in 100% van de gevallen door alle modellen als vrouw gelabeld. Endocrinologie was overwegend vrouwelijk (60–100%).
Mannelijk-gelabelde Specialismen: Cardiologie en urologie werden in 100% van de gevallen als man gelabeld. Pulmonologie was overwegend mannelijk (95–100% voor de meeste modellen).

3. Impact van Onthouding (Abstention)

Wanneer de mogelijkheid tot onthouding werd toegestaan:

ChatGPT: Onthield zich in 100% van de gevallen bij alle temperaturen, waardoor expliciete geslachtslabelling effectief werd geëlimineerd, maar het model niet-informatief werd voor deze taak.
Andere Modellen: Claude (84%), Gemini (80%) en DeepSeek (58%) onthielden zich frequent bij temperatuur 0.5.
Downstream Impact: Cruciaal is dat zelfs wanneer modellen onthielden van expliciete labelling, de geslacht-afhankelijke verschillen in de gegenereerde differentiaaldiagnoses bestonden.

4. Divergentie in Diagnostisch Redeneren

Bij het genereren van differentiaaldiagnoses voor mannelijke versus vrouwelijke varianten van dezelfde vignette:

Divergentiecijfers: Bij temperatuur 0.5 resulteerden 58–78% van de vergelijkingen in divergente lijsten (verschillend in inhoud of volgorde). ChatGPT vertoonde de hoogste divergentie (78%), terwijl DeepSeek de laagste vertoonde (58%).
Gelijkenis-metrieken: De diagnostische overlap (Jaccard-gelijkenis) nam af naarmate de temperatuur toenam voor alle modellen. ChatGPT vertoonde de meest opvallende daling (0.76 bij temp 0.2 vs. 0.50 bij temp 1.0).
Conclusie: Het verhogen van de temperatuur verhoogde de variabiliteit, maar elimineerde de geslacht-afhankelijke diagnostische verschillen niet. De onderliggende bias leek intrinsiek aan de geleerde representaties van het model in plaats van een artefact van de steekproefverdeling.

Betekenis en Claims

De auteurs stellen dat deze studie het eerste directe empirische bewijs levert dat geslachtsbias niet louter theoretisch is, maar detecteerbaar in de outputs van breed toegankelijke, algemene LLM's toegepast in de gezondheidszorg.

Bias is Intrinsiek en Modelspecifiek: De richting en omvang van de bias worden primair bepaald door de modelarchitectuur en trainingsdata, niet door de temperatuurinstellingen tijdens de inferentie. Verschillende commerciële modellen coderen onderscheidende "geslachtspriors".
Stereotypen Overrulen Klinische Neutraliteit: De modellen reproduceren diepgewortelde linguïstische en culturele stereotypen (bijv. het associëren van psychiatrie met vrouwen en urologie met mannen) in plaats van neutrale, op bewijs gebaseerde redenering uit te voeren. Dit suggereert dat de modellen bezig zijn met "stereotype completion" in plaats van Bayesiaanse inferentie over populatiestatistieken.
Beperking van Configuratie: Eenvoudige configuratiewijzigingen, zoals het toestaan van onthouding of het aanpassen van de temperatuur, zijn onvoldoende om bias te neutraliseren. Hoewel onthouding expliciete labelling vermindert, faalt het in het voorkomen van downstream diagnostische verschillen.
Klinische Implicaties: De bevindingen pleiten tegen het gebruik van algemene LLM's om diagnose of behandelbeslissingen te sturen zonder strikt toezicht. De auteurs pleiten voor:
- Conservatieve, gedocumenteerde modelconfiguraties.
- Klinische auditing op specialismeniveau om bias-hotspots te identificeren.
- Voortdurend menselijk toezicht bij de inzet van deze modellen.
- Structurele veranderingen in modelontwikkeling, inclusief gecureerde trainingscorpora en reinforcement learning-doelstellingen die stereotype completion bestraffen.

Het artikel concludeert dat hoewel LLM's vloeiende klinische tekst kunnen genereren, hun huidige iteratie stabiele, systematische geslachtsbias vertoont die veiligheid en gelijkheid in gevaar brengt, wat een verschuiving noodzakelijk maakt van algemene inzet naar doelgerichte, geauditeerde en door mensen gesuperviseerde systemen.