💻 computer science

EQUITRIAGE: A Fairness Audit of Gender Bias in LLM-Based Emergency Department Triage

De EQUITRIAGE-studie auditte vijf grote taalmodellen op bijna 375.000 triage-scenario's in de spoedeisende hulp en onthulde dat alle modellen genderbias vertonen met flippercentages die 5% overschrijden, wat aantoont dat eerlijkheidsmetrieken zoals groepspariteit, contrafactuele invariantie en kalibratie verschillende eigenschappen zijn die model-specifieke audits vereisen voordat klinische implementatie plaatsvindt.

Oorspronkelijke auteurs: Richard J. Young, Alice M. Matthews

Gepubliceerd 2026-05-06

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Richard J. Young, Alice M. Matthews

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een drukke spoedeisende hulp voor waar een triageverpleegkundige fungeert als poortwachter. Hun taak is om te kijken naar de symptomen van een patiënt en te beslissen hoe dringend ze zorg nodig hebben, waarbij ze worden gerangschikt van "levensbedreigend" tot "kan wachten". Dit systeem heet de Emergency Severity Index (ESI).

Decennialang weten artsen dat menselijke verpleegkundigen soms fouten maken op basis van geslacht: vrouwen met ernstige hartproblemen wachten vaak langer of krijgen minder dringende aandacht dan mannen met exact dezelfde symptomen.

Nu beginnen ziekenhuizen AI (Grote Taalmodellen of LLM's) te gebruiken om verpleegkundigen te helpen bij het nemen van deze beslissingen. De grote vraag die dit artikel stelt is: Als we de menselijke verpleegkundige vervangen door een AI, lost de AI het probleem dan op, of maakt het de genderbias erger?

De auteurs creëerden een studie genaamd EQUITRIAGE om dit uit te vinden. Hieronder wordt uitgelegd hoe ze dit deden en wat ze vonden, in eenvoudige bewoordingen.

Het Experiment: De "Tweeling"-test

Om de AI eerlijk te testen, vroegen de onderzoekers de AI niet alleen om naar echte patiënten te kijken. In plaats daarvan creëerden ze 18.714 digitale "vignettes" (korte verhalen over patiënten) gebaseerd op echte medische dossiers.

Denk hierbij aan een "Kies je eigen avontuur"-boek waar het plot identiek is, maar de naam en het geslacht van de hoofdpersoon veranderen.

Patiënt A: "Keisha, een 59-jarige zwarte vrouw met borstpijn en hoge bloeddruk."
Patiënt B (De Tweeling): "DeShawn, een 59-jarige zwarte man met borstpijn en hoge bloeddruk."

Alles anders (symptomen, vitale functies, voorgeschiedenis) is exact hetzelfde. Het enige verschil is het geslacht en de naam.

Ze voerden deze verhalen in bij vijf verschillende AI-modellen (van bedrijven zoals Google, OpenAI, NVIDIA, etc.) en vroegen hen om een urgentiescore toe te kennen. Ze deden dit 374.000 keer om een duidelijk beeld te krijgen.

De Bevindingen: De AI is niet perfect

De studie vond dat alle vijf AI-modellen bias vertoonden, maar ze deden dit in drie verschillende "persoonlijkheden":

De "Under-triage"-modellen (DeepSeek en Gemini):
Deze modellen gedroegen zich als een sceptische arts die de pijn van vrouwen negeert. Wanneer de patiënt vrouwelijk was, gaf de AI hen een minder dringende score dan wanneer de patiënt mannelijk was, zelfs al waren de symptomen identiek.
- Analogie: Stel je twee mensen voor met exact hetzelfde gebroken been. De AI zegt tegen de man: "Ga naar voren in de rij", maar tegen de vrouw: "Wacht achteraan".
- DeepSeek was de ergste overtreders, waarbij vrouwelijke patiënten aanzienlijk minder dringend werden behandeld dan mannelijke patiënten.
De "Gebalanceerde" modellen (GPT-4 en Mistral):
Deze modellen waren veel eerlijker. Ze gaven mannen en vrouwen ruwweg dezelfde scores. Ze hadden geen sterke voorkeur voor het ene geslacht boven het andere.
Het "Verwarde" model (Nemotron):
Dit model was chaotisch. Het veranderde bijna 44% van de tijd van mening over het urgentieniveau, alleen omdat de naam en het geslacht veranderden. Het was niet per se specifiek voor vrouwen vooroordelig, maar het was ongelooflijk instabiel en inconsistent.

De "Toverstaf"-tests (Kunnen we het oplossen?)

De onderzoekers probeerden vier verschillende "prompts" (instructies) om te zien of ze de bias konden stoppen. Denk hierbij aan verschillende manieren om met de AI te praten:

De "Blinddoek"-strategie: Ze verwijderden de naam, leeftijd en het geslacht van de patiënt uit het verhaal, en lieten alleen de medische feiten achter.
- Resultaat: Dit werkte wonderbaarlijk goed voor sommige modellen (zoals Google's Gemini), waarbij de bias bijna volledig werd geëlimineerd. Voor anderen (zoals DeepSeek) werkte het echter minder goed. Waarom? Omdat leeftijd nog steeds in het verhaal zat. De AI gebruikte de leeftijd van de patiënt als een verborgen aanwijzing om hun geslacht te raden en het resultaat te beïnvloeden. Toen ze leeftijd en geslacht verwijderden, verdween de bias eindelijk.
De "Wees eerlijk"-strategie: Ze vertelden de AI expliciet: "Laat het geslacht je beslissing niet beïnvloeden."
- Resultaat: Dit was een gemengd pakket. Voor sommige modellen hielp het. Voor anderen maakte het de dingen juist erger, waardoor de AI vaker van mening veranderde. Het lijkt erop dat een AI vertellen om "eerlijk te zijn" het soms kan verwarren.
De "Denk stap voor stap"-strategie (Chain-of-Thought): Ze vroegen de AI om haar redenering uit te leggen voordat ze een score gaf.
- Resultaat: Dit ging volledig mis. In plaats van de AI slimmer te maken, maakte het haar slechter. De AI begon lagere nauwkeurigheidsscores te geven en werd meer vooroordeelsvol. Het is alsof je een nerveuze student vraagt om "elke stap van je wiskunde uit te leggen" en ze eindigen met het overdenken en meer fouten maken.

De Grote Verrassing: De "Calibratie"-valstrik

Een van de meest interessante bevindingen is een concept genaamd Calibratie.

De AI-modellen waren eigenlijk goed in het voorspellen wie naar het ziekenhuis zou worden opgenomen. Als ze zeiden dat een patiënt "hoog risico" was, werd die patiënt meestal opgenomen, ongeacht of ze man of vrouw waren.
Echter, ze waren slecht in het consistent zijn tussen tweelingen. Ze zouden het label "hoog risico" geven aan de man, maar het label "gemiddeld risico" aan de vrouw, zelfs al belandden beiden in het ziekenhuis.

Analogie: Stel je een weer-app voor die 90% van de tijd gelijk heeft over regen. Maar als je het vraagt over een man, zegt het "90% kans op regen", en als je het vraagt over een vrouw met exact dezelfde wolken, zegt het "50% kans op regen". De app is technisch gezien op de lange termijn "nauwkeurig", maar het is op dat moment onrechtvaardig.

De Conclusie

Het artikel concludeert dat je er niet van uit mag gaan dat een AI eerlijk is, alleen omdat het slim is.

Verschillende AI-modellen hebben verschillende "persoonlijkheden" wat betreft bias.
Het oplossen van bias is geen oplossing die voor iedereen werkt. Het verwijderen van namen helpt sommige modellen, maar niet andere.
Een AI vragen om "harder na te denken" (Chain-of-Thought) kan klinische beslissingen eigenlijk verslechteren.

De Kernboodschap: Voordat ziekenhuizen AI laten beslissen wie spoedeisende zorg krijgt, moeten ze elk specifiek AI-model testen met deze "tweeling"-tests. Je kunt niet zomaar het woord van de fabrikant vertrouwen; je moet de AI zelf auditeren om ervoor te zorgen dat het mannen en vrouwen niet verschillend behandelt.

Technische Samenvatting: EQUITRIAGE: Een Fairness Audit van Genderbias in LLM-gebaseerde Triage in de Spoedeisende Hulp

Probleemstelling

Triage in de Spoedeisende Hulp (SEH), doorgaans gereguleerd door de Emergency Severity Index (ESI), bepaalt de volgorde en urgentie van patiëntenzorg. Decennia aan klinisch bewijs documenteren systematische genderdispariteiten in dit proces, waarbij vrouwen met acute aandoeningen (bijvoorbeeld acuut coronair syndroom) vaak langere evaluatietijden, minder agressieve diagnostische onderzoeken en systematische ondertriage ervaren in vergelijking met mannen met equivalente presentaties. Naarmate zorgsystemen in toenemende mate Large Language Models (LLM's) piloten als hulpmiddelen voor triagebeslissingen, blijft een kritische vraag: reproduceren, versterken of mitigeren deze modellen bekende menselijke vooroordelen?

Eerder onderzoek heeft het gedrag van LLM's in klinische settingen gekarakteriseerd, maar kampt met beperkingen in omvang: de meeste studies evalueren slechts één of twee modellen, missen intersectionele analyse (gender × ras × leeftijd) en testen geen systematisch prompt-gebaseerde debiasing-interventies. Bovendien is de afweging tussen klinische nauwkeurigheid en eerlijkheid in praktische debiasingstrategieën niet gekwantificeerd. Dit onderzoek adresseert deze lacune door een uitgebreide fairness audit uit te voeren van LLM-gebaseerde triage over meerdere modelfamilies, leveranciers en promptstrategieën.

Methodologie

Het onderzoek introduceert EQUITRIAGE, een fairness audit-kader dat gebruikmaakt van een counterfactuele causale aanpak (Kusner et al., 2015) om vijf LLM's van vijf verschillende leveranciers (Google, NVIDIA, DeepSeek, Mistral AI, OpenAI) te evalueren.

Data en Generatie van Vignetten

Brondata: Het onderzoek maakt gebruik van 18.714 klinische vignetten afgeleid van de MIMIC-IV-ED-dataset (Beth Israel Deaconess Medical Center, 2011–2019), gekoppeld aan MIMIC-IV voor validatie van uitkomsten.
Synthetische Constructie: Omdat MIMIC-IV HIPAA Safe Harbor-geanonimiseerd is, genereert het onderzoek synthetische voornamen die zijn bemonsterd uit geslachts- en ras-concordante pools (VS SSA en Census-data) om te koppelen aan echte gestructureerde velden (levens vitale tekens, hoofdklacht, medicatie, leeftijd, ras).
Counterfactuele Paren: 9.346 van de originele vignetten zijn gepaard met een geslachtswisselend counterfactueel tweelingvignet. In deze paren worden alleen het geslachtstoken en de voornaam (getrokken uit de pool van het tegenovergestelde geslacht, hetzelfde ras) gewijzigd; alle klinische inhoud blijft identiek. 22 geslachtsgebonden vignetten (bijvoorbeeld obstetrisch) zijn uitgesloten van de gepaarde analyse.
Schaal: De evaluatie omvat in totaal 374.275 model-evaluaties (5 modellen × 4 strategieën × 18.714 vignetten).

Experimenteel Ontwerp

Geëvalueerde Modellen: Gemini-3-Flash, Nemotron-3-Super, DeepSeek-V3.1, Mistral-Small-3.2 en GPT-4.1-Nano.
Promptstrategieën: Vier strategieën werden getest om de impact van prompting op bias te isoleren:
1. Basislijn: Standaard triage-instructies.
2. Chain-of-Thought (CoT): Expliciete vereisten voor stap-voor-stap redenering.
3. Gedebiasd: Instructies om beslissingen uitsluitend te baseren op klinische ernst, en demografie te negeren.
4. Blind: Verwijdering van naam, leeftijd en geslacht (neutraliseren van voornaamwoorden), waarbij alleen de klinische inhoud overblijft.
Ablatiestudies: Voor twee modellen die directionele bias vertoonden (Gemini-3-Flash en DeepSeek-V3.1), voerde het onderzoek ablatiecondities uit om de effecten van het geslachtstoken versus de naam van de patiënt te ontwarren (alleen geslachtswissel, alleen naamwissel, en blind met behoud van leeftijd).
Maten:
- Counterfactuele Flip Rate: Het percentage paren waarbij de geslachtswissel de toegewezen ESI-niveau verandert.
- Directionele F/M Ratio: De ratio van ondertriage-flips voor vrouwen ten opzichte van ondertriage-flips voor mannen.
- Nauwkeurigheid: Kwadratisch-gewogen Cohen's $\kappa$ in vergelijking met menselijk toegewezen ESI.
- Kalibratiekloof: Discrepantie in opnamepercentages in het ziekenhuis tussen geslachten voor hetzelfde voorspelde ESI-niveau.

Belangrijkste Resultaten

1. Systematische Gevoeligheid voor Geslacht (H1 Ondersteund)

Alle vijf modellen overschreden de vooraf geregistreerde drempel van 5% voor stochastische variatie voor counterfactuele flip-rates, wat wijst op systematische gevoeligheid voor geslacht. De modellen groepeerden zich in drie verschillende biasprofielen:

Profiel A (Directionele Ondertriage voor Vrouwen): DeepSeek-V3.1 (Flip Rate: 12,0%, F/M Ratio: 2,15) en Gemini-3-Flash (Flip Rate: 11,7%, F/M Ratio: 1,34). Deze modellen wezen consequent lagere urgentie (hogere ESI-nummers) toe aan vrouwelijke versies van vignetten.
Profiel B (Bijna Pariteit): GPT-4.1-Nano (Flip Rate: 9,9%, F/M Ratio: 1,11) en Mistral-Small-3.2 (Flip Rate: 12,7%, F/M Ratio: 0,92). Deze toonden minimale directionele bias.
Profiel C (Hoge Gevoeligheid, Zwakke Man-richting): Nemotron-3-Super vertoonde de hoogste flip-rate (43,8%) met een kleine maar statistisch detecteerbare asymmetrie in mannelijke richting (F/M 0,92).

2. Intersectionele en Klacht-specifieke Bias

Klachtcategorie: Presentaties met borstpijn vertoonden de sterkste directionele bias in Profiel A-modellen (DeepSeek F/M 9,10:1; Gemini F/M 4,83:1). In tegenstelling tot hypothese H2, vertoonden psychiatrische presentaties niet de sterkste dispariteiten.
Leeftijdsgradiënt: In tegenstelling tot menselijke klinische literatuur, waar jonge vrouwen de grootste mortaliteitsdispariteiten ondervinden, toonden deze LLM's een omgekeerd patroon: ondertriage voor vrouwen nam toe met de leeftijd van de patiënt (bijvoorbeeld steeg Gemini F/M van 0,91 in de 18–44-groep naar 2,13 in de 65+-groep).
Ras: Directionele bias varieerde per ras; voor DeepSeek was de F/M-ratio het hoogst voor Hispanic (2,79) en Aziatische (2,47) patiënten.

3. Impact van Promptstrategieën

Chain-of-Thought (CoT): In tegenstelling tot bevindingen in algemene redeneertaken, degradeerde CoT-prompting universeel de nauwkeurigheid in overeenstemming met mensen ( $\kappa$ ) voor alle vijf modellen en verhoogde de flip-rates voor vier van hen. Voor Gemini-3-Flash veroorzaakte CoT een ineenstorting van de voorspellingsverdeling (93% van de voorspellingen bij ESI-1).
Blind Strategie: Deze interventie had heterogene effecten. Het verlaagde de flip-rates drastisch voor Gemini-3-Flash (11,7% $\to$ 0,5%) en GPT-4.1-Nano (9,9% $\to$ 4,8%) en neutraliseerde directionele bias voor DeepSeek (F/M 2,15 $\to$ 1,00). Het verhoogde echter de flip-rates voor Mistral en Nemotron.
Gedebiasde Prompting: Deze strategie verlaagde groepspariteitsmaten voor sommige modellen, maar verhoogde paradoxalerwijs de flip-rates voor Mistral en GPT-4.1-Nano, wat suggereert dat eerlijkheidsinstructies het modelgedrag kunnen destabiliseren.

4. Mechanistische Ablatiebevindingen

Het onderzoek onthulde dat hetzelfde fenotype van "directionele ondertriage voor vrouwen" voortkomt uit tegenovergestelde mechanismen in verschillende modellen:

Gemini-3-Flash: Het directionele signaal is emergent alleen in de gecombineerde naam+geslachtswissel. Alleen-geslachtswissels waren symmetrisch (F/M 1,00), en alleen-naamwissels waren licht mannelijk-gericht. De bias ontstaat uit de interactie van de twee componenten.
DeepSeek-V3.1: Het geslachtstoken alleen draagt de directionele bias (F/M 1,57 in alleen-geslachtswissel). Bovendien liet een conditie met behoud van leeftijd (verwijdering van naam/geslacht maar behoud van leeftijd) een residu van directionele bias achter (F/M 1,25), die alleen verdween toen ook de leeftijd werd verwijderd. Dit wijst op leeftijd (alleen of in interactie met klinische inhoud) als een dominante residu-kanaal voor DeepSeek, in plaats van fijnkorrelige tekstproxies.

5. Kalibratie versus Invariantie

Een "Chouldechova-stijl" dissociatie werd waargenomen: DeepSeek-V3.1 vertoonde de sterkste directionele counterfactuele bias (F/M 2,15) maar behield de laagste uitkomst-gerelateerde kalibratiekloof (0,013). Dit betekent dat het voorspelde ESI van het model geassocieerd was met ziekenhuisopname met bijna identieke tarieven voor mannen en vrouwen binnen elk ESI-niveau, zelfs al wees het model systematisch verschillende ESI-niveaus toe aan geslachtswisselende paren. Dit toont aan dat groeps-kalibratie en counterfactuele invariantie verschillende eigenschappen van eerlijkheid zijn.

Betekenis en Beweringen

Het artikel beweert dat EQUITRIAGE drie kritieke inzichten vestigt voor de implementatie van klinische AI:

Distincte Eigenschappen van Eerlijkheid: Groepsniveau-pariteit, counterfactuele invariantie en genderkalibratie zijn verschillende maten; een model kan aan de ene voldoen terwijl het aan de andere faalt. Uitsluitend vertrouwen op groepspariteit of kalibratie kan systematische directionele bias missen.
Model-afhankelijke Interventies: De effectiviteit van debiasingstrategieën (zoals blind maken of CoT) is sterk model-afhankelijk. Een strategie die bias neutraliseert in het ene model (bijvoorbeeld blind maken voor Gemini) kan falen of bias verergeren in een ander (bijvoorbeeld Nemotron). Daarom is per-model counterfactuele audit een voorwaarde voor klinische implementatie.
Dissociatie van Mechanismen: Het onderzoek toont aan dat identieke fenotypische biases (bijvoorbeeld ondertriage voor vrouwen) kunnen voortkomen uit fundamenteel verschillende interne mechanismen (emergente interactie versus token-gedreven versus leeftijd-gedreven). Dit impliceert dat een enkele "fix" niet universeel kan worden toegepast op LLM's.

De auteurs concluderen dat hoewel LLM's veelbelovend zijn voor triage, hun huidige iteratie systematische gevoeligheid voor geslacht vertoont die stochastische ruis overtreft. Zij pleiten voor counterfactuele audit als een standaardstap voorafgaand aan implementatie en waarschuwen tegen het ongevalideerde gebruik van Chain-of-Thought prompting in klinische triage, aangezien dit momenteel de nauwkeurigheid degradeert en de gevoeligheid versterkt.