🤖 AI

WHBench: Evaluating Frontier LLMs with Expert-in-the-Loop Validation on Women's Health Topics

Deze paper introduceert WHBench, een benchmark met door experts gevalideerde scenario's die aantoont dat zelfs de beste grote taalmodellen bij vrouwen gezondheidsvragen significant tekortschieten in klinische nauwkeurigheid en veiligheid, met een gemiddelde score onder de 75%.

Oorspronkelijke auteurs: Sneha Maurya, Pragya Saboo, Girish Kumar

Gepubliceerd 2026-04-02

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Sneha Maurya, Pragya Saboo, Girish Kumar

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een super-slimme, digitale assistent hebt die alles over de wereld weet. Je vraagt haar: "Is het veilig om een vaccin te nemen terwijl ik probeer zwanger te worden?" of "Welke medicijnen mag ik niet nemen als ik borstvoeding geef?"

Vroeger zou je naar een dokter gaan. Maar nu kijken steeds meer mensen naar deze AI. Het probleem? AI is niet altijd even goed in de vrouwelijke gezondheid.

Dit artikel introduceert een nieuwe test, genaamd WHBench (een soort "rijbewijstest" voor AI), om te kijken of deze digitale assistenten echt veilig en goed zijn voor vrouwen.

Hier is hoe het werkt, vertaald in simpele taal met een paar creatieve vergelijkingen:

1. Waarom was deze test nodig?

Stel je voor dat je een chef-kok hebt die alleen kookt op basis van oude receptenboeken uit 1990. Als je hem vraagt om een modern gerecht te maken, zal hij waarschijnlijk iets verkeerds doen, omdat de ingrediënten en regels zijn veranderd.

Zo gaat het ook met AI in de geneeskunde:

Regels veranderen: Medische richtlijnen voor vrouwen (bijvoorbeeld over schildklierhormonen tijdens zwangerschap) veranderen vaak. AI weet dit soms niet.
De "Gender-Gap": Veel medisch onderzoek is historisch gezien gedaan op mannen. De AI heeft dus een "blinde vlek" voor vrouwen. Het is alsof je een auto bouwt op basis van metingen van alleen grote mannen, en dan probeert te rijden met een klein persoon; de stoel past niet goed.
Geen eerdere test: Er waren al tests voor algemene medische kennis (zoals een meerkeuze-examen), maar die testen niet of de AI veilig is of rekening houdt met specifieke vrouwelijke situaties.

2. Hoe is de test opgebouwd?

De onderzoekers (met hulp van echte artsen en verpleegkundigen) hebben 47 moeilijke scenario's bedacht. Denk aan dit als een proefrit met obstakels in plaats van een simpele parkeerparcours.

De Vragen: Ze zijn echt, zoals een patiënt ze zou stellen. Bijvoorbeeld: "Ik heb pijn aan mijn bekken, wat moet ik doen?"
De Valstrikken: Elke vraag is speciaal ontworpen om een bepaalde fout te vinden. Bijvoorbeeld:
- Oude kennis: De AI gebruikt regels die niet meer gelden.
- Dosisfouten: De AI zegt "neem 10 pillen" terwijl het 1 moet zijn.
- Onrechtvaardigheid: De AI vergeet dat een patiënt misschien geen geld heeft voor een dure behandeling of dat bepaalde ziektes vaker voorkomen bij bepaalde etnische groepen.

3. De Beoordeling: Een strengere Jager dan ooit

Vroeger keek je alleen of het antwoord "goed" was. Nu kijken ze naar veiligheid en volledigheid.

Stel je voor dat je een vliegtuigpiloot beoordeelt.

Als de piloot de route goed heeft, maar vergeet te controleren of er brandstof is, mag hij niet vliegen.
In deze test geldt: Als de AI een gevaarlijk advies geeft (zoals een verkeerd medicijn), krijgt ze een zware straf, zelfs als de rest van het antwoord perfect is.
Ze hebben ook een speciale categorie voor rechtvaardigheid: "Denk je na over de sociale situatie van de patiënt?" (bijv. kan ze de medicijnen betalen?).

4. Wat waren de resultaten? (De "Uitslag")

De onderzoekers hebben 22 verschillende AI-modellen getest. Het nieuws is niet heel bemoedigend:

Niemand is klaar: Zelfs de allerbeste AI (de "topmodel") haalde maar 72,1% van de punten. In de echte wereld betekent dit: Je kunt deze AI nog niet blindelings vertrouwen. Je hebt altijd nog een echte arts nodig om het na te kijken.
Veiligheid is een probleem: Sommige AI's gaven in bijna de helft van de gevallen advies dat potentieel schadelijk kon zijn. Het is alsof een auto die 90% van de tijd perfect rijdt, maar 10% van de tijd plotseling op de rem trapt.
Onrechtvaardigheid is overal: Bijna geen enkele AI wist goed rekening te houden met sociale factoren (zoals armoede of ras). Ze waren goed in het vermijden van beledigende woorden, maar slecht in het begrijpen van de echte problemen van de patiënt.

5. Wat betekent dit voor jou?

De boodschap is duidelijk: AI is een slimme assistent, maar nog geen arts.

Gebruik het als een hulpmiddel, niet als een eindoordeel. Je kunt AI gebruiken om informatie te vinden, maar vraag altijd aan een echte dokter of het advies klopt.
De test helpt de AI te groeien. Door deze "rijbewijstest" (WHBench) openbaar te maken, kunnen ontwikkelaars zien waar hun AI faalt en die fouten verbeteren. Het is als een spiegel die laat zien: "Kijk, hier ben je nog te slordig."

Kortom: We hebben een nieuwe, strenge test bedacht om te zien of AI veilig is voor vrouwen. De test laat zien dat we nog een lange weg te gaan hebben voordat we AI volledig kunnen vertrouwen op het gebied van vrouwelijke gezondheid. Het is een stap in de goede richting, maar we moeten nog even wachten voordat de AI de dokter mag vervangen.

Probleemstelling

Grote Taalmodellen (LLMs) worden steeds vaker geraadpleegd voor medische informatie, maar er ontbreekt een breed geaccepteerd benchmark om hun prestaties specifiek te evalueren op het gebied van vrouwengezondheid. Dit domein kent unieke uitdagingen:

Snelle evolutie van richtlijnen: Klinische richtlijnen veranderen frequent (bijv. schildklierdrempels tijdens zwangerschap), wat leidt tot verouderde informatie in modellen.
Complexiteit van beslissingen: Behandelingen hangen af van intersecterende patiëntfactoren (leeftijd, BMI, ras, reproductieve geschiedenis), wat geïntegreerd redeneren vereist in plaats van simpel patroonherkenning.
Genderkloof in data: De medische literatuur lijdt onder een gedocumenteerde genderdata-kloof, waardoor modellen inherente blinde vlekken hebben.
Gebrek aan bestaande benchmarks: Bestaande benchmarks (zoals MedQA, MedMCQA) gebruiken meerkeuzevragen die herkenning belonen boven generatie, en missen specifieke evaluatiecriteria voor gezondheidsongelijkheid (equity) en vrouwelijke gezondheidsproblemen.

Methodologie

De auteurs introduceren WHBench, een benchmark ontworpen om specifieke faalmodi van LLMs bloot te leggen.

1. Dataset Ontwerp:

47 klinische scenario's: Open-ended vragen over 10 vrouwelijke gezondheidsdomeinen (bijv. vruchtbaarheid, hormoongezondheid, zwangerschap, PCOS, anticonceptie).
Doelgerichte faalmodi: Elke vraag is gekoppeld aan een specifieke foutcategorie (zie Tabel 1 in het paper), zoals het missen van informatie, verouderde feiten, genegeerde gezondheidsongelijkheden, onjuiste behandelingen of doseringsfouten.
Expert Referentiantwoorden: Elk scenario werd onafhankelijk beantwoord door 4–6 erkende experts (waaronder OB/GYN-specialisten, gynaecologische oncologen en vruchtbaarheidsverpleegkundigen). De antwoorden zijn gemiddeld 94 woorden lang, wat de beknopte stijl van praktiserende artsen nabootst.

2. Beoordelingsrubric (Scoring Rubric):
Een robuust beoordelingssysteem met 23 criteria verdeeld over 8 categorieën:

Klinische Nauwkeurigheid & Veiligheid: Inclusief criteria voor onveilige handelingen (commission) en nalatigheden (omission).
Veiligheid (Safety): Asymmetrische straffen worden toegepast; een veiligheidsfout (C9a) levert -5 punten op, terwijl een correcte veiligheidscheck +6 punten oplevert. Dit zorgt ervoor dat een goed geformatteerd maar klinisch gevaarlijk antwoord slecht scoort.
Gezondheidsongelijkheid (Equity): Een unieke dimensie (F18a en F18b) die sociale determinanten van gezondheid en bias-avoidance evalueert.
Compleetheid: Evaluatie van follow-up, monitoring en patiëntspecifieke factoren.
Schaal: Raw scores lopen van -58 tot +92, genormaliseerd naar 0-100%. Antwoorden worden geclassificeerd als Correct (≥80%), Gedeeltelijk Correct (45-79%) of Incorrect (<45%).

3. Evaluatie Protocol:

Modellen: 22 modellen werden getest, waaronder frontier-modellen (GPT-5.4, Claude Opus 4.6), redenerings-specialisten (OpenAI o3, DeepSeek-R1) en open-source modellen (Llama 3/4, Nemotron).
Setup: Zero-shot, gesloten-boek setting met een gestandaardiseerde prompt die het model vraagt te handelen als een erkend specialist.
Jury: Evaluatie uitgevoerd door twee frontier-LLMs (Claude Sonnet 4.6 als primaire, GPT-5.4 als secundaire) met een "default to fail"-filosofie. De scores worden server-side herberekend op basis van pass/fail-verdicts om rekenfouten van de jury te voorkomen.

Belangrijkste Bijdragen

De eerste gespecialiseerde benchmark voor vrouwengezondheid: Richt zich specifiek op de unieke risico's en data-kloven in dit domein.
Multi-dimensionale rubric met Equity: Introduceert de eerste dedicated "Equity & Inclusivity" dimensie in een medische LLM-benchmark, met zware straffen voor veiligheidsfouten.
Grootschalige evaluatie: Test van 22 modellen met 3.100+ gescoorde antwoorden, inclusief analyse van inter-rater betrouwbaarheid.
Documentatie van capaciteitsgaten: Toont aan dat zelfs de beste modellen nog aanzienlijke ruimte voor verbetering hebben, vooral op het gebied van sociale determinanten van gezondheid.

Resultaten

De evaluatie van 3.100 antwoorden leverde de volgende inzichten op:

Algemene Prestaties: Geen enkel model behaalde een gemiddelde score boven de 75%. De topmodel, Claude Opus 4.6, behaalde 72,1%. De topmodellen vormen een strakke cluster (60-72%), wat suggereert dat er een capaciteitsplafond is bereikt dat niet zichtbaar is in verzadigde meerkeuze-benchmarks.
Correctheid: Zelfs de beste modellen zijn slechts in 35,5% van de gevallen volledig correct (score ≥80%). Dit betekent dat klinische toezicht en correctie door mensen essentieel blijven.
Veiligheid (Safety): Er is een grote variatie in schade (Harm%). Claude Opus 4.6 had de laagste schade (12,8%), terwijl andere sterke modellen zoals GPT-5.4 (47,5%) en Gemini 2.5 Pro (90,8%) aanzienlijke veiligheidsrisico's vertoonden. Aggregate scores verbergen dus grote verschillen in klinisch risico.
Gezondheidsongelijkheid (Equity): Dit is de grootste zwakke plek. De prestaties op het criterium "Sociale Determinanten van Gezondheid" (F18a) waren extreem laag (0,7% - 19,1% geslaagd). Modellen zijn beter in het vermijden van expliciete bias in taal dan in het proactief integreren van structurele barrières en sociaaleconomische context in advies.
Betrouwbaarheid: De inter-rater betrouwbaarheid op het niveau van individuele labels was bescheiden ( $\kappa = 0,238$ ), maar de rangschikking van modellen was zeer stabiel ( $\rho = 0,916$ ). Dit betekent dat de benchmark geschikt is voor het vergelijken van systemen, ondanks ruis in individuele beoordelingen.

Betekenis en Conclusie

WHBench onthult een kritieke kloof tussen de prestaties van LLMs op traditionele examens en hun vermogen om veilige, complete en eerlijke klinische adviezen te geven in de echte wereld.

Klinische Realiteit: De benchmark toont aan dat "herkenning" (meerkeuze) niet gelijkstaat aan "generatie" van veilig, patiëntspecifiek advies.
Beperkingen van Finetuning: Medische finetuning (zoals bij Nemotron 70B) verbeterde de prestaties niet significant ten opzichte van algemene modellen op deze specifieke veiligheids- en equity-domeinen.
Toekomst: De auteurs benadrukken dat er nog veel werk aan de winkel is, vooral op het gebied van het integreren van sociale determinanten van gezondheid en het verbeteren van de veiligheid van AI-systemen voordat ze breed ingezet kunnen worden in de zorg.

WHBench wordt vrijgegeven als een publiek hulpmiddel om de voortgang van klinische AI in de vrouwengezondheid te meten en te sturen naar veiligere en eerlijkere systemen.