💬 NLP

HealthBench Professional: Evaluating Large Language Models on Real Clinician Chats

Het artikel introduceert HealthBench Professional, een rigoureus open benchmark dat bestaat uit door artsen geschreven gesprekken en door experts beoordeelde rubrieken om de voortgang van grote taalmodellen bij realistische klinische taken te evalueren en te volgen, en toont aan dat het gespecialiseerde GPT-5.4-model zowel basismodellen als menselijke artsen overtreft.

Oorspronkelijke auteurs: Rebecca Soskin Hicks, Mikhail Trofimov, Dominick Lim, Rahul K. Arora, Foivos Tsimpourlas, Preston Bowman, Michael Sharman, Chi Tong, Kavin Karthik, Arnav Dugar, Akshay Jagadeesh, Khaled Saab, Johannes

Gepubliceerd 2026-05-01

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Rebecca Soskin Hicks, Mikhail Trofimov, Dominick Lim, Rahul K. Arora, Foivos Tsimpourlas, Preston Bowman, Michael Sharman, Chi Tong, Kavin Karthik, Arnav Dugar, Akshay Jagadeesh, Khaled Saab, Johannes Heidecke, Ashley Alexander, Nate Gross, Karan Singhal

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert een zeer slimme, maar soms overmoedige, robotassistent te leren hoe hij artsen kan helpen. Je wilt weten of de robot daadwerkelijk een arts kan helpen bij het redden van een leven, het schrijven van een patiëntendossier of het vinden van het nieuwste medische onderzoek, of dat hij alleen maar goed klinkt maar de details verkeerd heeft.

Dit artikel introduceert HealthBench Professional, wat in wezen een enorme, realistische "rijexamen" voor AI-assistenten is, maar specifiek ontworpen voor artsen.

Hieronder wordt uitgelegd hoe het artikel dit uitlegt, opgesplitst in eenvoudige concepten:

1. Het Probleem: Oude Tests Waren Te Gemakkelijk (of Vervalst)

Denk aan eerdere AI-tests als een meerkeuzetoets waarbij de antwoorden voor de hand liggen, of een geënsceneerde rollenspel waarbij de robot precies weet wat de "patiënt" gaat zeggen.

Het Probleem: Echte artsen praten niet in meerkeuzevragen. Ze hebben rommelige, meertrapsgesprekken. Ze vragen hulp bij moeilijke gevallen, ze hebben snel geschreven dossiers nodig en ze moeten specifieke onderzoeksartikelen vinden.
Het Resultaat: De oude tests waren als het geven van een test aan een robot over "hoe je in een parkeerterrein rijdt", maar hem vervolgens op een echte snelweg zetten. De robot slaagde voor het parkeerterreintoets, maar crashte op de snelweg. Bovendien hadden de slimste robots de antwoorden op de oude tests al uit het hoofd geleerd, waardoor de tests "verzadigd" waren (onbruikbaar voor het meten van verbetering).

2. De Oplossing: Een Realistische Simulatie

De auteurs bouwden een nieuwe test met 525 echte gesprekken die echte artsen hadden met een AI-tool genaamd "ChatGPT voor Klinici".

De "Goede Overtuiging"-Bestuurders: Sommige artsen gebruikten de AI gewoon tijdens hun werk (zoals een bestuurder die naar het werk rijdt). Deze vertegenwoordigen alledaagse taken.
De "Red Team"-Bestuurders: Andere artsen werden ingehuurd om de AI te proberen te breken. Ze probeerden het te bedriegen, te verwarren of gevaarlijke vragen te stellen om te zien of het zou falen. Dit is als een rijinstructeur die opzettelijk obstakels op de weg gooit om te zien of de robot een crisis aankan.

3. Het Beoordelingssysteem: De "Menselijke Scheidsrechter"

Bij veel AI-tests beoordeelt een computer de computer. In dit artikel beoordeelden echte artsen de AI.

Het Proces:
1. Een arts maakt een gesprek en schrijft een "rubric" (een checklist van hoe een perfect antwoord eruit moet zien).
2. Andere artsen beoordelen die checklist om ervoor te zorgen dat deze eerlijk en accuraat is.
3. Een laatste groep artsen fungeert als "scheidsrechters" om eventuele geschillen op te lossen.
De Analogie: Stel je een sportwedstrijd voor waarbij de scheidsrechters allemaal voormalige professionele spelers zijn. Ze kijken niet alleen naar de stand; ze kijken naar hoe de zet werd gemaakt. Ze controleren op veiligheid, nauwkeurigheid en duidelijkheid.

4. De Drie Hoofdoelstellingen

De test richt zich op de drie dingen die artsen daadwerkelijk doen met AI:

Zorgconsult: "Ik heb een patiënt met deze rare symptomen. Wat zou het kunnen zijn en hoe behandel ik het?" (Redeneren).
Schrijven en Documentatie: "Hier is een rommelig transcript van een patiëntbezoek; maak er een schoon medisch dossier van." (Schrijven).
Medisch Onderzoek: "Vind voor me de nieuwste studies over deze specifieke geneesmiddeleninteractie." (Zoeken).

5. De "Lengtestraal"-Regel

De auteurs merkten een truc op: Als een AI gewoon veel praat, kan het per ongeluk een hogere score krijgen omdat het meer kansen heeft om het juiste te zeggen.

De Oplossing: Ze voegden een "lengtestraal" toe. Het is als een schrijfwedstrijd waarbij je punten aftrekt als je een 50-pagina's lang essay schrijft om een eenvoudige vraag te beantwoorden, omdat je te woordrijk bent. Ze pasten de scores aan zodat beknopte, hoogwaardige antwoorden worden beloond, niet alleen lange, zwetsende.

6. De Resultaten: Wie Won?

Het artikel vergelijkt verschillende AI-modellen en zelfs echte menselijke artsen.

De Menselijke Basislijn: Ze huurden expert-artsen in om dezelfde vragen te beantwoorden. Ze kregen onbeperkt tijd en toegang tot internet. Dit is de "Gouden Standaard".
De Winnaar: Het best presterende systeem was GPT-5.4 binnen de tool "ChatGPT voor Klinici".
- Het scoorde 59,0.
- De menselijke artsen scoorden 43,7.
- De standaardversie van GPT-5.4 (zonder de speciale artsentools) scoorde 48,1.
De Conclusie: De gespecialiseerde AI-tool versloeg niet alleen andere AI-modellen; het presteerde in deze specifieke testomgeving daadwerkelijk beter dan de menselijke artsen. Het artikel merkt op dat dit waarschijnlijk komt doordat de AI directe toegang had tot alle medische richtlijnen en informatie sneller kon verwerken dan een mens die in een testsituatie moet lezen en synthetiseren.

7. Waarom Dit Belangrijk Is

De auteurs zeggen dat deze test is ontworpen om moeilijk te zijn. Ze kozen opzettelijk de moeilijkste vragen (de "Red Team"-vragen) om ervoor te zorgen dat de test niet "te makkelijk" wordt voor toekomstige, slimmere robots.

Het Doel: De gezondheidszorggemeenschap een betrouwbare liniaal geven om te meten of AI daadwerkelijk beter wordt in het helpen van artsen, in plaats van alleen maar beter in het slagen voor nep-examens.

Kortom: Het artikel bouwde een strenge, realistische rijexamen voor AI, beoordeeld door expert-artsen, en ontdekte dat een gespecialiseerde AI-tool momenteel beter rijdt dan de menselijke bestuurders in deze specifieke simulatie.

1. Probleemstelling

Hoewel Large Language Models (LLM's) door miljoenen clinici steeds vaker worden gebruikt voor real-time redenering, documentatie en onderzoek, slagen bestaande evaluatiebenchmarks er niet in om de complexiteit van deze interacties vast te leggen.

Beperkingen van huidige benchmarks: De meeste bestaande gezondheidsbenchmarks vertrouwen op synthetische data, meerkeuzevragen met één beurt (bijv. MedQA) of gestructureerde patiëntvignettes. Deze weerspiegelen niet het meerbeurtige, open karakter van echte clinische workflows.
Verzadiging: Veel benchmarks zijn al verzadigd door frontier-modellen, waardoor er weinig signaal is om toekomstige vooruitgang te meten.
Gebrek aan betrouwbaarheid: Evaluaties lijden vaak aan annotatieruis of missen een rigoureuze verificatie door meerdere domeinexperts, waardoor het moeilijk is om onderscheid te maken tussen modelfalen en evaluatiefouten.

Doel: Een hoogwaardige, niet-verzadigde en betrouwbare benchmark creëren die LLM's evalueert op de specifieke, real-world taken die clinici dagelijks uitvoeren.

2. Methodologie

A. Datacollectie en Constructie

De benchmark bestaat uit 525 door artsen geschreven taken afgeleid van echte interacties met "ChatGPT for Clinicians".

Bronnen: De data komt uit twee modi:
1. Good Faith (GF): Routine klinisch, academisch of administratief gebruik.
2. Red Teaming (RT): Bewuste adversariele stress-testen (bijv. valse premissen, emotionele framing, rollenspellen) om faalmodi bloot te leggen.
Driefasig Adjudicatieproces: Elk voorbeeld en bijbehorende beoordelingsrubric onderging een rigoureuze drie-fase review door drie of meer artsen:
1. Auteur: Een arts creëert het gesprek, schrijft een eerste rubric en kiest een moeilijkheidsgraad (Likert 1–7).
2. Review: Onafhankelijke artsen verifiëren realisme, moeilijkheidsgraad en kwaliteit van de rubric. "Moeilijke" voorbeelden (Likert 1–2) vereisen dubbele verificatie van modelfouten.
3. Eindadjudicatie: Ambiguïteiten worden opgelost en rubrics worden gescherpt om objectiviteit en alignement met klinische standaarden te waarborgen.
Gestratificeerde Steekproef: Uit een initiële pool van 15.079 voorbeelden werden de uiteindelijke 525 geselecteerd via op moeilijkheid gebaseerde gestratificeerde steekproefneming. Dit verhoogde het aandeel "moeilijke" voorbeelden (Likert 1–2) met ongeveer 3,5x ten opzichte van de kandidatenpool, zodat de benchmark uitdagend blijft voor frontier-modellen.

B. Benchmarkstructuur

De taken zijn gecategoriseerd in drie primaire use-cases die centraal staan in de klinische praktijk:

Care Consult: Redeneren over differentiaaldiagnoses, beheer en behandelplannen.
Schrijven en Documentatie: Genereren van notities, samenvatten, medische codering en patiëntberichten.
Medisch Onderzoek: Synthetiseren van bewijs voor klinische of wetenschappelijke vragen.

C. Scoremechanisme

Rubric-gebaseerde Evaluatie: Elk voorbeeld heeft een specifieke rubric met criteria variërend van specifieke feiten tot gedragskenmerken (bijv. veiligheid, omgaan met onzekerheid). Criteria krijgen puntwaarden tussen -10 en +10.
Modelgebaseerde Beoordeling: Een model (GPT-5.4) fungeert als beoordelaar en evalueert of het antwoord voldoet aan elk criterium.
Lengte-aanpassing: Om te voorkomen dat modellen het systeem omzeilen door buitensporig lange antwoorden te genereren, wordt een lengtestraf toegepast. De score wordt lineair aangepast op basis van de antwoordlengte (het bestraffen van antwoorden >2.000 tekens en het belonen van kortere, beknopte antwoorden binnen een redelijke range).
Menselijke Baseline: Een sterke baseline werd vastgesteld door antwoorden te verzamelen van specialiteit-gematchte artsen met onbeperkte tijd en webtoegang, wat de "ideale" menselijke prestatie vertegenwoordigt.

3. Belangrijkste Bijdragen

HealthBench Professional Benchmark: Een nieuw, open benchmark van 525 real-world clinische taken, die verder gaat dan synthetische data naar echte clinicien-modelgesprekken.
Rigoureuze Kwaliteitscontrole: Een driefasig arts-adjudicatieproces zorgt voor hoge betrouwbaarheid, waarbij onrealistische voorbeelden en subjectieve criteria worden gefilterd.
Adversariele en Moeilijkheidsstratificatie: De bewuste opname van red-teaming-data en het oversampling van moeilijke voorbeelden (3,5x verrijking) creëren een benchmark die nog niet verzadigd is, waardoor het meten van toekomstige modelvoortgang mogelijk is.
Sterke Menselijke Baseline: De verzameling van onbeperkte, specialiteit-gematchte antwoorden van artsen biedt een rigoureuze bovengrensreferentie voor modelprestaties.
Lengte-gecorrigeerde Score: Een nieuwe score-aanpassing die prestaties ontkoppelt van antwoordverbaaliteit, met focus op informatiedichtheid en nut.

4. Resultaten

Het paper evalueert OpenAI-modellen (GPT-5-serie), concurrenten (Claude, Gemini, Grok) en de menselijke arts-baseline.

Algemene Prestatie: Het GPT-5.4-model binnen de "ChatGPT for Clinicians" harness behaalde de hoogste score (59,0), aanzienlijk beter dan:
- Menselijke Artsen: 43,7 ( $p = 3,7 \times 10^{-10}$ ).
- Basis GPT-5.4: 48,1 ( $p = 1,3 \times 10^{-7}$ ).
- Andere Frontier-modellen: Alle andere geëvalueerde modellen scoorden lager.
Prestatie per Use-case:
- Schrijven & Documentatie: Het systeem toonde de grootste marge ten opzichte van mensen (64,1 vs. 32,1) en andere modellen.
- Care Consult: Beter dan mensen (51,0 vs. 42,7), maar statistisch vergelijkbaar met basis GPT-5.4.
- Medisch Onderzoek: Aanzienlijk beter dan mensen (67,0 vs. 56,3).
Prestatie per Moeilijkheidsgraad:
- Bij Red Teaming (Adversariele) Moeilijke gevallen scoorde het systeem 55,8, wat mensen (30,0) en basismodellen (26,2) ver overtrof.
- Bij Good Faith Typische gevallen bleef het systeem vooroplopen ten opzichte van mensen, maar was het na correctie statistisch niet te onderscheiden van sommige andere sterke modellen.
Systeem vs. Model: De "ChatGPT for Clinicians" harness (die toolgebruik voor bewijsopzoeking omvat) verhoogde de prestaties aanzienlijk ten opzichte van het basis GPT-5.4-model, met name bij documentatie- en onderzoekstaken.
Redeneerinspanning: Het verhogen van redeneerinspanning (test-time compute) verbeterde de scores consistent, wat suggereert dat modellen extra compute kunnen benutten om kwalitatief betere, niet alleen langere, antwoorden te produceren.

5. Betekenis en Implicaties

Relevantie voor de Realiteit: In tegenstelling tot examen-gebaseerde benchmarks, meet HealthBench Professional prestaties op taken die direct van invloed zijn op patiëntzorg, documentatie-efficiëntie en klinische besluitvorming.
Vertrouwen en Veiligheid: De rigoureuze arts-adjudicatie en adversariele testen bieden een betrouwbaarder signaal voor veiligheid en robuustheid, wat cruciaal is voor het implementeren van AI in de gezondheidszorg.
Toekomstbestendigheid: Door bewust moeilijke voorbeelden te verrijken, vermijdt de benchmark verzadiging en dient het als langetermijnmaatstaf voor het volgen van de vooruitgang van frontier-modellen in de gezondheidszorg.
Klinische Nut: De resultaten suggereren dat AI-systemen, wanneer correct ingezet en geëvalueerd, menselijke artsen kunnen overtreffen in specifieke hoogvolume-taken (zoals documentatie en onderzoekssynthese), wat mogelijk clinici-uitbranding kan verminderen en de zorgkwaliteit kan verbeteren.

Conclusie: HealthBench Professional stelt een nieuwe standaard voor het evalueren van LLM's in de gezondheidszorg, waarbij de focus verschuift van statische kennisherinnering naar dynamisch, meerbeurtig klinisch redeneren en workflow-integratie. Het toont aan dat huidige frontier-modellen, wanneer geïntegreerd met passende tools en veiligheidsvoorzieningen, menselijke artsen kunnen overtreffen in specifieke professionele contexten.