🤖 AI

EarlyDx: An Admission-Anchored Benchmark for Open-Ended Generation of Evidence-Supported ED-Encounter Diagnoses

Dit artikel introduceert EarlyDx, een grootschalige benchmark voor open eind, op bewijs gebaseerde spoeddiaagnose met uitsluitend op opnamegegevens gebaseerde data uit MIMIC-IV, wat onthult dat huidige grote taalmodellen moeite hebben met het betrouwbaar afleiden van diagnoses uit beperkte initiële bewijslast, ondanks verbeteringen door post-training.

Oorspronkelijke auteurs: Jiahui Li, Ruili Fang, Zishuai Liu, Yutong Guo, Nan Yang, Wenzhan Song, Jin Lu, Fei Dou

Gepubliceerd 2026-08-03

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Jiahui Li, Ruili Fang, Zishuai Liu, Yutong Guo, Nan Yang, Wenzhan Song, Jin Lu, Fei Dou

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een detective bent die een mysterie probeert op te lossen, maar je mag alleen de eerste vijf minuten naar de plaats delict kijken. Je hebt een notitieblok vol aanwijzingen: een modderige voetafdruk, een gebroken raam en een getuige die nog steeds staat te trillen. Jouw taak is om te raden wat er op dit moment gebeurt, voordat de politie arriveert, voordat de laboratoriumtests binnen zijn en voordat de verdachte bekent. Dit is de dagelijkse realiteit voor artsen in een Spoedeisende Hulp (SEH). Zij moeten een "werkdiagnose" stellen—een beste gok over wat er mis is met een patiënt—met gebruik van slechts de beperkte informatie die beschikbaar is op het moment dat de patiënt binnenkomt.

Lange tijd hebben wetenschappers geprobeerd computers dit werk te leren met behulp van Kunstmatige Intelligentie (AI). Ze bouwden "benchmarks", die lijken op toetsresultaten voor AI, om te zien hoe slim deze machines zijn. Maar de meeste van deze tests waren gemanipuleerd. Ze gaven de AI het hele verhaal van het ziekenhuisverblijf van de patiënt (inclusief de uiteindelijke diagnose die dagen later werd gesteld) en vroegen de AI om het begin te voorspellen. Het is alsof je een detective de oplossing van het mysterie geeft en hem vervolgens vraagt de aanwijzingen te raden. Bovendien dwongen deze tests de AI om te kiezen uit een korte, vaste lijst met antwoorden, zoals een meerkeuzetoets, in plaats van hen hun eigen antwoord in vrije tekst te laten opschrijven. Dit artikel, genaamd EarlyDx, besluit dit spel te veranderen. Het bouwt een nieuwe, eerlijkere test die de AI dwingt te handelen als een echte SEH-arts: kijkend naar de bewijzen die op het exacte moment van opname beschikbaar zijn en het opschrijven van een diagnose in vrije tekst, precies zoals een mens dat zou doen.

Het Nieuwe Spel: EarlyDx

De onderzoekers creëerden een enorme nieuwe speeltuin genaamd EarlyDx, gebouwd op basis van meer dan 154.000 bezoeken aan de spoedeisende hulp. Stel je een gigantische bibliotheek van patiëntverhalen voor. In deze bibliotheek hebben ze elk verhaal zorgvuldig afgekapt op het moment dat de patiënt in het ziekenhuis werd opgenomen. Ze hebben alle aantekeningen die later zijn geschreven weggegooid, alle laboratoriumuitslagen die de volgende dag binnenkwamen, en alle definitieve diagnoses die na de volledige behandeling van de patiënt werden gesteld. Ze hielden alleen de bewijslast van het "moment van opname" over: de leeftijd van de patiënt, de hoofdklacht (waar de pijn zit), de vitale functies en directe tests zoals röntgenfoto's of hartmonitoren die op dat moment werden uitgevoerd.

Maar hier komt het lastige deel: de "antwoorden" in deze bibliotheek zijn niet alleen de definitieve diagnoses. De onderzoekers gebruikten een speciale AI "auditor" om elke diagnose die in het dossier van de patiënt staat te controleren. Ze vroegen: "Kan deze diagnose bewezen worden met alleen de bewijslast die we op het moment van opname hebben?"

Onderbouwd: Het bewijs is direct aanwezig (bijv. een röntgenfoto laat een gebroken bot zien).
Gedeeltelijk onderbouwd: Het bewijs is een aanwijzing, maar geen sluitend bewijs (bijv. de patiënt heeft een geschiedenis van diabetes, maar we hebben nog geen bloedtest).
Niet onderbouwd: De diagnose is waar, maar we hadden dat op het moment van opname niet kunnen weten (bijv. een bloedkweek die drie dagen duurt om te groeien).

De AI-modellen worden alleen beoordeeld op de "onderbouwde" en "gedeeltelijk onderbouwde" antwoorden. Als de AI een diagnose raadt die informatie vereist die we op dat moment nog niet hadden, krijgt deze geen punten. Dit zorgt ervoor dat de test werkelijk redeneren meet, en niet alleen geluksafhankelijk gokken of het memoriseren van het uiteindelijke antwoord.

De Grote Verrassing: AI Vertrouwt op Expliciete Tekst

Toen de onderzoekers hun tests uitvoerden, ontdekten ze iets verrassends. Ze testten de slimste AI-modellen ter wereld, inclusief enorme algemene modellen en gespecialiseerde medische modellen. De resultaten lieten zien dat de meeste van deze "zero-shot" modellen (modellen die niet specifiek voor deze nieuwe test zijn getraind) eigenlijk heel slecht zijn in het afleiden van een diagnose.

In plaats van te denken als een detective, gedragen ze zich als een fotokopieerapparaat. Ongeveer 43% van de tijd was de juiste diagnose letterlijk in de aantekeningen van de patiënt geschreven (bijv. de aantekening zei "vermoeden van pneumonie" en de AI kopieerde simpelweg "pneumonie"). Wanneer de AI een diagnose moest afleiden—het leggen van verbanden tussen zaken die niet expliciet vermeld stonden—stortten deze modellen in. Ze vonden slechts 3% tot 31% van de verborgen diagnoses. Het is als een student die het antwoord kan kopiëren als het op het bord staat, maar volledig faalt als hij zelf de wiskundige som moet oplossen.

Zelfs toen de onderzoekers een kleiner AI-model "fijnmazig afgestemd" (fine-tuned/retrained) op deze specifieke taak, werd het veel beter, maar het bereikte nog steeds niet het niveau van een menselijke arts. Het fijnmazig afgestemde model kon ongeveer 56% van de verborgen diagnoses vinden, wat een grote verbetering is, maar het liet nog steeds veel kritieke gevallen onopgemerkt.

De Menselijke Factor en de "Tijdkritische" Kloof

De studie vergeleken deze AI-modellen ook met een echte menselijke arts die naar dezelfde opnamenotities keek. De menselijke arts was veel beter in het vinden van de verborgen aanwijzingen en vond ongeveer 68% van de onderbouwde diagnoses. De menselijke arts stelde echter ook veel meer mogelijkheden op, wat een "differentiaaldiagnose" creëert (een lijst van wat het zou kunnen zijn). De AI-modellen hadden de neiging om ofwel te weinig dingen op te sommen (waardoor het gevaar werd gemist) of te veel willekeurige dingen (waardoor ze te vaag waren).

De meest verontrustende bevinding kwam toen ze keken naar tijdkritische condities—levensbedreigende noodgevallen zoals hartaanvallen, beroertes of sepsis. In deze gevallen is het missen van een diagnose veel erger dan het geven van een vals alarm. De menselijke arts vindt een zorgvuldige balans: zij markeren veel potentiële gevaren om veilig te zijn. De AI-modellen worstelden echter met het vinden van deze balans. Sommigen waren zo voorzichtig dat ze het gevaar misten; anderen waren zo roekeloos dat ze alles als gevaarlijk bestempelden. Geen enkel getest AI-systeem kon de vaardigheid van de menselijke arts evenaren om te zeggen: "Dit ziet er gevaarlijk uit, laten we het controleren," met het juiste niveau van vertrouwen.

Het Eindoordeel

Het artikel concludeert dat hoewel AI beter wordt in het lezen van medische aantekeningen, het nog niet klaar is om het menselijke detectivewerk op een spoedeisende hulp te vervangen. De huidige modellen zijn vooral goed in extractie (het vinden van wat al geschreven staat) maar slecht in inferentie (het afleiden van wat wordt gesuggereerd). De onderzoekers suggereren dat voor AI echt nuttig te zijn, het moet leren hoe het moet redeneren met onzekerheid, door toe te geven wanneer het het niet zeker weet en potentiële gevaren te signaleren, in plaats van alleen maar te proberen het uiteindelijke antwoord te raden. Tot die tijd blijft het spel van de "vroege diagnose" een menselijke specialiteit, waarbij AI fungeert als een behulpzame maar imperfecte assistent.

Technische Samenvatting: EarlyDx

Probleemstelling

Klinische diagnose bij ziekenhuisopname vereist het synthetiseren van beperkte, incomplete bewijslast (vitale functies, laboratoriumuitslagen, beeldvorming, voorgeschiedenis) om onder onzekerheid tot een werkdiagnose te komen. Bestaande benchmarks voor medische diagnose zijn ongeschikt voor het evalueren van moderne Large Language Models (LLMs) in deze specifieke setting vanwege drie primaire beperkingen:

Closed-Set Labels: Diagnoses worden gekoppeld aan vaste ICD-codesets, waardoor klinische nuance en informatie verloren gaan tijdens de tekst-naar-code conversie.
Beperkte Modaliteiten: Benchmarks sluiten vaak rijke vrije tekst-signalen (klachten bij opname, radiologische bevindingen) uit ten gunste van tabulaire kenmerken.
Temporele Inconsistentie: Modellen ontvangen inputs op het moment van opname, maar worden gesuperviseerd met ontslagdiagnoses die het volledige verloop tijdens de opname bevatten, inclusief informatie die op het moment van opname nog niet beschikbaar was.

Consequentelijk falen huidige benchmarks erin om onderscheid te maken tussen het vermogen van een model om expliciete informatie uit een dossier te extraheren en het vermogen om diagnoses af te leiden uit gedeeltelijk geobserveerde signalen.

Methodologie

De auteurs introduceren EarlyDx, een grootschalige benchmark ( $N=154.834$ encounters) afgeleid van MIMIC-IV, ontworpen om open eindige vroege diagnose te evalueren die strikt verankerd is aan het moment van opname ( $t_0$ ).

Dataconstructie

Cohort: Omvat alle spoedeisende hulp (SEH)-encounters die leiden tot een ziekenhuisopname.
Input: Een geserialiseerde tekstprompt die alleen gegevens bevat die beschikbaar zijn op of vóór $t_0$ (moment van opname). Dit omvat demografie, de klacht bij opname, triage vitale functies, seriële SEH vitale functies, medicatie thuis, basismetingen, laboratoriumresultaten, ECG-interpretaties, radiologische bevindingen en relevante medische voorgeschiedenis. Beeldvorming en fysiologische signalen worden weergegeven als rapportbevindingen, niet als ruwe data.
Labels: Referentiediagnoses zijn de open-vocabulary ICD-titels uit de ED-encounter diagnose tabel, in plaats van gesloten set-codes of ontslagdiagnoses.

Bewijs-gegronde Verificatie

Een cruciale innovatie is het gebruik van een LLM-auditor (MiniMax M3) om elk vrije tekst-label te verifiëren tegen de bewijslast op het moment van opname. Labels worden gecategoriseerd als:

Onderbouwd (Supported): Direct bewijs in de input (labs, beeldvorming, vitale functies) staaft de diagnose aan.
Gedeeltelijk Onderbouwd (Partially Supported): Het bewijs is indirect of omstandigheidsgebonden (bijv. medische voorgeschiedenis, medicatie thuis) maar niet definitief op het moment van opname.
Niet Onderbouwd (Unsupported): De diagnose is afhankelijk van informatie die op het moment van opname niet beschikbaar was (bijv. microbiologische kweken, onderzoek na opname).

Het primaire evaluatietrack scoort modellen alleen op volledig onderbouwde labels (32,7% van de totale labels), wat ervoor zorgt dat de benchmark diagnostische inferentie meet in plaats van het ophalen van toekomstige informatie.

Evaluatieprotocol

Semantische Matching: Exacte string-matching is onbetrouwbaar voor vrije tekst. De auteurs hanteren een LLM-as-judge protocol (Qwen3.5-27B) om een één-op-één matching te berekenen tussen voorspelde en referentiediagnoses, waarbij rekening wordt gehouden met synoniemen en afkortingen.
Metrieken: Micro-gemiddelde Precisie, Recall en F1 worden gerapporteerd.
Baselines: De studie evalueert zero-shot algemene LLMs (bijv. GPT-5.5, Claude Opus), medisch gespecialiseerde LLMs (bijv. MedGemma, HuatuoGPT) en een post-getraind model (Qwen3.5-4B fijngetuned met gold-conditioned Chain-of-Thought).

Belangrijkste Bijdragen

Opname-verankerde Benchmark: Een grootschalige dataset waarbij supervisie strikt beperkt is tot bewijs dat beschikbaar is bij opname, gebruikmakend van open-ended vrije tekst-labels in plaats van gesloten codes.
Bewijs Verificatie: Een pipeline die labels filtert op basis van of ze worden ondersteund door de beschikbare bewijslast, waardoor onderscheid wordt gemaakt tussen "extractie"-taken en "inferentie"-taken.
Empirische Analyse van LLM-capaciteiten: Een systematische evaluatie die aantoont dat huidige LLMs moeite hebben met vroege diagnose-inferentie en vaak vertrouwen op tekstextractie in plaats van redeneren over onzekerheid.

Resultaten

Prestatiekloof: Zero-shot modellen (zowel algemeen als medisch) scoren over het algemeen onder de 0,40 F1 op de primaire track. Post-training levert significante winst op, waarbij het fijngetunede Qwen3.5-4B een F1 van 0,51 behaalt op onderbouwde labels, waarmee het de sterkste zero-shot baseline met +0,11 verslaat.
Extractie versus Inferentie:
- 43% van de onderbouwde diagnoses komt letterlijk voor in de input (expliciet). Zero-shot modellen herstellen 37–65% van deze.
- 57% van de onderbouwde diagnoses is impliciet (moet worden afgeleid). Zero-shot modellen herstellen slechts 3–31% van deze; medisch gespecialiseerde modellen herstellen slechts 3–6% en algemene modellen 9–31%.
- Post-training verbetert de impliciete recall naar 56% voor het fijngetunede model, maar een aanzienlijke kloof blijft bestaan vergeleken met menselijke prestaties.
Tijdgevoelige Condities: Voor zes tijdgevoelige diagnoses (bijv. myocardinfarct, sepsis) bereikt geen enkel geëvalueerd systeem de balans tussen sensitiviteit en precisie van een clinicus. Zero-shot modellen hebben de neiging tot een hoge sensitiviteit maar een zeer lage precisie (25–28%), terwijl het post-getrainde model een hoge precisie (78%) maar lagere sensitiviteit (54%) bereikt.
Menselijke Referentie: Een menselijke clinicus die op dezelfde inputs werd geëvalueerd, behaalde de hoogste ondersteunde recall (0,68) maar een vergelijkbare F1 als de top zero-shot modellen, grotendeels door over-predictie (het opstellen van een brede differentiaaldiagnose), wat suggereert dat zelfs experts moeite hebben met het verfijnen van de differentiaaldiagnose zonder het volledige klinische verloop.

Betekenis en Claims

Het artikel claimt dat EarlyDx een fundamentele beperking in huidige LLMs blootlegt: ze zijn effectief in het extraheren van diagnoses die expliciet in de dossiers staan, maar falen in het synthetiseren van bewijs om diagnoses af te leiden onder onzekerheid.

Negatieve maar Nuttige Bevinding: De benchmark toont aan dat "frontier" algemene en medische LLMs niet betrouwbaar bewijs op het moment van opname synthetiseren. De bottleneck is niet medische kennis, maar het vermogen om die kennis te vertalen naar een gekalibreerde diagnose onder onzekerheid.
Evaluatie Validiteit: Door te filteren op bewijs-onderbouwde labels, vermijdt de benchmark de "temporele lekkage" van het gebruik van ontslagdiagnoses, wat een striktere test biedt van vroege diagnostische capaciteit.
Beperkingen: De auteurs merken op dat de referentielabels administratieve facturatiecodes zijn (geen beoordeelde klinische diagnoses) en dat de input geen bevindingen van lichamelijk onderzoek bevat (bijv. het uiterlijk van de patiënt), wat de haalbare plafondwaarde voor zowel modellen als mensen beperkt. Zij suggereren dat toekomstig werk de nadruk moet leggen op gegradeerde voorspellingen (bijv. "vermoedelijke" diagnoses) om beter aan te sluiten bij de klinische praktijk waar onbevestigde gevaren moeten worden gemeld.

Het artikel concludeert dat hoewel post-training de kloof verkleint, geen enkel huidig systeem het operationele punt van een clinicus bereikt bij tijdgevoelige condities, wat wijst op de noodzaak voor verder onderzoek naar bewijs-gegronde redenering onder onzekerheid.