Technische Samenvatting: RealICU – Een Benchmark Buiten Gedragsimitatie voor LLM-Agenten in ICU-Beslissingsondersteuning

1. Probleemstelling

Intensive Care Units (ICU's) genereren dichte, evoluerende stromen van klinische data die artsen dwingen om patiënttoestanden onder aanzienlijke tijdsdruk opnieuw te beoordelen. Hoewel Large Language Models (LLM's) en agentische systemen vooruitgang hebben geboekt, slagen bestaande klinische benchmarks er niet in om hun capaciteiten in dit specifieke domein adequaat te evalueren.

De primaire beperkingen van huidige benchmarks zijn tweeledig:

1. Statisch versus Sequentieel: De meeste benchmarks reduceren klinisch redeneren tot statische vragen en antwoorden, diagnose of voorspelling van een enkel eindpunt (bijvoorbeeld mortaliteit), en falen in het beoordelen van redeneren over een veranderende patiënttraject.
2. Gedragsimitatie versus Klinische Juistheid: Bestaande benchmarks die databases met Elektronische Gezondheidsregistraties (EHR) zoals MIMIC-IV gebruiken, behandelen geregistreerde handelingen van clinici doorgaans als grondwaarheid. Deze handelingen worden echter genomen onder onvolledige informatie en beperkte temporele context. Bijgevolg kunnen ze suboptimaal zijn. Het evalueren van AI tegen deze labels beloont de imitatie van potentieel gebrekkig menselijk gedrag in plaats van ware klinische juistheid.

Er is een kritieke behoefte aan een benchmark die AI-systemen evalueert op klinische juistheid met behulp van retrospectief oordeel, waarbij de "optimale" handeling wordt bepaald na het bekijken van het volledige patiënttraject, in plaats van te vertrouwen op wat aan het bed werd geregistreerd.

2. Methodologie

2.1 De RealICU Benchmark

De auteurs introduceren RealICU, een retrospectief geannoteerde benchmark ontworpen om op LLM gebaseerde klinische beslissingsondersteuning in de ICU te evalueren. De benchmark is gebouwd op de MIMIC-IV dataset en richt zich op vier door artsen gemotiveerde taken die de kerncapaciteiten vormen van een ICU-"co-pilot":

1. Patiëntstatus: Classificeren of de patiënt verbetert, stabiel is of verslechtert.
2. Acute Problemen: Identificeren van vrije-tekst sets van acute problemen of opkomende risico's die actief beheer vereisen.
3. Aanbevolen Acties: Voorstellen van vrije-tekst sets van acties die de patiënt waarschijnlijk binnen het volgende uur zullen baten.
4. Rode Vlag Acties: Identificeren van hoog-risico acties die moeten worden vermeden om onveilige uitkomsten te voorkomen.

Dataconstructie:

• Venstering: ICU-trajecten worden opgedeeld in 30-minuten vensters met een stapgrootte van 2 uur.
• Partiële Observatie versus Retrospectieve Labeling: Tijdens inferentie observeert het model alleen data die beschikbaar is tot tijdstip $t$. De grondwaarheid labels worden echter gegenereerd door senior artsen (of een gevalideerde LLM) die het hele patiënttraject tot ontslag beoordelen. Dit creëert een asymmetrie die de kloof tussen real-time besluitvorming en retrospectieve review weerspiegelt.
• Datasets:
  • RealICU-Gold: Bevat 930 vensters van 94 distincte ICU-opnames, gelabeld door consensus onder vijf senior ICU-artsen. De inter-rater betrouwbaarheid (IRR) varieert van 0,826 tot 0,985.
  • RealICU-Scale: Breidt de evaluatie uit naar 11.862 vensters met behulp van Oracle, een op LLM gebaseerde retrospectieve evaluator gevalideerd tegen RealICU-Gold (met een F1-score van >0,895 over alle taken).

2.2 Evaluatiekader

Modellen worden geëvalueerd op hun vermogen om de vier taken te voorspellen op basis van partiële observaties.

• Metrieken: Nauwkeurigheid en Macro-F1 voor Patiëntstatus; Hit@k en Recall@k (k=5) voor Acute Problemen en Aanbevolen Acties (met gebruik van semantische matching via PubMedBERT); en Schadelijke Aanbevelingsratio (HRR) voor Rode Vlaggen, wat het aandeel aanbevolen acties meet dat als onveilig wordt gemarkeerd.
• Basislijnen: De studie vergelijkt verschillende LLM-ruggengraten (Gemini-3.1-pro, GPT-5.4, Qwen3-235B) over verschillende contextconfiguraties: Volledige context, Lokale venster, Retrieval-Augmented Generation (RAG), en een gestructureerde geheugen-agent.

2.3 ICU-Evo: Gestructureerd Geheugen Agent

Om de uitdagingen van redeneren over lange horizon aan te pakken, stellen de auteurs ICU-Evo voor, een geheugenaugmentatie agentkader. In tegenstelling tot standaard agenten die alle context gelijk behandelen, onderhoudt ICU-Evo een gestructureerde geheugentoestand $M_t$ die is opgedeeld in vijf componenten:

1. Werkgeheugen ($M^{work}$): Recente ruwe observaties met hoge resolutie.
2. Trendgeheugen ($M^{trend}$): Signaaltrends van vitale functies en laboratoriumwaarden.
3. Kritieke Gebeurtenisgeheugen ($M^{event}$): Een alleen-terugschrijvend logboek van klinisch kritieke gebeurtenissen (bijvoorbeeld interventies, keerpunten).
4. Trajectgeheugen ($M^{traj}$): Gecomprimeerde narratieve samenvattingen van het verblijf op periodieke intervallen.
5. Inzichtgeheugen ($M^{insight}$): Patiëntspecifieke hypothesen betreffende afwijkingen van populatieniveau verwachtingen.

ICU-Evo maakt gebruik van drie gespecialiseerde agenten (Observatie, Beoordeling, Inzicht) die opereren op verschillende temporele schalen om deze geheugencomponenten bij te werken, met als doel het redeneren over lange horizon te verbeteren.

3. Belangrijkste Resultaten

3.1 Huidige LLM's Strijden met RealICU

Ondanks het gebruik van geavanceerde LLM's blijft de prestatie op RealICU laag, wat aangeeft dat de benchmark nog niet is opgelost.

• Prestatiekloven: Zelfs het best presterende systeem (ICU-Evo met Gemini-3.1-pro) behaalde slechts 0,459 nauwkeurigheid op Patiëntstatus en 0,534 Recall@5 op Actieaanbeveling.
• Oracle versus Agent Kloof: Er is een enorme prestatiekloof tussen de Oracle (die volledige retrospectie heeft) en de Agent (real-time). Voor Patiëntstatus bereikt de Oracle een F1 van 0,987, terwijl de beste agent slechts 0,365 bereikt. Dit suggereert dat de bottleneck niet medische kennis is, maar het vermogen om bewijs over tijd te integreren onder partiële waarneembaarheid.

3.2 Gestructureerd Geheugen Verbeterd Redeneren

ICU-Evo presteert consequent beter dan basislijnen (Volledige context, Lokale venster, RAG) over alle vier taken.

• Stabiliteit op Lange Horizon: ICU-Evo behoudt hoge Hit@5 scores (dicht bij 0,8) voor Acute Problemen, zelfs bij verblijven die uitlopen tot 1.800 uur, terwijl geheugenloze basislijnen significant degraderen.
• Token-efficiëntie: Hoewel ICU-Evo meer tokens verbruikt per voorspelling dan lokale-venster basislijnen, biedt het aanzienlijk dichter longitudinale context per invoer-token, waardoor het efficiënter is voor redeneren dat rekening houdt met tijdslijnen.

3.3 Geïdentificeerde Faalmodi

De studie identificeert twee kritieke faalmodi in huidige LLM-agenten:

1. Recall-Veiligheid Trade-off: Agenten die de recall van aanbevolen acties verhogen, verhogen vaak gelijktijdig de ratio van schadelijke suggesties. Bijvoorbeeld, ICU-Evo met GPT-5.4 verbeterde de Actieaanbeveling Hit@5 met meer dan 20 punten vergeleken met RAG, maar de HRR (Schadelijke Aanbevelingsratio) verdubbelde van 0,234 naar 0,473. De schadelijke aanbevelingen betreffen vaak hemodynamisch beheer, volume/diurese, anticoagulatie en ventilatie.
2. Ankerbias: Agenten neigen om te vroeg te committeren aan vroege interpretaties van de patiënt en falen in het updaten van deze hypothesen, zelfs wanneer latere bewijzen hen tegenspreken. Casestudies tonen agenten die "inzichten" genereren op basis van vroege trajectdata die aanhouden en latere aanbevelingen misleiden, zelfs wanneer huidige vensterdata een andere toestand suggereert (bijvoorbeeld het handhaven van een stabiele status ondanks nieuwe verslechteringsignalen).

3.4 Ablatiestudies

Het verwijderen van specifieke geheugencomponenten onthult hun onderscheidende rollen:

• Werkgeheugen: Cruciaal voor lokaal redeneren; het verwijderen ervan degradeert alle taken.
• Trajectgeheugen: Essentieel voor temporeel begrip; het verwijderen ervan schaadt Acute Problemen en Actieaanbeveling.
• Inzichtgeheugen: Het verwijderen van inzichtgeheugen verbetert soms de prestaties (bijvoorbeeld het verminderen van HRR of het verbeteren van Actieaanbeveling Hit@5), wat suggereert dat huidige LLM's nog niet in staat zijn om betrouwbaar gepersonaliseerde klinische patronen te identificeren en dat hun gegenereerde inzichten de agent actief kunnen misleiden.

4. Betekenis en Claims

Het artikel claimt dat RealICU een klinisch onderbouwde testomgeving biedt voor het meten en verbeteren van AI-sequentiële beslissingsondersteuning in zorg met hoge risico's. De betekenis hiervan ligt in:

• Verschuiving van het Evaluatieparadigma: Van "gedragsimitatie" (matchen van geregistreerde clinici-acties) naar "klinische juistheid" (matchen van retrospectief expertoordeel). Dit blootlegt de beperkingen van huidige modellen in redeneren onder onzekerheid en partiële waarneembaarheid.
• Aan het Licht Brengen van Veiligheidskloven: De benchmark benadrukt dat huidige LLM-agenten, zelfs met geavanceerde geheugenstructuren, worstelen met veiligheid in dynamische omgevingen. De geïdentificeerde "recall-veiligheid trade-off" en "ankerbias" suggereren dat het simpelweg schalen van context of geheugen toevoegen onvoldoende is voor betrouwbare ICU-co-piloten.
• Methodologische Bijdrage: RealICU biedt een kader voor het evalueren van AI in sequentiële besluitomgevingen met hoge risico's waar geregistreerde menselijke acties onvolmaakt zijn en de optimale actie alleen zichtbaar is in retrospect.

De auteurs concluderen dat hoewel gestructureerd geheugen (ICU-Evo) het redeneren over lange horizon verbetert, het veiligheidsfouten niet volledig elimineert. Betrouwbare ICU-co-piloten zullen vooruitgang vereisen in architecturen voor klinisch redeneren met lange context, naast betere veiligheidsmechanismen, en de adoptie van retrospectieve evaluatie om deze systemen correct te beoordelen.