Technische Samenvatting: Agentificatie van Patiëntdynamiek binnen LLM's door Interactie met een Klinisch Wereldmodel

Probleemdefinitie

Het beheer van sepsis op Intensive Care-afdelingen (ICU's) vormt een hoog-risico probleem van sequentiële besluitvorming. Effectieve behandeling vereist dat artsen intraveneuze vloeistoffen en vasopressoren in de loop van de tijd titreren om de perfusie te herstellen, terwijl zij schade aan organen op de lange termijn vermijden. Deze uitdaging wordt gekenmerkt door snel evoluerende fysiologie van de patiënt, waarbij handelingen die de korte-termijn hemodynamica (bijv. bloeddruk) verbeteren, de langetermijnresultaten (bijv. longoedeem of nierfalen) kunnen verslechteren.

Hoewel Large Language Models (LLM's) over brede klinische kennis beschikken en kunnen redeneren over medische richtlijnen, ontbreekt het hen aan inherent verankering in actie-geconditioneerde patiëntdynamiek. Een LLM kan algemene fysiologische principes kennen, maar faalt er vaak in om te inschatten hoe een specifieke patiënt zal reageren op een specifieke dosis in de komende uren. Bestaande methoden leren behandelingsbeleid vaak rechtstreeks uit retrospectieve trajecten van Elektronische Gezondheidsdossiers (EHR), waarbij toestanden worden gemapt op acties. Deze benaderingen zijn kwetsbaar voor bias in historisch gedrag en worstelen met het redeneren over alternatieve behandelingspaden die in observationele data slecht vertegenwoordigd zijn.

Methodologie

De auteurs introduceren SepsisAgent, een door een wereldmodel verrijkte LLM-agent die is ontworpen voor aanbevelingen voor sepsisbehandeling. De kerninnovatie is de integratie van een Klinisch Wereldmodel met een LLM-beleid via een "voorstellen–simuleren–verfijnen"-workflow en een drie-traps trainingscurriculum.

1. Het Klinisch Wereldmodel

Het Klinisch Wereldmodel ($W_\theta$) is een geleerde, actie-geconditioneerde benadering van patiëntevolutie. Gegeven een huidige patiënttoestand $s_t$ en een kandidaat-behandelingsactie $a_t$, voorspelt het de verdeling van de volgende fysiologische toestand $s_{t+1}$ en signalen voor uitkomsten op de lange termijn $o_t$.

• Architectuur: Geïmplementeerd met behulp van een 2-laags Gated Recurrent Unit (GRU)-encoder om de geschiedenis van de patiënttrajecten te verwerken, gevolgd door een hoofd voor toestandsovergang (voorspelling van Gaussische parameters voor de volgende toestand) en een hoofd voor uitkomsten (voorspelling van klinische uitkomsten op de lange termijn zoals mortaliteit).
• Functie: Het fungeert als een voorspellende simulator, waardoor de agent kan vergelijken tussen contrafactuele behandelopties voordat een recept wordt vastgesteld.

2. De SepsisAgent-workflow

Tijdens inferentie werkt SepsisAgent via een voorstellen–simuleren–verfijnen-lus:

1. Voorstellen: De LLM genereert een reeks kandidaat-ingrepen met vloeistoffen en vasopressoren ($C_t$).
2. Simuleren: Voor elke kandidaat schat het Klinisch Wereldmodel de fysiologische gevolgen ($\hat{y}_t$) in, inclusief toekomstige toestanden en uitkomstsignalen.
3. Verfijnen: De LLM vergelijkt deze actie-responsparen met klinische priors en richtlijnen om de definitieve behandelingsactie te selecteren.

3. Drie-traps trainingscurriculum

De auteurs betogen dat het enkel verschaffen van toegang tot een wereldmodel aan een LLM onvoldoende is; de agent moet expliciet worden getraind om gesimuleerde feedback te interpreteren. Zij stellen een gefaseerde trainingspijplijn voor:

• Fase I: Voorspelling van patiëntdynamiek en redenering bewust van richtlijnen (Supervised Fine-Tuning):

  • Het model wordt getraind op taken die betrekking hebben op voorspelling van sterfte tijdens ziekenhuisopname (IHM), voorspelling van vasopressorbehoefte (VR) en redenering over een-stapsbehandeling.
  • Data wordt gesynthetiseerd met GPT-4.1 om chain-of-thought redeneringen te creëren die patiënttoestandsanalyse, dynamiekvoorspelling en richtlijnbeperkingen integreren.
  • Doel: Het model leren patiëntevolutie te begrijpen en te redeneren binnen sepsisrichtlijnen.

• Fase II: Propose–Simulate–Refine Behavior Cloning:

  • Het model leert om via multi-round redeneersporen met het wereldmodel te interageren.
  • Met behulp van expert-overgangen synthetiseren de auteurs interactietrajecten waarbij de agent acties voorstelt, het wereldmodel raadpleegt voor gesimuleerde responsen, en zijn beslissing verfijnt voordat hij de expert-actie selecteert.
  • Doel: De agent leren hoe hij feedback van het wereldmodel gebruikt tijdens besluitvorming (imitatieleren).

• Fase III: Wereldmodel-gebaseerde agentische Versterkende Leer (RL):

  • De agent interageert met het Klinisch Wereldmodel als een virtuele omgeving met behulp van Group Relative Policy Optimization (GRPO).
  • De agent steekt meerdere redeneersporen per toestand en optimaliseert een samengestelde reward-functie die bestaat uit terminale uitkomsten (overleving/sterfte), intermediaire fysiologische stabilisatie (SOFA-score, lactaatdynamiek) en straffen voor inconsistentie met richtlijnen.
  • Doel: Langetermijnbehandelstrategieën optimaliseren in plaats van hebzuchtige korte-termijnstabilisatie.

Belangrijkste Bijdragen

1. Een door een Wereldmodel verrijkte LLM-agent: Het voorstellen van SepsisAgent, dat samenwerkt met een Klinisch Wereldmodel om contrafactuele ingrepen te vergelijken. Het presteert beter dan traditionele RL- en 'vanilla' LLM-baselines op MIMIC-IV sepsis-trajecten.
2. Een meerfasig trainingsparadigma: Het aantonen dat alleen toegang tot een simulator leidt tot inconsistente prestaties. Het artikel vestigt een curriculum (SFT $\to$ Behavior Cloning $\to$ RL) dat de agent leert gesimuleerde dynamiek correct te interpreteren en deze af te stemmen op klinische veiligheidsbeperkingen.
3. Internalisatie van patiëntdynamiek: Bewijs dat wereldmodel-gebaseerde agentische RL de intrinsieke vaardigheid van de LLM verbetert om patiëntuitkomsten (IHM en VR) te voorspellen, zelfs wanneer de simulator tijdens evaluatie wordt verwijderd. De agent leert regelmatigheden in patiëntevolutie in plaats van slechts reward-signalen te passen.

Experimentele Resultaten

Het systeem werd geëvalueerd op 725 terughoudende episodes uit de MIMIC-IV dataset.

• Beleidswaarde: SepsisAgent behaalde de hoogste off-policy waardescores (Doubly Robust, Weighted Importance Sampling en Weighted Per-Decision Importance Sampling) onder alle baselines, inclusief traditionele RL-methoden (DDQN, AI Clinician) en diverse LLM's (GPT-4.1, Gemini-3, o3).
• Veiligheid en Toepassing: SepsisAgent behaalde de hoogste naleving van sepsisrichtlijnen (97,95%) en de laagste percentages onveilige acties (0,08% onderdosering, 0,14% overdosering). In tegenstelling hiermee vertoonden 'vanilla' LLM's en door wereldmodel verrijkte LLM's zonder de specifieke trainingspijplijn hogere percentages onveilige acties of lagere beleidswaarden.
• Ablatiestudies:
  • Fase I (SFT) en Fase II (Behavior Cloning) verbeterden veiligheidsmetrieken en sommige beleidswaarden, maar leverden geen stabiele winsten op over alle off-policy schatters.
  • Fase III (RL) werd geïdentificeerd als de primaire drijvende kracht achter verbetering van de beleidswaarde, wat suggereert dat het wereldmodel dient als een effectieve omgeving voor het optimaliseren van langetermijnstrategieën.
• Generalisatie: Het model toonde sterke prestaties over datasets heen bij testen op MIMIC-III-episodes, en presteerde beter dan traditionele RL-baselines.

Betekenis en Claims

Het artikel claimt een proof of concept te bieden voor het gebruik van wereldmodel-gebaseerd agentisch leren ter ondersteuning van sequentiële klinische besluitvorming in situaties met hoge acute zorg.

• Meer dan alleen toegang: De belangrijkste bevinding is dat toegang tot een simulator niet voldoende is; de agent moet worden getraind om de feedback van de simulator te interpreteren. Generieke LLM's hebben de neiging om te veel vertrouwen te stellen in korte-termijn gesimuleerde verbeteringen (bijv. onmiddellijk herstel van de bloeddruk) terwijl ze langetermijnrisico's (bijv. vloeistofoverbelasting) negeren, een faalmodus die wordt gecorrigeerd door het voorgestelde trainingspijplijn.
• Internalisatie: Het werk suggereert dat herhaalde interactie met een klinisch wereldmodel LLM's in staat stelt patiëntdynamiek te internaliseren, waardoor hun vermogen om mortaliteit en vasopressorbehoeften te voorspellen verbetert, zelfs zonder toegang tot de simulator tijdens inferentie.
• Veiligheid: De benadering slaagt erin de optimalisatie van de behandelwaarde te balanceren met strikte naleving van klinische veiligheidsrichtlijnen, waardoor de "onveilige shortcuts" worden vermeden die vaak worden gezien bij puur reward-gedreven RL-agents.

De auteurs stellen expliciet dat het onderzoek voor academische doeleinden wordt uitgevoerd met retrospectieve data en gesimuleerde omgevingen, en dat de modellen niet bedoeld zijn voor directe klinische inzet zonder menselijk toezicht.