Technische Samenvatting: Expert-gestuurde g-computation met LLM's voor het schatten van causale effecten op tijdstippen

1. Probleemstelling

Programma's voor kwaliteitsverbetering (QI) in ziekenhuizen worden vaak geconfronteerd met de uitdaging om te prioriteren welke interventies zij moeten inzetten om de doorstroom in het ziekenhuis te optimaliseren, specifiek gericht op de gemiddelde ligduur (Average Length of Stay, LOS). Hoewel er talloze interventies worden voorgesteld (bijv. verbeterde triage, workload-balancering, AI-besluitondersteuning), slagen bestaande methoden er niet in om hun causale effecten nauwkeurig in te schatten en te rangschikken.

Huidige benaderingen vallen uiteen in twee categorieën met elk hun eigen beperkingen:

• Kwalitatieve benaderingen: Vertrouwen op deskundig oordeel en hulpmiddelen zoals Gantt-charts (of waardestroomkaarten) om patiënttrajecten in kaart te brengen. Hoewel deze methoden intuïtief zijn, zijn ze gevoelig voor cognitieve vooroordelen en falen ze vaak in het accuraat voorspellen van downstream-effecten van interventies door complexe interacties tussen gebeurtenissen.
• Kwantitatieve benaderingen: Vertrouwen op datagestuurde statistische modellen (bijv. regressie). Deze falen wanneer interventies volledig hypothetisch zijn (geen historische data beschikbaar), wanneer de "positiviteitsveronderstelling" wordt geschonden (omdat nieuwe beleidsregels nog nooit zijn geïmplementeerd), of wanneer de causale mechanismen te complex zijn om uitsluitend uit tabulaire data te leren zonder klinisch redeneren te integreren.

Het kernprobleid is het gebrek aan een framework dat de "gemiddelde tijdwinst" ($\tau = E[Y(0) - Y(1)]$) kan schatten voor hypothetische interventies in situaties waar patiënttrajecten heterogeen zijn, data beperkt is voor nieuwe beleidsregels, en klinisch redeneren vereist is om ongestructureerde causale mechanismen te begrijpen.

2. Methodologie: Expert-gestuurde g-computation (Egg-computation)

De auteurs stellen egg-computation voor, een hybride framework dat kwalitatief expert-redeneren integreert met kwantitatieve datagestuurde modellering. De methodologie overbrugt de kloof tussen Gantt-charts (gebruikt in operations management) en Directed Acyclic Graphs (DAGs) die worden gebruikt in causale inferentie.

2.1 Causaal model over Gantt-charts

De auteurs formaliseren een Gantt-chart als een causale DAG waarbij:

• Nodes (Knopen) de gebeurtenistijden ($T_k$) of wachttijden ($W_k$) tussen gebeurtenissen vertegenwoordigen.
• Edges (Randen) afhankelijkheden vertegenwoordigen (bijv. start-start, finish-start).
• Interventie ($A$): Een binaire node die het huidige beleid ($A=0$) vertegenwoordigt versus een kandidaat-QI-beleid ($A=1$).
• Potentiële uitkomsten: $Y(a) = T_K(a)$ stelt de LOS voor onder beleid $a$ voor.

Het model gaat uit van een lokale Markov-eigenschap waarbij de wachttijd van een gebeurtenis onafhankelijk is van niet-afstammelingen, gegeven zijn ouders en baseline covariaten ($X$).

2.2 De Egg-computation Pipeline

De schatting van het causale effect $\tau$ wordt bereikt door de wachttijden van counterfactuele patiënttrajecten ($Y(1)$) te simuleren via een driestaps proces dat gebeurtenissen classificeert in drie typen op basis van hun relatie tot de interventie:

1. Type I (Niet-afstammelingen van $A$): Gebeurtenissen die niet worden beïnvloed door de interventie. Hun wachttijden worden rechtstreeks gekopieerd van de geobserveerde feitelijke tijdlijn ($W_k(1) = W_k$).
2. Type II (Afstammelingen van $A$, maar geen directe kinderen): Gebeurtenissen die downstream liggen van de interventiedoelen. Hun wachttijden worden geïmputeerd met behulp van statistische modellen getraind op observationele data, geconditioneerd op de (gewijzigde) ouder-tijden.
3. Type III (Directe kinderen van $A$ / Interventiedoelen): Gebeurtenissen die direct worden gewijzigd door het beleid. Omdat deze niet geobserveerd zijn in de data, worden hun wachttijdverdelingen geleverd door expert-oordeel (of een uitgelijnde LLM).

De definitieve estimator is het gemiddelde verschil tussen de geobserveerde LOS en de gesimuleerde counterfactuele LOS over de populatie.

2.3 Schalen met Large Language Models (LLMs)

Om egg-computation op schaal uitvoerbaar te maken, hebben de auteurs een LLM-ondersteunde pipeline ontwikkeld om de menselijke expert in twee kritieke stappen te vervangen:

• Stap 1: DAG Constructie: De LLM leest ongestructureerde klinische aantekeningen en interventiebeschrijvingen om te:
  • Patiënt-geschiktheid te bepalen.
  • Een patiënt-specifieke causale DAG te construeren.
  • Nodes te classificeren als Type I, II of III.
  • Implementatie: Een vijfstaps prompting-strategie (redeneren, node-extractie, edge-extractie, formattering, validatie) zorgt voor rigoureuze causale redenering en voorkomt hallucinaties.
• Stap 2: Timing Simulatie:
  • Voor Type II nodes kan de LLM worden gebruikt via In-Context Learning (ICL) om wachttijden te voorspellen op basis van vergelijkbare historische gevallen, of standaard regressiemodellen kunnen worden gebruikt.
  • Voor Type III nodes wordt de LLM geprompt met gedetailleerde interventiespecificaties (inclusief voorbeelden van verwachte tijden) om te samplen uit de door de expert geleverde distributie $p_{expert}$.

3. Belangrijkste Bijdragen

1. Theoretisch Framework: Het artikel stelt het eerste causale identificatieframework voor Gantt-charts vast en bewijst dat, onder specifieke aannames (Consistentie, Exogene Interventie, Exclusie-restrictie, Lokale Markov en Expert Accuraatheid), de gemiddelde tijdwinst identificeerbaar is via een variant van g-computation.
2. Hybride Methodologie: Het introduceert "expert-gestuurde g-computation", die taken strategisch verdeelt: experts (of LLM's) gaan om met niet-identificeerbare componenten (interventiedoelen), terwijl datamodellen omgaan met identificeerbare componenten (downstream afhankelijkheden).
3. LLM Pipeline: Het demonstreert een praktische, prompt-gebaseerde pipeline die expert-redeneren schaalbaar maakt, waardoor het mogelijk is om patiënt-specifieke DAG's en counterfactuele simulaties te genereren zonder model hertraining.
4. Empirische Validatie: Het framework wordt gevalideerd via zowel simulaties als een real-world studie bij een stedelijk veiligheidsnet-ziekenhuis.

4. Resultaten

4.1 Simulatiestudies

In simulaties waar de patiënt-causale structuren heterogeen waren (variërende afhankelijkheden tussen CT- en MRI-rapporten), presteerde egg-computation significant beter dan conventionele methoden:

• Bias Reductie: Methoden die vertrouwden op een enkele gedeelde DAG incorporeerden grote biases (tot 14 uur) wanneer de aangenomen structuur fout was voor een meerderheid van de patiënten.
• Accuraatheid: Egg-computation met patiënt-specifieke DAG's (geëxtraheerd door de LLM) en exacte timing-propagatie bereikte nul bias. Zelfs met imperfecte timing-modellen (OLS of kNN) bleef de bias laag (< 0,4 uur) vergeleken met structurele mis-specificatie.

4.2 Real-World Evaluatie (Zuckerberg San Francisco General Hospital)

De pipeline werd toegepast op 11 kandidaat-QI-interventies over 2.193 inpatient-tijdlijnen.

• Expert Concordantie: LLM-gegenereerde DAG's vertoonden een hoge concordantie met menselijke QI-experts.
  • Specificiteit voor interventiedoelen: ~96,5%.
  • Precisie voor downstream edges: ~91,8–94,2%.
  • Impact op Schattingen: Het opnieuw draaien van de egg-computation met LLM-gegenereerde DAG's versus expert-gecorrigeerde DAG's resulteerde in een gemiddeld verschil in geschatte tijdwinst van slechts -2,6 tot 8,1 uur, waarbij 19 van de 24 paren identieke schattingen opleverden.
• Timing Model Prestaties: In-Context Learning (ICL) met GPT-5 behaalde de laagste Mean Absolute Error (24,1 uur) voor het voorspellen van downstream wachttijden, waarmee het traditionele regressiemodellen (Random Forest, Ridge) en baselines versloeg.
• Prioritiseringsinzichten:
  • Causale rangschikkingen verschilden significant van rangschikkingen gebaseerd op enkel de eligibility-percentages. Bijvoorbeeld, "Consult response escalation" werd als eerste gerangschikt op basis van causale impact (18,9 uur besparing), ondanks een lagere eligibility dan "Disposition-critical imaging priority".
  • Clinici vonden de causale rangschikkingen beter in lijn met hun intuïtie dan de eligibility-gebaseerde rangschikkingen.
  • De analyse onthulde ontwerpfouten in interventies (bijv. vroege ontslagplanning werd vaak geblokkeerd door onoplosbare medische behoeften), wat bruikbare inzichten bood voor het herontwerpen van interventies.

5. Betekenis en Claims

Het artikel claimt dat egg-computation een breed toepasbaar framework biedt voor het schatten van de gemiddelde tijdwinst voor kandidaat-interventies waarbij causale mechanismen via Gantt-charts gerepresenteerd kunnen worden.

• Overbruggen van de Kloof: Het combineert succesvol de sterktes van kwalitatieve redenering (omgaan met hypothetische scenario's en complexe mechanismen) met kwantitatieve strengheid (elimineren van confounding en benutten van data).
• Schaalbaarheid: Door gebruik te maken van LLM's maakt het framework expert-gestuurde causale inferentie mogelijk op grote schaal voor ziekenhuisoperaties, waardoor de middelenbeperkingen van handmatige dossiercontrole worden overwonnen.
• Bruikbare Intelligentie: Naast het bieden van een enkel getal, genereert de methode counterfactuele Gantt-charts die clinici in staat stellen de plausibiliteit van causale redenering te auditeren en te begrijpen waarom een interventie wel of niet zou werken, wat het ontwerp van interventies vergemakkelijkt.

De auteurs concluderen dat, hoewel de focus ligt op de LOS in ziekenhuizen, de methodologie breed toepasbaar is in elk domein waar taakafhankelijkheden en proces-timing cruciaal zijn en via Gantt-charts gemodelleerd kunnen worden.