Learning Dynamic Representations and Policies from Multimodal Clinical Time-Series with Informative Missingness

Titel: Leren van Dynamische Representaties en Beleidsplannen uit Multimodale Klinische Tijdsreeksen met Informatieve Ontbrekende Waarden

Auteurs: Zihan Liang, Ziwen Pan, Ruoxuan Xiong (Emory University)

---

1. Het Probleem

Elektronische gezondheidsdossiers (EHR) bevatten rijke, longitudinale data bestaande uit gestructureerde metingen (zoals vitale tekens en laboratoriumwaarden) en ongestructureerde klinische teksten (zoals verpleegkundige notities en rapporten). Hoewel deze data waardevol zijn voor het voorspellen van patiëntuitkomsten en het optimaliseren van behandelbeleid, staan ze voor twee fundamentele uitdagingen:

1. Informatieve Ontbrekende Waarden (MNAR): Data in klinische tijdsreeksen zijn vaak schaars en onregelmatig. Het ontbreken van een meting is niet willekeurig (Missing Not At Random - MNAR); het wordt bepaald door de onderliggende toestand van de patiënt en beslissingen van artsen. Bijvoorbeeld: ernstig zieke patiënten krijgen vaker metingen en notities dan stabiele patiënten. Bestaande methoden negeren vaak de informatie die in het patroon van het ontbreken zelf zit.
2. Verschillende Modaleit-ontwikkeling: Gestructureerde data en tekst worden gegenereerd via verschillende processen. Vital signs worden routinematig gemeten, laboratoriumtests moeten worden aangevraagd, en tekstupdates hangen af van documentatiegedrag. Bestaande multimodale modellen behandelen deze vaak als één homogeen probleem, zonder rekening te houden met de specifieke dynamiek van hun ontbrekende patronen.

Het doel van dit werk is om een framework te ontwikkelen dat deze "informatieve ontbrekende waarden" expliciet benut om betere patiëntrepresentaties te leren voor zowel uitkomstvoorspelling als het leren van behandelbeleid (Reinforcement Learning).

---

2. Methodologie: OPL-MT-MNAR

De auteurs stellen OPL-MT-MNAR (Off-Policy Learning under Multimodal Observations with Temporal Missing-Not-At-Random Patterns) voor. Dit is een tweestapsframework dat een dynamische latente patiënttoestand leert.

Fase 1: Leren van de Patiënttoestand (State Representation Learning)

Dit gedeelte gebruikt een Bayesiaanse filterbenadering bestaande uit drie componenten:

1. MNAR-bewuste Multimodale Encoder:

   • Gestructureerde Data: Gebruikt een uitgebreide GRU-D (Gated Recurrent Unit-Decay) architectuur. Deze module decayt (veroudert) de waarde van een variabele als deze lang niet is gemeten, en integreert expliciete MNAR-kenmerken zoals: tijd sinds laatste meting, cumulatieve aantallen observaties, ontbrekende percentages en gefragmenteerde frequentie.
   • Klinische Tekst: Introduceert een Documentatie-Proces Factor ($F^{doc}_h$). Deze factor wordt bij elke stap bijgewerkt op basis van de aanwezigheid, recency en dichtheid van notities, maar niet op basis van de inhoud zelf. Dit vat het documentatiegedrag samen.
   • Fusie: Een cross-attention mechanisme combineert de gestructureerde embedding met de tekstembedding. Een "gate" gebruikt de Documentatie-Proces Factor om adaptief te bepalen hoeveel gewicht er aan de tekst moet worden gegeven (bijv. meer gewicht bij verse, dichte documentatie, minder bij verouderde tekst).

2. Latente Geloofstoestand (Latent Belief State) via Variatiele Inferentie:

   • Om de onderliggende gezondheidsdynamiek en de cumulatieve effecten van eerdere behandelingen te vangen, wordt een latente toestand $z_h$ geleerd met een Variational Autoencoder (VAE).
   • Cruciaal is dat de overgang van $z_h$ naar $z_{h+1}$ voorwaardelijk is op de actie ($a_h$). Dit is theoretisch noodzakelijk: zonder actie-afhankelijkheid kan het model niet leren hoe eerdere interventies toekomstige uitkomsten beïnvloeden (het "credit assignment" probleem in offline RL).

3. Posterior Patiënttoestand:

   • De definitieve toestand $s_h$ wordt gevormd door de geobserveerde representatie ($\phi_h$) en de latente geloofstoestand ($z_h$) te combineren.
   • Een reconstructiedoelstelling zorgt ervoor dat de geleerde toestand voldoende informatie behoudt over de oorspronkelijke observaties en hun ontbrekende patronen.

Fase 2: Downstream Taken

De geleerde toestand $s_h$ wordt gebruikt voor twee taken:

1. Offline Beleidsoptimalisatie: Gebruikmakend van Implicit Q-Learning (IQL). Dit leert een beleid dat de verwachte beloning maximaliseert zonder dat er interactie met de omgeving nodig is, en vermijdt "out-of-distribution" acties.
2. Uitkomstvoorspelling: Voorspelling van klinische uitkomsten (bijv. mortaliteit na 72 uur). Het gezamenlijk leren van beleid en voorspelling zorgt voor positieve transfer, waarbij de representatie zowel klinisch betekenisvol als nuttig voor controle is.

---

3. Belangrijkste Bijdragen

• Expliciete Modellering van Informatieve Ontbrekende Waarden: Het framework behandelt het ontbreken van data niet als ruis, maar als een signaal dat informatie bevat over de ernst van de patiënt en het documentatiegedrag.
• Multimodale Integratie met Procesbewustzijn: Het introduceert een unieke manier om klinische tekst te fusioneren met gestructureerde data door het documentatieproces (hoe en wanneer iets wordt opgeschreven) te modelleren, los van de semantische inhoud.
• Actie-voorwaardelijke Latente Dynamiek: Het bewijst theoretisch en toont empirisch aan dat een latente toestand die afhankelijk is van eerdere acties essentieel is voor het leren van effectieve behandelbeleid in een deels waarneembare omgeving (POMDP).
• Robustheid en Generalisatie: Het framework is getest op drie grote datasets (MIMIC-III, MIMIC-IV, eICU) en presteert goed in verschillende scenario's, inclusief cross-institutionele generalisatie.

---

4. Resultaten

De prestaties zijn geëvalueerd op sepsis-cohorts in IC-afdelingen:

• Beleidsoptimalisatie (Fitted Q-Evaluation - FQE):
  • Op MIMIC-III bereikt OPL-MT-MNAR een FQE van 0.679, vergeleken met 0.528 voor het gedrag van artsen (clinician behavior).
  • Het overtreft ook recente baselines zoals MedDreamer (0.583) en DDPG met artsensupervisie (0.529).
  • De verbeteringen zijn het grootst bij patiënten met een hoge ernst (high-acuity), waar de observatiepatronen het meest informatief zijn.
• Uitkomstvoorspelling:
  • Voor het voorspellen van mortaliteit na 72 uur op MIMIC-III wordt een AUROC van 0.886 behaald. Dit is een significante verbetering ten opzichte van sterke baselines zoals GRU-D (0.844) en MedDreamer (0.867).
• Ablatie Studies:
  • Het tonen aan dat het expliciet modelleren van MNAR en het documentatieproces de grootste bijdrage levert aan de prestatieverbetering (+33.9% t.o.v. een sterke backbone).
  • Tekst (vooral verpleegkundige notities) levert een aanzienlijke meerwaarde op voor zowel beleid als voorspelling.

---

5. Betekenis en Conclusie

Dit werk is een belangrijke stap vooruit in het toepassen van Machine Learning op kritieke zorg. Het demonstreert dat:

1. Het negeren van waarom data ontbreekt, leidt tot suboptimale modellen.
2. Het combineren van gestructureerde data en tekst, waarbij rekening wordt gehouden met het documentatiegedrag, leidt tot robuustere patiëntmodellen.
3. Het leren van een latente toestand die rekening houdt met eerdere behandelingen essentieel is voor het ontwikkelen van veilige en effectieve AI-beleidssystemen voor de IC.

De resultaten suggereren dat OPL-MT-MNAR een veelbelovende richting is voor het ontwikkelen van klinische beslissingsondersteuningssystemen die beter kunnen omgaan met de complexiteit en onvolledigheid van echte medische data.