🤖 machine learning

Handling and Interpreting Missing Modalities in Patient Clinical Trajectories via Autoregressive Sequence Modeling

Dit artikel presenteert een autoregressief sequence modeling-framework met een bewustzijn van ontbrekende modaliteiten, dat gebruikmaakt van causale decoders van grote taalmodellen om patiënttrajecten effectiever en transparanter te analyseren dan bestaande methoden.

Oorspronkelijke auteurs: Andrew Wang, Ellie Pavlick, Ritambhara Singh

Gepubliceerd 2026-04-22

📖 5 min leestijd🧠 Diepgaand

CC0 1.0

Oorspronkelijke auteurs: Andrew Wang, Ellie Pavlick, Ritambhara Singh

Oorspronkelijk artikel vrijgegeven aan het publieke domein onder CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

De Kunst van het Volledige Medische Verhaal: Hoe AI Omgaat met Ontbrekende Puzzelstukken

Stel je voor dat je een detective bent die een complex medisch dossier moet oplossen. Je hebt verschillende soorten bewijsmateriaal: labuitslagen (de cijfers), röntgenfoto's (de beelden), artsennotities (de tekst) en de medische geschiedenis van de patiënt.

In de echte wereld is dit dossier vaak onvolledig. Soms ontbreekt de röntgenfoto, soms zijn er geen labuitslagen, en soms zijn de notities niet beschikbaar. De meeste huidige AI-systemen in de zorg zijn als een detective die zegt: "Als ik niet alle bewijsstukken heb, kan ik de zaak niet oplossen" of "Ik ga de ontbrekende stukjes raden, ook al weet ik dat ik het misschien fout heb." Dit kan gevaarlijk zijn.

Dit paper van Andrew Wang en zijn team van Brown University introduceert een slimme nieuwe manier om dit probleem op te lossen. Ze gebruiken een combinatie van twee krachtige ideeën: een slimme voorbereiding en het vertellen van een verhaal in de tijd.

Hier is hoe het werkt, vertaald naar alledaagse taal:

1. Het Probleem: De "Zak met Losse Spullen"

Huidige AI-modellen behandelen patiëntgegevens vaak als een zak met losse spullen. Ze gooien alle informatie die ze op een bepaald moment hebben in één grote hoop en trekken er één conclusie uit.

Het nadeel: Als er een belangrijk stukje (zoals een röntgenfoto) ontbreekt, wordt de hele conclusie onbetrouwbaar. Het model probeert vaak de ontbrekende informatie te "hallucineren" (er iets van te maken) of negeert het gewoon, wat leidt tot fouten.

2. De Oplossing: Een Reis door de Tijd

De auteurs zeggen: "Wacht even, een ziekteverloop is geen statische foto, het is een film!"
In plaats van een statische zak met spullen, behandelen ze het medische dossier als een verhaal dat zich in de tijd afspeelt. Ze gebruiken een technologie die oorspronkelijk is ontwikkeld voor taalmodellen (zoals ChatGPT), maar dan toegepast op medische data.

De Analogie: Stel je voor dat je een detective bent die elke dag een nieuw stukje bewijs krijgt. Je bouwt je theorie niet pas aan het einde op, maar je werkt je verhaal bij naarmate er nieuwe informatie binnenkomt. Als er vandaag geen röntgenfoto is, maar wel een labuitslag, past het model zijn "geloof" in de diagnose aan op basis van wat er wel is, zonder in paniek te raken om het ontbrekende stukje.

3. De Slimme Truc: De "Ontbrekende Token" (Het Magische Vervangstuk)

De grootste uitdaging is: hoe leer je een AI omgaan met dingen die er niet zijn?
De auteurs hebben een slimme truc bedacht tijdens de "opleiding" van de AI (de pre-training fase):

De Analogie: Stel je voor dat je kinderen leert om te spelen met een puzzel. Normaal gesproken zeggen we: "Als je een stukje mist, is de puzzel kapot."
Deze onderzoekers doen iets anders. Ze geven de kinderen een speciaal, leeg stukje (een "placeholder") dat ze kunnen gebruiken als een echt stukje ontbreekt. Ze zeggen: "Dit lege stukje is net zo belangrijk als een echt stukje. Het vertelt ons dat er iets mist, maar dat we toch verder kunnen met de puzzel."

Dit noemen ze "Contrastive Pre-training". Ze trainen de AI om te begrijpen dat een patiënt met een ontbrekende röntgenfoto nog steeds dezelfde persoon is als een patiënt met een röntgenfoto, zolang ze maar op de juiste manier worden "gelijmd" in een gezamenlijk denkbeeld.

4. Waarom is dit veiliger? (De "Demografie-valstrik")

Een van de belangrijkste ontdekkingen in dit paper is wat er gebeurt als je een belangrijk stukje bewijs wegneemt bij een gewoon AI-model.

Het Gevaar: Als een gewoon model zijn röntgenfoto kwijtraakt, begint het soms te panikeren en kijkt het naar de demografische gegevens (leeftijd, geslacht, etniciteit) om een antwoord te vinden.
- Voorbeeld: Het model denkt: "Oh, ik heb geen labuitslagen, maar de patiënt is een oudere man, dus ik ga maar aannemen dat hij ziek is." Dit is gevaarlijk en onrechtvaardig, omdat het de medische feiten negeert en puur op vooroordelen (profielen) afgaat.
De Oplossing: Dankzij hun slimme "lege stukjes"-training, blijft het nieuwe model rustig. Als een stukje bewijs ontbreekt, kijkt het gewoon naar de andere stukjes die er wel zijn (zoals de hartslag of de medicatie) en bouwt het daarop verder. Het laat zich niet afleiden door de demografie.

5. Transparantie: Waarom deed je dit?

Omdat het model werkt als een verhaal dat zich in de tijd afspeelt, kunnen artsen precies zien waar het model zijn beslissing op baseerde.

De Analogie: Een oud model zegt: "De patiënt is ziek." (Punt).
Dit nieuwe model zegt: "Op dag 1 keek ik naar de bloeddruk, op dag 2 naar de medicatie, en omdat de röntgenfoto ontbrak, heb ik extra gekeken naar de ademhaling. Op basis daarvan concludeer ik dat de patiënt ziek is."

Dit maakt de AI verantwoordelijk en inzichtelijk. Artsen kunnen zien welke stukjes bewijs het model heeft gebruikt en welke ontbraken, waardoor ze de beslissing beter kunnen controleren.

Samenvatting in één zin

De onderzoekers hebben een AI-systeem gebouwd dat medische dossiers behandelt als een dynamisch verhaal in plaats van een statische foto, en dat leert om ontbrekende bewijsstukken op een veilige manier te negeren zonder in gevaarlijke vooroordelen te vervallen, waardoor artsen de beslissingen van de AI beter kunnen begrijpen en vertrouwen.

Het is alsof je van een detective die paniek krijgt als een bewijsstukje wegvalt, een slimme detective maakt die gewoon verder kijkt naar de andere aanwijzingen en zijn verhaal logisch bijwerkt.

1. Het Probleem

Het ontwikkelen van multimodale machine learning-modellen voor de gezondheidszorg staat voor een fundamentele uitdaging: het omgaan met ontbrekende modaliteiten (bijv. ontbrekende labresultaten, röntgenfoto's of notities) tijdens zowel training als implementatie.

Klinische realiteit: Patiënttrajecten zijn inherent temporale, multimodale en onregelmatige datareeksen. Diagnostiek is geen statische voorspelling aan het einde van een verblijf, maar een dynamisch proces van bijgewerkte overtuigingen.
Bestaande beperkingen: De huidige benaderingen gebruiken vaak statische "bag-of-features" architecturen die alle data in een vooraf gedefinieerd venster samenvoegen tot één vector. Dit verstoort de tijdsdimensie en maakt het voor clinici onmogelijk om de opeenvolgende bewijslast te auditeren.
Aanpak van ontbrekende data: Bestaande methoden vallen vaak in twee valkuilen:
1. Imputatie: Het "hallucineren" of invullen van ontbrekende klinische signalen, wat onbetrouwbare data kan genereren.
2. Padding/Dropping: Het gebruiken van oninformatieve nullen of het verwijderen van patiënten met ontbrekende data, wat de geometrie van de latente ruimte vernietigt en de modelprestaties schaadt.

2. Methodologie

De auteurs herformuleren klinische diagnose als een autoregressieve sequentiemodeling-taak, waarbij ze causal decoders van Large Language Models (LLMs) hergebruiken om het patiënttraject te modelleren. De methode bestaat uit twee hoofdcomponenten:

A. Ontbrekingsbewust Contrastief Pre-training (Masked Global Alignment)

Om robuuste representaties te leren ondanks ontbrekende data, introduceren de auteurs een nieuwe pre-training strategie:

Leerbare Missing Tokens: In plaats van data weg te gooien of te vullen met nullen, wordt een set van onafhankelijk leerbare "missing tokens" ( $t_i$ ) ingevoerd. Als een modaliteit ontbreekt, wordt deze token direct in de latente ruimte geïnjecteerd.
Masked Global Alignment Loss: Een hybride contrastieve lossfunctie wordt gebruikt.
- Voor een gegeven modality $i$ wordt de "complementaire centroid" ( $c_{i,k}$ ) berekend: de geaggregeerde representatie van alle andere aanwezige modaliteiten van dezelfde patiënt.
- De loss functioneert als een InfoNCE-objectief: het trekt de embedding van een modality naar de centroid van de rest van de patiëntdata (positief paar) en duwt deze weg van de data van andere patiënten (negatieve paar).
- Dit dwingt de encoder om modality-specifieke representaties te aligneren in een stabiele, modality-invariante latente ruimte, zelfs wanneer data ontbreekt.

B. Autoregressieve Sequentiemodeling

Na het pre-trainen worden de embeddings gebruikt om downstream modellen te finetunen:

Architectuur: Er worden zes verschillende pre-trained LLM-decoders (zoals Llama-3, Mistral, DeepSeek) gebruikt.
Sequentiële Invoer: Klinische gebeurtenissen worden chronologisch gesorteerd. Na elke gebeurtenis wordt een speciale [PREDICT]-token ingevoegd, waardoor het model op elk tijdstip een bijgewerkte overtuigingsstaat (belief state) moet genereren.
Fusie: Modality-embeddings worden via een projectie-laag gemapt naar de hidden dimension van de LLM. De modality-encoders blijven bevroren; alleen de LLM-decoder en projectie-lagen worden aangepast (via LoRA).

3. Belangrijkste Bijdragen

Nieuwe Contrastieve Loss: Een hybride "Masked Global Alignment" loss die expliciete tokens voor ontbrekende modaliteiten leert, waardoor incomplete multimodale patiënttoestanden worden uitgelijnd in een globale latente representatie.
Fusie van Pre-training en Autoregressie: De integratie van contrastief pre-training met transformer-architecturen om patiënttrajecten sequentieel te modelleren. Dit toont aan dat sequentiemodellen superieur presteren ten opzichte van statische baselines.
Mechanistische Interpretatie en Veiligheid: Het paper biedt mechanistisch bewijs dat contrastieve uitlijning voorkomt dat modellen instabiele veiligheidsfouten maken bij ontbrekende data. Het traceert de redeneringspaden om te laten zien hoe het model transparant omgaat met ontbrekende informatie, in plaats van te vertrouwen op bias (zoals demografische data).

4. Resultaten

De methoden zijn getest op de MIMIC-IV (met CXR) en eICU datasets voor taken zoals fenotypering, ziekenhuissterfte en verblijfsduur (Length of Stay).

Prestatieverbetering: Autoregressieve transformer-modellen presteerden universeel beter dan statische baselines (MLP en LSTM).
- Op de MIMIC-IV dataset (zeer spaarzaam: 86% van de verblijven heeft maar 1 van de 5 modaliteiten), leverde de combinatie van contrastief pre-training en sequentiemodeling enorme winsten op. Bijvoorbeeld, DeepSeek-LLM-7B verbeterde de AUROC voor sterfte van 0.5720 (scratch) naar 0.8409 (contrastief).
- Op de eICU dataset (minder ontbrekende data) waren de voordelen van contrastief pre-training minder groot, maar sequentiemodellen bleven over het algemeen superieur aan statische modellen.
Robuustheid bij Ontbrekende Data:
- Ablatie-experimenten: Toen modaliteiten (zoals radiologienotities) werden verwijderd tijdens de inferentie, bleven de contrastief getrainde modellen stabiel en behielden ze hun voorspellende nauwkeurigheid.
- Gevaren van niet-contrastieve modellen: Zonder contrastieve pre-training leidden verwijderde modaliteiten tot een "collapse" in de attention-mechanismen. Het model begon dan te vertrouwen op demografische data als een "attention sink", wat leidt tot voorspellingen die gebaseerd zijn op demografische priors in plaats van fysiologische trajecten. Dit is een groot veiligheidsrisico.
Interpretatie: Door de attention-weights te analyseren, toonden de auteurs aan dat het contrastieve model de redenering blijft baseren op de beschikbare klinische geschiedenis, zelfs als data ontbreekt, terwijl niet-contrastieve modellen hun klinische gronding verliezen.

5. Betekenis en Conclusie

Dit werk biedt een kader voor het ontwikkelen van veilige en transparante klinische AI.

Veiligheid: Het demonstreert dat het simpelweg "invullen" van ontbrekende data of het gebruiken van statische modellen gevaarlijk kan zijn, omdat het kan leiden tot het verbergen van onzekerheid en het vertrouwen op bias (zoals ras of geslacht) in plaats van medische feiten.
Transparantie: Door klinische diagnose te modelleren als een autoregressief proces, krijgen clinici inzicht in wanneer en op basis van welke data het model tot een conclusie komt.
Toekomst: De auteurs pleiten voor de integratie van modaliteit-bewuste methoden met inherent interpreteerbare architecturen. Hoewel de huidige studie beperkt is tot modellen van 3-8 miljard parameters, opent dit de weg voor robuustere, schaalbare systemen die de complexe, onvolledige realiteit van klinische data beter kunnen hanteren.

Kortom, het paper bewijst dat het combineren van contrastief pre-training (voor robuuste uitlijning van data) met autoregressieve sequentiemodeling (voor dynamische, interpreteerbare redenering) de beste aanpak is voor multimodale klinische voorspellingen in een realistische, onvolledige data-omgeving.