Technische Samenvatting: LLM4EHR

Probleemstelling

Elektronische Gezondheids Dossiers (EHRs) zijn inherent multimodaal en bestaan uit twee verschillende temporele datatypen: EHR-events (onregelmatig gesamplede, discrete klinische interacties zoals medicatievoorschriften of procedures) en EHR Tijdreeksen (TS) (routinematig verzamelde, continue fysiologische metingen zoals vitale functies). Hoewel recente klinische fundamentele modellen de verschuiving hebben gemaakt naar het gebruik van Large Language Models (LLMs) om EHR-eventsequenties te verwerken, schieten bestaande methoden er vaak naast als het gaat om het voldoende verkennen van de gedeelde temporele structuren tussen deze events en TS-observaties.

Huidige multimodale benaderingen maken doorgaans gebruik van "stationaire" uitlijning, waarbij de embedding van een volledige episode (of een grofmazige notitie) wordt uitgelijnd met de embedding van de bijbehorende TS. Deze aanpak negeert de fijnmazige, op tijdstappen gebaseerde onderlinge afhankelijkheden tussen specifieke events en fysiologische veranderingen. Bovendien lijden standaard contrastieve leerdoelen (bijv. InfoNCE) aan "class collision", waarbij semantisch vergelijkbare instanties onterecht als negatieve voorbeelden worden behandeld, waardoor ze uit elkaar worden geduwd in de embeddingruimte. Het artikel stelt dat deze beperkingen leiden tot minder robuuste en adaptieve klinische fundamentele modellen, wat de prestaties op downstream-taken zoals mortaliteitspredictie en fenotypering vermindert.

Methodologie: LLM4EHR

De auteurs stellen LLM4EHR voor, een multimodaal fusiekader dat is ontworpen om de door LLM geëncodeerde EHR-eventsequenties temporeel uit te lijnen met een speciale EHR-tijdreeksencoder.

1. Datarepresentatie en Aggregatie

• EHR-events: Discrete events (bijv. medicatievoorschriften, lijnplaatsingen) worden geaggregeerd in vaste tijdsvensters (5-urige bins in MIMIC-IV) en omgezet in natuurlijke taal-samenvattingen met behulp van een vast schema. Deze samenvattingen worden geëmbed met een domein-adaptieve LLM (specifiek BioClinical ModernBERT). De LLM is bevroren tijdens de pre-training, waarbij een leerbare projectielaag is toegevoegd voor stabiliteit.
• EHR Tijdreeksen: Multivariate fysiologische variabelen (bijv. laboratoriumwaarden, vitale functies) worden binnen dezelfde tijdsvensters geaggregeerd met behulp van statistische kenmerken (gemiddelde, min, max, std, count). Deze worden verwerkt door een leerbare Transformer-gebaseerde TS-encoder bestaande uit 1D convolutionele embeddinglagen en autoregressieve attention-blokken.

2. Semantische-Geregulariseerde Contrastieve Doelstelling

De kerninnovatie is een pre-training doelstelling die de TS-embeddings ($v_t$) uitlijnt met de door de LLM gegenereerde event-embeddings ($z_t$) op elk tijdstip $t$. De totale verliesfunctie ($\mathcal{L}_{total}$) combineert een contrastieve uitlijningsverlies en een reconstructieverlies:

• Gemodificeerde InfoNCE ($\mathcal{L}_{NCE}$): Lijn $v_t$ en $z_t$ uit door ze dichter bij elkaar te trekken terwijl ze verder van andere tijdstappen binnen dezelfde episode worden weggeduwd.
• Semantische Regularisatie ($\mathcal{L}_{\omega}$): Om class collision te mitigeren, introduceren de auteurs een gewichtsmatrix $\omega$ die is afgeleid van de semantische gelijkenis van de LLM event-embeddings ($z_t$). Als twee tijdstappen $t$ en $t^*$ vergelijkbare event-embeddings hebben (hoge semantische gelijkenis), wordt de contrastieve loss aangepast om te voorkomen dat de corresponderende TS-embeddings ($v_t$ en $v_{t^*}$) uit elkaar worden geduwd. Dit gebruikt effectief de door de LLM geleerde semantische kennis om de TS-representatie-lering te begeleiden.
• Reconstructieverlies ($\mathcal{L}_{recon}$): Een aanvullende autoregressieve reconstructietaken zorgt ervoor dat de TS-encoder voldoende informatie behoudt om de input-tijdreeks te reconstrueren.

3. Training en Adaptatie

Het model wordt gepre-trained op ICU-data (MIMIC-IV) met behulp van de gecombineerde doelstelling. Voor downstream-taken wordt de TS-encoder aangepast met taakspecifieke lineaire koppen. De auteurs demonstreren dat het model kan worden ingezet voor nieuwe cohorten via k-shot adaptatie, waarbij slechts een klein aantal gelabelde monsters vereist is voor fine-tuning.

Belangrijkste Bijdragen

1. LLM4EHR Framework: Een nieuw fundamenteel model dat EHR-events en TS gezamenlijk modelleert via een tijd- en semantiek-bewuste contrastieve pre-training doelstelling, waarmee wordt bewogen van stationaire uitlijning naar het vangen van fijnmazige temporele dynamiek.
2. Semantische-Geregulariseerde Contrastieve Lerning: De voorstel van een $\omega$-regulerende InfoNCE-doelstelling die de door LLM afgeleide semantische gelijkenissen benut om class collision te verminderen, wat resulteert in meer consistente en robuuste TS-embeddings.
3. Empirische Validatie van Transfereerbaarheid: Demonstratie dat de geleerde TS-embeddings overdraagbaar zijn naar nieuwe datasets (Physionet2012) via k-shot adaptatie, waarbij zij zowel gesuperviseerde baselines als andere zelfgesuperviseerde methoden overtreffen.

Resultaten

Het model werd geëvalueerd op vier downstream-taken met behulp van MIMIC-IV en Physionet2012 datasets:

• Fenotypering: LLM4EHR bereikte state-of-the-art prestaties over alle fenotypegroepen, met een winst van 2,7% in AUROC en een winst van 5,1% in AUPRC ten opzichte van de op één na beste baseline. Merkwaardig genoeg toonde het significante robuustheid in laag-prevalente fenotypes.
• Rolling Voorspellingen (Decompensatie & LoS): Het model behaalde de beste prestaties in rolling decompensatie voorspelling (AUROC 0,876), waarbij het geablateerde baselines significant overtrof. Terwijl de prestatiewinsten in Length of Stay (LoS) voorspelling marginaal waren vergeleken met sommige baselines (consistent met de moeilijkheid van de taak), presteerde LLM4EHR nog steeds beter dan de geablateerde versies, wat de waarde van de pre-training doelstelling bevestigt.
• Mortaliteit Voorspelling: LLM4EHR behaalde de hoogste AUROC (0,870 op MIMIC-IV, 0,856 op Physionet2012) in full-shot settings. In few-shot settings demonstreerde het superieure adaptiviteit, waarbij het andere modellen overtrof bij $k \ge 10$ en minder gevoelig was voor datashift vergeleken met modellen die stationaire uitlijning gebruiken.
• Ablatie-studies:
  • Het verwijderen van de semantische regularisatie ($\mathcal{L}_{\omega}$) resulteerde in consistente prestatiedalingen, wat de rol ervan bij het stabiliseren van embeddings bevestigt.
  • Het gebruik van domein-adaptieve LLMs (BioClinical ModernBERT) leverde significant betere resultaten op dan algemene LLMs, wat het belang van domeinspecifieke semantische kennis benadrukt.

Betekenis en Claims

Het artikel claimt dat LLM4EHR een stap vertegenwoordigt richting het bouwen van meer generaliseerbare en performante klinische fundamentele modellen. Door de temporele structuren van discrete klinische events expliciet uit te lijnen met continue fysiologische tijdreeksen, leert het model representaties die zowel klinisch betekenisvol als adaptief zijn aan nieuwe patiëntcohorten met beperkte gelabelde data.

De auteurs benadrukken dat hun aanpak de "temporele mismatch" aanpakt die in eerdere multimodale werken voorkomt (die vaak grove notities uitlijnen met fijnmazige TS) en de "class collision" die inherent is aan standaard contrastief leren. De resultaten suggereren dat het benutten van de semantische kennis van pre-trained LLMs om de tijdreeks-representatie-lering te begeleiden een levensvatbare en effectieve strategie is voor het verbeteren van klinische voorspellende modellering. Het artikel sluit bescheiden af door beperkingen te erkennen wat betreft de schaalbaarheid naar grotere LLMs en de noodzaak van toekomstig werk op het gebied van het modelleren van uitgebreide patiënttrajecten buiten enkelvoudige ICU-verblijven.