Is Clinical Text Enough? A Multimodal Study on Mortality Prediction in Heart Failure Patients

Probleemstelling

Het nauwkeurig voorspellen van korte-termijn mortaliteit bij patiënten met hartfalen (HF) blijft een uitdaging, vooral wanneer men zich uitsluitend verlaat op gestructureerde data uit elektronische gezondheidsdossiers (EHR). Bestaande methoden gebruiken vaak alleen gestructureerde variabelen (zoals laboratoriumwaarden en demografie) of alleen ongestructureerde klinische teksten. Echter, in de klinische praktijk zijn prognostische signalen verspreid over deze heterogene modaliteiten.
Daarnaast zijn de meeste bestaande studies gebaseerd op Engelse datasets (zoals MIMIC), terwijl Franse EHR's verschillen in terminologie, notatiestructuur en klinische formulering. Een ander kritiek punt is dat veel transformer-modellen zich richten op globale document-embeddings (zoals de [CLS] token) en hierbij entity-niveau informatie (zoals specifieke ziekten, behandelingen of symptomen) negeren, wat cruciaal kan zijn voor de prognose.

Methodologie

De auteurs hebben een multimodaal onderzoek uitgevoerd op een gesloten dataset van 2.254 opnames van hartfalenpatiënten in een Frans ziekenhuis. Het doel was het voorspellen of een patiënt binnen drie maanden na ontslag zou overlijden (binair classificatieprobleem).

Data:

• Gestructureerde data: 41 geselecteerde variabelen (demografie, laboratoriumwaarden, comorbiditeiten, medicatie).
• Ongestructureerde data: Vrij tekstuele klinische notities in het Frans.
• Entity-extractie: Een hybride aanpak werd gebruikt voor Named Entity Recognition (NER). Eerst een heuristisch systeem, gevolgd door handmatige correctie door experts en niet-experts, en uiteindelijk een gesuperviseerd BERT-model om 23 klinische entiteitstypes (bijv. pathologie, behandeling, anatomie) te labelen.

Modelarchitecturen:
De studie vergelijkt drie hoofdfamilies van modellen:

1. Alleen Tekst: Vergelijking van een basismodel (alleen [CLS] embedding van CamemBERT-bio en DrBERT) met modellen die entity-level embeddings integreren. Fusiestrategieën omvatten gemiddelde som, optelling, concatenatie, gewogen fusie en 'gated fusion'.
2. Alleen Gestructureerd: Vergelijking van een LASSO-regressie pipeline met een eenvoudige logistische regressie op de 41 geselecteerde variabelen.
3. Multimodaal: Fusie van tekst-embeddings (CLS + entiteiten) en gestructureerde variabelen. Geëvalueerde strategieën zijn:
   • Eenvoudige fusie: Concatenatie of late fusie (gemiddelde van voorspellingen).
   • Lerare interactie: Gated Fusion, Dual Cross-Attention, Gated Dual Cross-Attention en Bi-directionele Cross-Attention.
4. Generatieve LLM's: Drie Large Language Models (Mistral-7B, Qwen2.5-7B, MedGemma-4B) werden getest via prompting. Ze kregen instructies om de uitkomst te voorspellen op basis van tekst, gestructureerde data (tabellen of getransformeerde tekst) of beide. Er werd gebruikgemaakt van greedy decoding en beperkte decoding (constrained decoding).

Belangrijkste Bijdragen

• Entity-aware Fusie: De auteurs tonen aan dat het aanvullen van globale document-embeddings met entity-level representaties de voorspellende prestaties verbetert.
• Multimodale Strategieën: Een systematische vergelijking van diverse fusiestrategieën, waarbij bewezen wordt dat 'learnable' (lerende) en attention-gebaseerde fusiemethoden superieur zijn aan statische concatenatie.
• LLM Evaluatie: Een gedetailleerde analyse van de prestaties van LLM's voor klinische besluitvorming, waarbij wordt aangetoond dat ze inconsistent presteren en moeite hebben met gestructureerde data en instructie-opvolging.
• Franse Context: Het bieden van een robuust kader voor hartfalenprognose specifiek voor Franse klinische data, in tegenstelling tot de dominante Engelse datasets.

Resultaten

• Tekst vs. Structuur: Modellen die alleen gebruikmaken van gestructureerde data presteren beter (AUC ~0.79) dan modellen die alleen tekst gebruiken (AUC ~0.75). Echter, tekst bevat waardevolle prognostische informatie die niet in gestructureerde data staat.
• Multimodaal Superioriteit: De beste prestaties werden behaald met supervised multimodale fusion.
  • Het model met Gated Fusion (CamemBERT-bio + geselecteerde gestructureerde variabelen + entity embeddings) bereikte de hoogste F1-score (48,5%) en een AUC van 81,46%.
  • Gated Dual Cross-Attention (DrBERT) behaalde een F1 van 46,9%.
  • Statistische tests bevestigen dat multimodale late fusie significant beter presteert dan zowel de beste tekst-only als gestructureerde-only modellen.
• LLM Prestaties: LLM's presteerden over het algemeen slecht (lage F1-scores, vaak <25%) in vergelijking met gesuperviseerde modellen.
  • Ze presteerden het beste met alleen tekst-prompting.
  • Ze faalden vaak bij gestructureerde data (vaak voorspellen ze alleen de negatieve klasse) of multimodale input.
  • Er was sprake van inconsistent instructie-opvolging (bijv. extra uitleg genereren in plaats van alleen het label) en de prestaties varieerden sterk afhankelijk van het decodeerstrategie (greedy vs. constrained).
  • Het omzetten van tabulaire data naar tekst ("textified") verbeterde de leesbaarheid voor sommige modellen, maar leidde niet tot een significante stijging in voorspellende nauwkeurigheid.

Betekenis en Conclusie

De studie concludeert dat entity-bewuste multimodale transformers de meest betrouwbare oplossing zijn voor het voorspellen van korte-termijn mortaliteit bij hartfalen. Het combineren van gestructureerde data met tekst, waarbij specifiek aandacht wordt besteed aan klinische entiteiten, levert de beste resultaten op.

In tegenstelling hieraan zijn huidige Large Language Models (LLMs) nog niet betrouwbaar genoeg voor klinische besluitvorming in deze context. Hoewel ze goed kunnen lezen, missen ze de consistentie en nauwkeurigheid van gesuperviseerde modellen, vooral wanneer gestructureerde data betrokken is. De auteurs benadrukken dat LLM's momenteel beperkt zijn tot ondersteunende rollen en dat verdere validatie nodig is voordat ze in de kliniek kunnen worden ingezet.

Beperkingen: De studie is beperkt tot één Frans ziekenhuis (generaliseerbaarheid), afhankelijk van de kwaliteit van de NER-annotaties, en gebruikt relatief kleine LLM's (4B-7B parameters) vanwege hardwarebeperkingen in ziekenhuisomgevingen.