Narrative Feature or Structured Feature? A Study of Large Language Models to Identify Cancer Patients at Risk of Heart Failure

Technische Samenvatting: Narratieve Kenmerken of Gestructureerde Kenmerken? Een Studie naar Large Language Models voor het Identificeren van Kankerpatiënten met een Risico op Hartfalen

Probleemstelling
Kankerbehandelingen kunnen cardiotoxiciteit veroorzaken, wat leidt tot hartfalen (HF) en het overlevingspercentage negatief beïnvloedt. Het identificeren van kankerpatiënten met een risico op HF is cruciaal voor het verbeteren van de veiligheid van behandelingen. Hoewel Elektronische Gezondheids Dossiers (EHRs) rijke data bevatten voor risicovoorspelling, bestaat er een kloof in het effectief benutten van gestructureerde medische codes (ICD en RxNorm) binnen Large Language Models (LLMs). Eerdere benaderingen vertrouwden op traditionele machine learning (ML) met schaarse one-hot encoding of deep learning-modellen zoals Time-Aware LSTMs (T-LSTM), die temporele sequenties vastleggen maar nog steeds afhankelijk zijn van schaarse gestructureerde codes. Het blijft onduidelijk hoe de semantische capaciteiten van LLMs het beste kunnen worden ingezet voor gestructureerde EHR-data om ziekterisico's te voorspellen.

Methodologie
De studie maakte gebruik van een cohort van 12.806 kankerpatiënten (long-, borst- en colorectale kanker) uit het University of Florida Health-systeem, bestaande uit 1.602 gevallen (HF na kanker) en 11.204 niet-gevallen. De onderzoekers vergeleken drie verschillende strategieën voor kenmerkrepresentatie over verschillende modelarchitecturen heen:

1. Traditionele Machine Learning (One-Hot Encoding):

   • Modellen: Support Vector Machines (SVM) en XGBoost (XGB).
   • Kenmerken: Gestructureerde ICD- en RxNorm-codes werden geaggregeerd in PheWAS-groepen en ingrediënt-niveau RxCUI-codes om schaarste te verminderen. Deze werden omgezet in binaire vectoren (one-hot encoding).
   • Beperking: Deze aanpak vereenvoudigt de time-to-event structuur en resulteert in een hoge kenmerk-schaarste.

2. Deep Learning (Sequentie-representatie):

   • Model: Time-Aware Long Short-Term Memory (T-LSTM).
   • Kenmerken: Patiëntgegevens werden georganiseerd in sequenties op basis van encounter-tijd om temporele dynamiek te vangen. Diagnose- en medicatiecodes werden behandeld als sequentiële inputs met elapsed time tensors.
   • Beperking: Hoewel de temporele volgorde wordt gevangen, blijft de input gebaseerd op schaarse gestructureerde codes.

3. Large Language Models (Subword Kenmerken):

   • Modellen: BERT, GatorTron-345M en GatorTron-3.9B.
   • Kenmerken (Nieuwe Strategie): De studie stelde voor om gestructureerde EHR-data om te zetten in "narratieve kenmerken". Officiële beschrijvingen van ICD- en RxNorm-codes werden volgens de encounter-tijd georganiseerd in een tekstsequentie, waarbij patiëntdemografie werd omgezet in een narratieve beschrijving. Deze tekst werd door de LLM-tokenizer getokeniseerd in subwords.
   • Rationaal: Deze strategie transformeert schaarse gestructureerde codes naar dichte tekst, waardoor de LLM gebruik kan maken van vooraf getrainde semantische kennis (bijv. het begrijpen van de relatie tussen "acute hepatitis B" en "acute myocarditis" via gedeelde subwords zoals "acute") en de kenmerkendichtheid kan vergroten.

Belangrijkste Resultaten
De modellen werden geëvalueerd met behulp van F1-score, AUC, precisie, recall en accuratesse op een 6:2:2 train/validatie/test split.

• Kenmerkendichtheid: De "subword" kenmerkrepresentatie verhoogde de kenmerkendichtheid (het aantal unieke patiënten per kenmerk) aanzienlijk vergeleken met zowel de originele ICD-codes als de PheWAS-groeperingen.
• Modelprestaties:
  • GatorTron-3.9B behaalde de beste algehele prestaties met een F1-score van 0,699, waarmee het de volgende modellen overtrof:
    • Traditionele SVM (F1 0,302) met 39%.
    • T-LSTM (F1 0,622) met 7%.
    • BERT (F1 0,643) met 5,6%.
  • GatorTron-3.9B behaalde ook de hoogste AUC (0,896) en accuratesse (0,927).
• Combinaties van Kenmerken: Voor zowel T-LSTM als GatorTron-345M werd de beste prestatie bereikt door diagnose-, medicatie- en demografische kenmerken te combineren.
• Subgroepanalyse: De prestaties varieerden per kankertype. GatorTron-3.9B vertoonde de hoogste F1-score (0,824) en recall (0,913) voor patiënten met "meer dan één kankertype", terwijl borstkankerpatiënten een F1 van 0,735 vertoonden.
• Interpretabiliteit: Met behulp van LIME visualiseerde de studie de attention weights, wat bevestigde dat het model klinisch relevante kenmerken zoals "abnormale elektrokardiogram", "rosuvastatine" en "furosemide" identificeerde als drijvers voor de HF-risicovoorspelling.

Betekenis en Claims
Het artikel claimt dat het omzetten van gestructureerde medische codes naar narratieve tekst (subword kenmerken) een effectieve strategie is om LLMs in de voorspelling van ziekterisico te benutten. De primaire bijdrage is het aantonen dat LLMs, specifiek GatorTron, zowel traditionele ML als sequentie-gebaseerde deep learning-modellen kunnen overtreffen wanneer ze worden toegepast op gestructureerde EHR-data, mits deze data in een narratief formaat worden getransformeerd.

De auteurs stellen dat deze aanpak een "eenvoudige maar efficiënte strategie" biedt om de kloof tussen gestructureerde en ongestructureerde EHRs te overbruggen. In tegenstelling tot ontologische groepering (bijv. PheWAS), die gerelateerde condities als afzonderlijke categorieën behandelt, kunnen LLMs die gebruikmaken van subword-kenmerken semantische gelijkenissen en variaties tussen medische condities opvangen. De studie concludeert dat subword-kenmerken dienen als een superieure surrogaat voor gestructureerde codes in LLMs, wat potentieel de uitkomsten voor kankerpatiënten kan verbeteren door beter te identificeren welke patiënten een risico lopen op cardiotoxiciteit-geïnduceerd hartfalen.

Beperkingen
De auteurs erkennen dat de GatorTron-modellen beperkt worden door een 512-subword inputvenster, wat langere patiëntgeschiedenissen kan afkappen. Daarnaast vertoonde de dataset demografische onbalans, zoals een hoger aandeel zwarte patiënten in de case-groep en een gender-skew in borstkankergevallen. Toekomstig werk suggereert het verkennen van generatieve LLMs (GPT-architectuur) en automatische tekstsamenvatting om gestructureerde en ongestructureerde data verder te integreren.