LLMs for Cardiovascular Risk Prediction from Structured Clinical Data

Technische Samenvatting: LLM's voor Cardiovasculaire Risicovoorspelling vanuit Gestructureerde Klinische Data

Probleemstelling
Coronaire hartziekte (CAD) blijft een leidende oorzaak van wereldwijde mortaliteit, wat de noodzaak voor betrouwbare voorspellingssystemen voor vroege diagnose onderstreept. Hoewel traditionele machine learning (ML)-modellen effectief presteren op gestructureerde numerieke klinische gegevens (bijv. leeftijd, bloeddruk, cholesterol), schieten ze vaak tekort in het benutten van de rijke, ongestructureerde natuurlijke taal die te vinden is in elektronische patiëntendossiers (EPD's), artsennotities en diagnostische rapporten. Dit creëert een kloof tussen de inputvereisten van standaard ML-algoritmen en het narratieve formaat van klinische documentatie in de praktijk. Dit werk adresseert de uitdaging om de brug te slaan tussen gestructureerde data en natuurlijke taal om de CAD-risicobeoordeling te verbeteren, terwijl de levensvatbaarheid van Large Language Models (LLM's) bij klinische voorspellings-taken wordt verkend.

Methodologie
De auteurs stellen een hybride framework voor dat gestructureerde klinische data, synthetische narratieve generatie en zowel conventionele ML als LLM-gebaseerde classificatie integreert. De methodologie verloopt via vier primaire fasen:

1. Datasetconstructie en Feature Engineering:
   De studie maakt gebruik van een publiekelijk beschikbare CAD-dataset bestaande uit 1.190 patiëntendossiers met 11 klinische attributen (inclusief leeftijd, geslacht, type pijn op de borst, rustbloeddruk, cholesterol, nuchtere bloedsuikerspiegel, ECG-resultaten, maximale hartslag, inspanningsgeïnduceerde angina, ST-depressie en ST-helling). Gecodeerde variabelen worden in kaart gebracht naar interpreteerbare menselijke klinische categorieën (bijv. het converteren van binaire geslachtsindicatoren naar "man"/"vrouw" en ECG-resultaten naar beschrijvende termen) om interpreteerbare feature-strings te creëren.

2. Synthetische Klinische Narratieve Generatie:
   Met behulp van LLM's (specifiek GPT en Gemini) worden de gestructureerde feature-strings getransformeerd naar twee verschillende tekstformaten:

   • Gestructureerde Samenvattingen: Door komma's gescheiden feature-waarde paren.
   • Vrije Tekst Narratieven: Gedetailleerde klinische rapporten geschreven in de stijl van artsennotities, waarbij de conditie van de patiënt in volledige zinnen wordt beschreven.
     Het generatieproces maakt gebruik van specifieke temperatuurinstellingen (0 voor deterministische gestructureerde output; 0,3 voor variabele narratieve flow) om medische accuratesse te waarborgen zonder data te verzinnen.

3. Narratieve Validatie en Kwaliteitsborging:
   Een rigoureuze validatiepipeline waarborgt de getrouwheid van de synthetische data. De LLM fungeert als een medische datavalidator om tegenstrijdigheden of ontbrekende waarden in de gegenereerde narratieven te identificeren. Vervolgens wordt een "reverse extraction"-proces gebruikt waarbij de LLM wordt geprompt om klinische waarden uit de vrije-tekst narratieven terug te extraheren naar een gestructureerd formaat. Een consistentiescore wordt berekend door de geëxtraheerde waarden te vergelijken met de oorspronkelijke grondwaarheid-records. Categorische velden vereisen exacte overeenkomsten, terwijl numerieke velden een foutmarge toestaan (<0,5) om rekening te houden met afronding in de tekst.

4. Voorspellend Modelleren:

   • Conventionele ML: Vier algoritmen (Logistische Regressie, Random Forest, Support Vector Machine en XGBoost) worden getraind op de oorspronkelijke gestructureerde data. De data wordt gesplitst (80/20, gestratificeerd), gestandaardiseerd en geëvalueerd op basis van nauwkeurigheid (accuracy), precisie, recall, F1-score en ROC-AUC. Hyperparameter-tuning wordt uitgevoerd op het best presterende model via GridSearchCV.
   • LLM-gebaseerde Classificatie: De synthetische vrije-tekst narratieven worden gebruikt om LLM's te evalueren onder zero-shot en few-shot prompting condities (5, 10 en 15 voorbeelden). De modellen krijgen de instructie om binaire ziektelabels (aanwezigheid/afwezigheid van CAD) te produceren zonder traditionele gewichtstraining.

Belangrijkste Bijdragen

• Hybride Framework: Het voorstel van een geïntegreerd systeem dat gestructureerde data, LLM's voor narratieve generatie en ML voor voorspelling combineert.
• Synthetische Narratieve Pipeline: Een nieuwe methode voor het converteren van tabelvormige klinische records naar natuurlijke taal klinische rapporten die geschikt zijn voor NLP-taken.
• Validatiemechanisme: De ontwikkeling van een reverse-extraction consistentiescoresysteem, dat een gemiddelde getrouwheid van 94,61% over de gehele dataset bereikte, wat de nauwkeurigheid van de synthetische narratieven ten opzichte van de oorspronkelijke klinische data waarborgt.
• Vergelijkende Evaluatie: Een systematische vergelijking van traditionele ML-modellen tegenover LLM-gebaseerde classificatie onder variërende prompting-strategieën (zero-shot en few-shot).

Resultaten

• Validatie: De narratieve generatiepipeline bereikte een gemiddelde consistentiescore van 94,61%. Specifiek behaalde 45,3% van de records een perfecte score van 100%, en 95,4% scoorde 90% of hoger.
• Prestaties van Machine Learning: Onder de conventionele modellen behaalde Random Forest de hoogste prestatie met een testnauwkeurigheid van 92,86% en een ROC-AUC van 97,07%. XGBoost volgde op de voet (92,44% nauwkeurigheid), terwijl Logistische Regressie en SVM lagere maar concurrerende resultaten lieten zien.
• LLM-prestaties: LLM-gebaseerde classificatie (gebruikmakend van GPT en Gemini) toonde het vermogen om natuurlijke taal te interpreteren, maar leverde een lagere nauwkeurigheid op dan de beste ML-modellen.
  • GPT: Behaalde 66,7% nauwkeurigheid in zero-shot, wat verbeterde naar 73,3% met 15-shot prompting.
  • Gemini: Behaalde 60,0% nauwkeurigheid in zero-shot, wat verbeterde naar 80,0% met 15-shot prompting.
  • Prestaties verbeterden over het algemeen met een toename van het aantal few-shot voorbeelden, hoewel ze de Random Forest baseline niet overtroffen.

Significantie en Claims
Het artikel claimt dat hoewel traditionele ensemblemodellen (met name Random Forest) momenteel beter presteren dan LLM's wat betreft de ruwe voorspellende nauwkeurigheid op gestructureerde data, LLM-gebaseerde benaderingen duidelijke voordelen bieden voor klinische implementatie in de echte wereld. De primaire significantie ligt in privacybehoud: LLM's kunnen direct opereren op natuurlijke taal beschrijvingen van patiënten, wat betekent dat gevoelige numerieke data (exacte laboratoriumwaarden, specifieke bloeddrukmetingen, diagnostische codes) niet expliciet blootgesteld of gedeeld hoeven te worden in ruwe formaten. Dit maakt risicobeoordeling mogelijk op basis van narratieve tekst alleen.

De auteurs concluderen dat het combineren van gestructureerde klinische data met door LLM gegenereerde narratieven nieuwe richtingen mogelijk maakt voor hybride klinische voorspellingssystemen. Zij suggereren dat toekomstig werk zich moet richten op het testen van het framework op grotere, diverse datasets, het finetunen van domeinspecifieke modellen (bijv. ClinicalBERT) en het integreren van aanvullende modaliteiten zoals ECG of beeldvormingsgegevens in klinische beslissingsondersteunende systemen.