Regression vs. Medical LLMs: A Comprehensive Study for CVD and Mortality Risk Prediction

Deze studie vergelijkt traditionele regressiemodellen met medische grote taalmodellen (MedLLMs) voor het voorspellen van sterfte en cardiovasculaire risico's, en concludeert dat goed afgestemde MedLLMs en geavanceerde regressietechnieken vergelijkbare prestaties leveren, waarbij kalibratie de voorspellende nauwkeurigheid aanzienlijk verbetert.

De kern

Hartkwalen voorspellen: Een strijd tussen oude rekenmeesters en nieuwe AI-giganten

Stel je voor dat je een arts bent die probeert te voorspellen of een patiënt binnen een jaar ernstige hartproblemen zal krijgen of zelfs zal overlijden. Vroeger deden ze dit met een rekenmachine en een lijstje met vaste regels. Vandaag de dag proberen ze dit met enorme, slimme computers die "denken" zoals mensen: de zogenaamde Large Language Models (LLMs).

Deze studie uit Luxemburg is als een grote proefkeuken waarin wetenschappers hebben gekeken: wie doet het beter? De oude, betrouwbare rekenmethodes of de nieuwe, hippe AI?

Hier is wat ze hebben ontdekt, vertaald in alledaags taal:

1. De Spelers: De Rekenmeesters vs. De Slimme Vertellers

• De Oude Rekenmeesters (Regression):
  Denk aan deze modellen als ervaren, wat ouderwetse boekhouders. Ze kijken naar een lijst met cijfers (zoals cholesterol, leeftijd, rookgedrag) en passen een vaste formule toe. Ze zijn snel, betrouwbaar en hebben jarenlang de standaard geweest. Maar ze zijn soms wat stijf: ze denken in rechte lijnen en vinden het lastig als de werkelijkheid ingewikkelder is.
• De Nieuwe AI-Giganten (MedLLMs):
  Dit zijn de nieuwe sterren. Denk aan hen als een superintelligente, jonge arts die miljoenen medische boeken heeft gelezen. Ze kunnen niet alleen rekenen, maar ook "redeneren" en verbanden leggen die een boekhouder misschien over het hoofd ziet. De vraag was: kunnen deze slimme vertellers ook goed rekenen als het om hartziektes gaat?

2. Het Proefveld: De LURIC-studie

De onderzoekers hebben gekeken naar een enorme database van 3.316 patiënten uit Duitsland. Het waren mensen die al een hartkatheterisatie hadden gehad.

• Het geheim: In plaats van dure, handgeschreven artsenverslagen te gebruiken (die vaak ontbreken of moeilijk te lezen zijn), hebben ze gekeken naar standaard bloedtesten en simpele vragen (zoals: "Rookt u?" of "Wat is uw bloeddruk?").
• De missie: Voorspellen wie binnen één jaar zou overlijden, puur op basis van deze simpele data.

3. De Wedstrijd: Hoe hebben ze het gedaan?

De onderzoekers hebben de AI-modellen op verschillende manieren getest:

• De "Kijk-en-leren" methode (Few-Shot Prompting):
  Ze gaven de AI een paar voorbeelden: "Kijk, deze patiënt heeft hoge cholesterol en is oud, dus het risico is 20%." en "Deze patiënt is jong en gezond, dus het risico is 1%." Vervolgens gaven ze de AI een nieuwe patiënt en vroegen ze: "Wat is het risico?"

  • Resultaat: De grootste AI-modellen (met 70 miljard "hersencellen") deden het verrassend goed! Ze haalden een score van 82%. Dat is net zo goed als de beste oude rekenmethodes.

• De "Oefen-methode" (Finetuning):
  Vervolgens lieten ze de kleinere AI-modellen (met 8 miljard "hersencellen") echt oefenen op de data, net als een student die voor een examen studeert.

  • Resultaat: Deze kleinere, getrainde modellen waren zelfs nog beter! Ze haalden scores van 85%, wat ze net even beter maakte dan de grootste modellen en zelfs beter dan de beroemde commerciële AI's zoals ChatGPT of Claude.

• De Winnaar:
  De winnaar was een combinatie van een slimme AI (Gemini) en een geavanceerde rekenmethode (CatBoost). Beide haalden een score van 85%. Dat betekent dat AI nu echt even goed is als de beste traditionele methodes.

4. Het Grootste Probleem: De AI is te pessimistisch

Er was echter een klein struikelblok. De AI-modellen hadden de neiging om te bang te zijn.

• De analogie: Stel je voor dat de AI een weerman is die altijd zegt: "Het gaat regenen!" Zelfs als de lucht blauw is. Ze voorspelden te vaak dat patiënten zouden overlijden, terwijl ze het misschien wel zouden redden.
• De oplossing: De onderzoekers hebben een soort "kalibratie-bril" op de AI gezet (een techniek genaamd Platt scaling). Hierdoor werd de AI veel realistischer. De foutmarge in hun voorspellingen daalde met wel 90%.

5. Wat betekent dit voor de toekomst?

Deze studie is een grote stap voorwaarts. Het betekent dat:

1. AI werkt: Je hoeft geen dure, handgeschreven verslagen te hebben om AI in te zetten. Gewone bloedtesten zijn genoeg.
2. Klein is soms krachtig: Je hoeft niet per se de duurste, grootste AI te kopen. Een kleinere, goed getrainde AI kan net zo goed presteren.
3. Betrouwbaarheid: Met de juiste "kalibratie" kunnen artsen straks vertrouwen op deze AI als een tweede mening om te zien welke patiënten extra zorg nodig hebben.

Kort samengevat:
De oude rekenmeesters zijn nog steeds sterk, maar de nieuwe AI-giganten hebben hen ingehaald. Ze kunnen nu net zo goed voorspellen wie een risico loopt op hartproblemen, zolang we ze maar de juiste "bril" (kalibratie) opzetten zodat ze niet te pessimistisch worden. Het is een winst voor de patiënt, want vroegtijdige detectie kan levens redden.

Technische samenvatting

Probleemstelling

Cardiovasculaire ziekten (CVD) zijn de belangrijkste oorzaak van sterfte wereldwijd. Traditionele methoden voor het voorspellen van sterfterisico's (zoals lineaire/logistische regressie, regressiebomen en SVM's) maken vaak aannames over lineaire relaties en homogene effecten in populaties, wat hun voorspellende kracht kan beperken. Hoewel er recent vooruitgang is geboekt met Generatieve AI (GenAI) en Large Language Models (LLMs), zijn de meeste studies beperkt tot:

1. Het gebruik van commerciële LLMs in "zero-shot" settings (zonder aanpassing).
2. De afhankelijkheid van tekstuele ontslagrapporten (discharge summaries), die vaak niet consistent beschikbaar of duur zijn om te produceren.
3. Een gebrek aan systematisch onderzoek naar het gebruik van gestructureerde, routinematig verzamelde biomarkers als input voor LLMs.

Het doel van deze studie is om de prestaties van moderne Medical LLMs (MedLLMs) te vergelijken met geavanceerde regressiemethoden voor het voorspellen van 1-jaar algehele sterfte bij CVD-patiënten, gebruikmakend van gestructureerde biomarkers in plaats van tekstuele notities.

Methodologie

De auteurs hebben een uitgebreide werkstroom ontwikkeld die klassieke Machine Learning (ML), Tabular Foundation Models (TFMs) en LLMs combineert.

1. Dataset en Cohort:

• Bron: De LURIC-studie (Ludwigshafen Risk and Cardiovascular Health), een prospectieve studie met 3.316 patiënten die tussen 1997 en 2000 een coronaire angiografie ondergingen.
• Doel: Voorspelling van 1-jaar algehele sterfte (1YM).
• Data: Er werden vijf verschillende sets van biomarkers en comorbiditeiten geselecteerd, variërend van 12 tot 94 variabelen (bijv. "Risk-12", "Core-20", "Ext-64", "Comp-94"). Deze omvatten laboratoriumwaarden, demografie en comorbiditeiten.

2. Vergelijkende Modellen:

• Regressie & Boosting: Traditionele en geavanceerde algoritmen zoals SVM, LinearBoost, CatBoost, XGBoost en RealMLP (een Tabular Foundation Model).
• LLM Prompting:
  • Zero-shot & Few-shot: Gestructureerde tabulaire data werd vertaald naar tekstuele prompts. Er werd gebruikgemaakt van een vaste template en few-shot voorbeelden (3 voorbeelden) om de LLMs te instrueren een sterfterisico in percentages te schatten.
  • Modellen: Een breed scala aan open-source MedLLMs (MedGemma, Med42, MedLlama, Meditron, OpenBioLLM, Llama-3-varianten) en commerciële modellen (Gemini-3-Flash, Claude-Sonnet-4.5, ChatGPT-5.2).
• Supervised Finetuning (SFT): Open-source modellen (voornamelijk 8B en 4B varianten) werden gefinetuned met LoRA-adapters op de specifieke sterfte-labels om de prestaties te optimaliseren.

3. Evaluatiemetrics:

• AUROC (Area Under the Receiver Operating Characteristic): Om de discriminatiekracht te meten (geschikt voor onbalans in de dataset).
• ECE (Expected Calibration Error): Om de betrouwbaarheid van de voorspelde waarschijnlijkheden te meten.
• Calibratie: Toepassing van Platt Scaling om systematische fouten in de voorspellingen te corrigeren.

Belangrijkste Bijdragen

1. Alternatieve Data-Input: Het paper toont aan dat routinematig verzamelde, gestructureerde biomarkers (in plaats van dure tekstuele notities) een krachtige basis vormen voor LLMs in de medische voorspelling.
2. Unificatie van Prompting: Een gestandaardiseerde methode om tabulaire patiëntdata om te zetten in zero- en few-shot prompts die werken voor zowel commerciële als open-source LLMs.
3. Uitgebreide Vergelijking: De eerste zo omvangrijke studie die recente regressietechnieken (inclusief boosting en TFMs) direct vergelijkt met zowel open-source als commerciële MedLLMs voor CVD-risicovoorvoorspelling.
4. Calibratie-analyse: Inzicht in de systematische miscalibratie van LLMs en de effectiviteit van Platt Scaling om deze fouten te reduceren.

Resultaten

• Prestatie van LLMs: Grote, vooraf getrainde MedLLMs (70B parameters) bereikten met geoptimaliseerde few-shot prompting een AUROC van 82% voor 1-jaar sterfte. Dit is concurrerend met de beste traditionele methoden.
• Top-performers:
  • De beste regressiemethode (CatBoost) en het commerciële model Gemini-3-Flash bereikten beide een AUROC van 85% (op de sub-cohort met Ext-64 biomarkers).
  • Kleinere modellen (8B) die werden gefinetuned (bijv. Meditron-8B), konden de grotere modellen en commerciële API's (zoals ChatGPT-5.2 en Claude-Sonnet-4.5) evenaren of zelfs overtreffen (AUROC > 82%).
• Vergelijking met Bestaande Scores: De resultaten zijn vergelijkbaar met gevestigde medische scores zoals CoroPredict (AUROC ~84%), SMART en SCORE2.
• Calibratie: LLMs neigden tot het onderschatten van het sterfterisico (systematische miscalibratie). Platt Scaling kon deze fouten (ECE) met 60-90% reduceren, waardoor de voorspellingen klinisch betrouwbaarder werden.

Betekenis en Conclusie

De studie bewijst dat Medical LLMs, wanneer ze correct worden geprompt en/of gefinetuned met kosteneffectieve, gestructureerde biomarkers, zeer nauwkeurige instrumenten zijn voor klinisch risicomanagement. Ze kunnen de traditionele "state-of-the-art" regressiemodellen (zoals CatBoost) niet alleen evenaren, maar in sommige gevallen zelfs overtreffen.

Dit opent de deur voor schaalbare, kosteneffectieve risicovoorvoorspellingssystemen die niet afhankelijk zijn van dure of inconsistente tekstuele rapporten. De auteurs benadrukken dat, hoewel LLMs krachtig zijn, post-hoc calibratie (zoals Platt Scaling) essentieel blijft om de betrouwbaarheid van de voorspelde kansen voor klinisch gebruik te waarborgen. Toekomstig werk richt zich op Reinforcement Learning from Human Feedback (RLHF) en verdere optimalisatie van biomarkerselectie.