Integrating Machine Learning Ensembles and Large Language Models for Heart Disease Prediction Using Voting Fusion

Dit onderzoek toont aan dat een hybride systeem dat machine learning-ensembles combineert met Large Language Models via voting fusion, de nauwkeurigheid van hartziektediagnoses verbetert ten opzichte van modellen die alleen worden gebruikt.

De kern

Hartslag van de Toekomst: Hoe Computers en AI Samenwerken om Hartziektes te Voorspellen

Stel je voor dat je een groep van de slimste artsen ter wereld bij elkaar roept om een patiënt te beoordelen. Sommige artsen zijn experts in het analyseren van cijfers en statistieken (zoals bloeddruk en cholesterol), terwijl andere artsen bekend staan om hun vermogen om context te begrijpen en "intuïtie" te gebruiken.

Deze studie doet precies dat, maar dan met computers. De onderzoekers wilden weten: Wie is beter in het voorspellen van hartziektes?

1. De traditionele "cijfer-experts" (Machine Learning-modellen).
2. De nieuwe "taal-experts" (Grote Taalmodellen of LLM's, zoals de AI's die we nu gebruiken voor chat).
3. Wat gebeurt er als ze samenwerken?

Hier is hoe het werkt, vertaald in alledaagse taal:

1. De Cijfer-Experts (Machine Learning)

Stel je voor dat je een team hebt van vijf zeer ervaren statistici. Ze hebben duizenden medische dossiers gelezen en weten precies welke patronen in cijfers leiden tot een hartziekte.

• Hoe ze werken: Ze kijken naar getallen: leeftijd, bloeddruk, cholesterol. Ze gebruiken geavanceerde wiskunde om patronen te vinden die een mens misschien over het hoofd ziet.
• Hun kracht: Ze zijn extreem nauwkeurig met gestructureerde data. In deze studie scoorden ze 95,78%. Dat is alsof ze van de 100 patiënten er 96 correct inschatten.
• Hun zwakte: Soms zijn ze te star. Als de situatie onduidelijk is of de data raar is, kunnen ze vastlopen.

2. De Taal-Experts (Large Language Models - LLM's)

Nu stel je je een groep jonge, zeer intelligente studenten voor die alles hebben gelezen wat er op internet staat over gezondheid. Ze zijn geweldig in het begrijpen van taal en context.

• Hoe ze werken: De onderzoekers gaven hen de medische gegevens in de vorm van een verhaal of een lijstje en vroegen: "Heeft deze persoon een hartziekte?"
• Hun zwakte: Ze zijn niet gemaakt voor pure cijferanalyse. Als je ze alleen cijfers geeft, raken ze in de war. Ze scoorden hier maar 78,9%. Het is alsof je een briljante dichter vraagt om een complexe wiskundige vergelijking op te lossen zonder hulpmiddelen; het werkt, maar niet perfect.
• Hun kracht: Ze kunnen "redeneren" en uitleggen waarom ze iets denken, wat heel handig is voor artsen die een verklaring nodig hebben.

3. De Superkracht: Het "Voting" Team (De Fusie)

Hier wordt het interessant. De onderzoekers dachten: "Wat als we de cijfer-experts en de taal-experts in één team stoppen?"

Ze bouwden een Hybride Team:

• De cijfer-experts kijken naar de harde data.
• De taal-experts kijken naar het grote plaatje en proberen twijfelgevallen op te lossen.
• De "Stem": Ze stemmen samen. Als de cijfer-experts zeggen "Ja, gevaar!" en de taal-experts twijfelen, weegt de stem van de cijfer-expert zwaarder omdat die beter is in cijfers. Maar als de cijfer-experts twijfelen, kan de taal-expert helpen om de knoop door te hakken.

Het Resultaat:
Door deze twee te combineren, werd het team nog sterker. Ze haalden 96,62% nauwkeurigheid.

• De Analogie: Het is alsof je een racewagen (de cijfer-expert) hebt die razendsnel is, maar die een navigatie-systeem (de taal-expert) nodig heeft om de beste route te kiezen als de weg onduidelijk is. Samen komen ze sneller en veiliger aan dan alleen.

Waarom is dit belangrijk?

• Betrouwbaarheid: Hartziektes zijn dodelijk. Een foutieve voorspelling kan levens kosten. Dit nieuwe systeem maakt minder fouten dan de oude methoden.
• Transparantie: De oude systemen gaven alleen een "Ja/Nee" antwoord. Dit nieuwe systeem kan ook uitleggen (via de taal-expert) waarom ze tot die conclusie kwamen.
• De les voor de toekomst: Grote AI-modellen (zoals ChatGPT) zijn geweldig, maar ze kunnen de traditionele rekenkracht niet volledig vervangen. Ze werken het beste als ze samenwerken met gespecialiseerde systemen.

Kortom:
De onderzoekers hebben bewezen dat de toekomst van medische diagnose niet ligt in "één super-AI", maar in een samenwerking. De cijfer-experts doen het zware rekenwerk, en de taal-experts helpen bij de lastige beslissingen. Samen vormen ze een onverslaanbaar team voor het redden van levens.

Technische samenvatting

Technische Samenvatting: Integratie van ML-Ensembles en LLM's voor Hartziektediagnose

1. Probleemstelling

Cardiovasculaire ziekten (CVD) zijn wereldwijd de belangrijkste doodsoorzaak. Vroege en nauwkeurige risicoclassificatie is cruciaal voor het verminderen van sterfgevallen. Bestaande methoden hebben echter te kampen met uitdagingen:

• Data-ongelijkheid: Medische datasets zijn vaak sterk onevenwichtig (veel gezonde patiënten, weinig zieke), wat de gevoeligheid van modellen voor zeldzame ziektegevallen vermindert.
• Beperkingen van traditionele ML: Hoewel ensemble-modellen (zoals Random Forest en XGBoost) goed presteren op gestructureerde tabulaire data, missen ze soms robuust redenerend vermogen bij onzekere of ambigu klinische data.
• Beperkingen van LLM's: Grote Taalmodellen (LLM's) bieden nieuwe zero-shot en few-shot redeneercapaciteiten, maar hun prestaties op puur numerieke, onevenwichtige tabulaire data zijn inconsistent en afhankelijk van prompts.
• Ontbrekende integratie: Er was tot nu toe geen raamwerk dat ML-ensembles combineert met LLM-redenering voor de voorspelling van structurele hartziektes.

2. Methodologie

De auteurs hebben een hybride voorspellingssysteem ontwikkeld dat statistische nauwkeurigheid combineert met interpretabel, menselijk lijkend besluitvormingsondersteuning.

• Dataset:

  • Gebruik van een samengevoegde dataset van 1.190 patiëntrecords (afkomstig van Cleveland, Hongarije, Zwitserland, Long Beach VA en Statlog Heart).
  • Features: 11 invoerfeatures (bijv. leeftijd, geslacht, cholesterol, bloeddruk) en één output (hartziekte: ja/nee).
  • Preprocessing: Categorieën werden gecodeerd, continue features genormaliseerd (MinMaxScaler), en SMOTE (Synthetic Minority Over-sampling Technique) toegepast om de class-imbalance aan te pakken. De dataset werd gesplitst in trainings-, validatie- en testsets (60/20/20).

• Machine Learning (ML) Component:

  • Modellen: Negen modellen werden getraind, waaronder CatBoost, Random Forest, XGBoost, LightGBM, Gradient Boosting, SVM, Logistic Regression, MLP en Naive Bayes.
  • Ensemble Strategie: De top vijf presterende modellen (CatBoost, Random Forest, XGBoost, LightGBM, Gradient Boosting) werden gecombineerd in een Voting Classifier (zowel soft als hard voting).
  • Resultaat: Het ML-ensemble behaalde een nauwkeurigheid van 95,78% en een ROC-AUC van 0,96.

• Large Language Model (LLM) Component:

  • Modellen: Tien open-source LLM's (via OpenRouter API's) werden getest, waaronder Qwen3, LLaMA-4, Kimi-K2 en Gemini 2.5 Flash.
  • Prompting: Modellen werden geëvalueerd in zero-shot (geen voorbeelden) en few-shot (enkele gelabelde voorbeelden) scenario's.
  • Ensemble: De top vijf LLM's werden eveneens geaggregeerd via voting.
  • Resultaat: LLM's presteerden matig, met zero-shot soft voting op 78,9% nauwkeurigheid en few-shot op 72,6%.

• Hybride Fusie Framework (De Kernbijdrage):

  • Een nieuw raamwerk dat de probabilistische output van het ML-ensemble combineert met de redenering van een LLM (specifiek Gemini 2.5 Flash als meta-reasoning laag).
  • Het systeem weegt de voorspellingen op basis van de nauwkeurigheid van elk model. Als het ML-model een ziekte voorspelt en de LLM niet, maar het ML-model heeft een hogere betrouwbaarheid, wordt de risicoscore verhoogd.
  • Dit creëert een kwantitatieve risicoscore en adviserende richtlijnen.

3. Belangrijkste Resultaten

• Beste Prestatie: De hybride fusie van het ML-ensemble en de LLM-redenering behaalde de hoogste prestaties: 96,62% nauwkeurigheid en een ROC-AUC van 0,97.
• Vergelijking:
  • ML Ensembles: 95,78% nauwkeurigheid (beste standalone methode).
  • LLM's alleen: 78,9% (zero-shot) tot 72,6% (few-shot).
  • Hybride: 96,62%.
• Analyse: De integratie van LLM's leverde een kleine maar significante verbetering op, vooral in onzekere situaties en bij de classificatie van zeldzame gevallen (minoriteit). De LLM's fungeerden als een aanvullende laag voor contextuele redenering in plaats van een vervanging voor traditionele ML.
• Foutanalyse: Het hybride model verminderde de misclassificatie van de zeldzame ziekteklasse effectiever dan de standalone modellen.

4. Bijdragen en Innovatie

• Novel Fusion Pipeline: Dit is een van de eerste werken dat een voting-fusie toepast tussen gestructureerde ML-ensembles en LLM-redenering voor hartziektediagnose.
• Overbrugging van Lekkages: Het raamwerk adresseert de beperkingen van LLM's op tabulaire data door ze te combineren met modellen die specifiek zijn ontworpen voor gestructureerde data.
• Interpretabiliteit: Het systeem biedt niet alleen een voorspelling, maar ook een "menselijk lijkende" redenering, wat de transparantie en het vertrouwen in klinische besluitvorming vergroot.
• Robuustheid: Het toont aan dat ensemble ML de beste keuze blijft voor gestructureerde data, maar dat hybride systemen de betrouwbaarheid in grensgevallen kunnen verhogen.

5. Betekenis en Toekomstperspectief

De studie concludeert dat hoewel LLM's op zichzelf niet superieur zijn aan geavanceerde ML-ensembles voor tabulaire medische data, ze waardevol zijn als ondersteunende modules voor besluitvorming. De hybride aanpak biedt een pad naar betrouwbaardere klinische hulpmiddelen die zowel statistische precisie als semantisch inzicht combineren.

Beperkingen:

• De dataset is relatief klein (1.190 records), wat de generaliseerbaarheid beperkt.
• De evaluatie focuste voornamelijk op nauwkeurigheid en AUC, zonder uitgebreide kalibratie- of kosten-gevoelige analyses.
• Toekomstig werk moet gericht zijn op grotere, diverse datasets en de integratie in echte klinische workflows met focus op veiligheid en gelijkheid.

Conclusie:
Deze research bevestigt dat de toekomst van AI in de cardiologie ligt in hybride systemen: het gebruik van sterke, gestructureerde ML-ensembles voor de basisvoorspelling, versterkt door de contextuele redeneercapaciteit van LLM's om de nauwkeurigheid in complexe of onzekere gevallen te maximaliseren.