Comparative Evaluation of Machine Learning Models for Heart Disease Prediction: Performance, Calibration, Threshold Selection, and Explainability

Hartziekten blijven de belangrijkste doodsoorzaak ter wereld, waarbij ze jaarlijks miljoenen levens eisen, met een onevenredige last die op laag- en middeninkomenslanden valt. In het moderne tijdperk wenden artsen en onderzoekers zich steeds vaker tot machine learning om de subtiele patronen in patiëntgegevens te ontdekken die wijzen op een stijgend risico voordat er een crisis optreedt. Deze computerprogramma's fungeren als krachtige instrumenten om door complexe medische geschiedenissen te zeven, op zoek naar verbanden tussen factoren zoals leeftijd, bloeddruk en cholesterolgehaltes om te voorspellen wie hartziekten zou kunnen ontwikkelen. Hoewel deze instrumenten echter veelbelovend zijn, hangt hun werkelijke waarde volledig af van hoe ze worden getest. Een model dat goed presteert bij een kleine, specifieke groep patiënten, kan volledig falen wanneer het wordt toegepast op een andere populatie. Om echt nuttig te zijn, moet een voorspellingsinstrument niet alleen vaak genoeg correct raden, maar ook betrouwbare waarschijnlijkheden bieden en consistent werken over verschillende soorten mensen heen.

Een team van onderzoekers van universiteiten uit Oeganda en Victoria zette zich scharpe om vijf verschillende machine learning-benaderingen te testen met behulp van een bekende collectie hartgezondheidsgegevens. Hun doel was niet alleen om het meest nauwkeurige computerprogramma te vinden, maar om te begrijpen hoe deze programma's zich gedragen, hoe ze hun beslissingen nemen en of ze betrouwbaar blijven wanneer de gegevens licht veranderen. Ze werkten met een dataset die 303 patiëntendossiers bevatte, waarin elk de leeftijd, bloeddruk, cholesterol, hartslag en resultaten van specifieke cardiale tests van een persoon werd beschreven. De onderzoekers verdeelden deze data in twee groepen: een grotere groep om de computerprogramma's te leren waar ze naar moeten kijken, en een kleinere, aparte groep om te testen hoe goed de programma's presteerden op patiënten die ze nog nooit eerder hadden gezien. Ze zorgten ervoor dat de verdeling eerlijk was, waarbij hetzelfde evenredige aantal zieke en gezonde patiënten in beide groepen werd behouden.

Na het trainen van de vijf verschillende modellen, ontdekten de onderzoekers dat een methode genaamd logistische regressie de meest evenwichtige en betrouwbare presteerder was. Deze benadering identificeerde hartziekten correct bij ongeveer 85 van de elke 100 patiënten in de testgroep. Belangrijker nog, het deed dit met een hoge mate van precisie, wat betekent dat het gezonde mensen zelden als ziek markeerde, en het was ook zeer goed in het detecteren van werkelijke gevallen van de ziekte. Hoewel andere modellen, zoals random forests en beslisbomen, veelbelovend waren, maakten zij ofwel meer fouten bij het identificeren van zieke patiënten, of worstelden zij ermee om hen even effectief van gezonde mensen te onderscheiden. Een model, bekend als Bayes, was uitstekend in het vinden van zieke patiënten, maar was te enthousiast in het afgaan van het alarm door veel gezonde mensen onterecht als hartziek te labelen. Het logistische regressiemodel viel op omdat het de beste algehele combinatie bood van het detecteren van de ziekte en het vermijden van valse alarmen.

De studie keek ook nauwgezet naar hoe deze modellen hun uiteindelijke ja-of-nee-beslissingen nemen. Standaard besluiten veel computerprogramma's dat een patiënt ziek is als hun berekende risicoscore boven de 50 procent ligt. De onderzoekers testten of het veranderen van dit afkappunt naar een iets hoger getal de resultaten zou verbeteren. Ze ontdekten dat het verhogen van de drempelwaarde de modelnauwkeurigheid niet algeheel verbeterde; het verschoof simpelweg de balans. Het maakte het model iets beter in het vermijden van valse alarmen, maar iets slechter in het detecteren van werkelijke gevallen. Dit suggereert dat voor deze specifieke dataset de standaardinstelling al vrij goed was afgestemd, en dat het simpelweg aanpassen van de cijfers de onderliggende beperkingen van de data niet oploste.

Buiten de ruwe nauwkeurigheid onderzochten de onderzoekers welke factoren de modellen het meest vertrouwden om hun voorspellingen te doen. Door de gegevens systematisch te husselen om te zien welke stukken het meest cruciaal waren, ontdekten zij dat het aantal zichtbare grote bloedvaten in een angiogram, het specifieke type pijn op de borst dat een patiënt rapporteerde, en de resultaten van een thallium-belastingtest de krachtigste voorspellers waren. Deze bevindingen komen overeen met de gevestigde medische kennis, wat bevestigt dat de computermodellen leerden van de meest klinisch relevante signalen in plaats van van willekeurige ruis. De studie onderzocht ook hoe de modellen presteerden over verschillende groepen heen, waarbij werd opgemerkt dat het systeem iets beter werkte voor vrouwen dan voor mannen en verschillende patronen vertoonde over leeftijdsgroepen heen, hoewel het kleine aantal patiënten in sommige categorieën betekende dat deze observaties voorlopig waren.

Een cruciaal onderdeel van het onderzoek was het testen van hoe deze modellen zouden reageren als ze getraind zouden worden op meer data. De onderzoekers simuleerden dit door geleidelijk de hoeveelheid informatie te vergroten die de modellen tijdens de training ontvingen. Ze observeerden dat naarmate de trainingsset groeide, de modellen consistenter en betrouwbaarder werden, wat suggereert dat de huidige prestaties werden beperkt door de kleine omvang van de beschikbare data in plaats van door een fout in de algoritmen zelf. De studie concludeert dat hoewel logistische regressie het sterkste instrument is onder de geteste methoden voor deze specifieke dataset, de resultaten niet onmiddellijk kunnen worden toegepast op alle populaties. De gebruikte data kwamen uit een specifieke historische collectie en vertegenwoordigen niet de diverse patiëntenpopulaties die in sub-Sahara Afrika of andere regio's worden gevonden. Voordat deze instrumenten kunnen worden gebruikt om klinische beslissingen voor nieuwe groepen mensen te begeleiden, moeten ze worden getest op grotere, onafhankelijke datasets die de echte diversiteit van patiënten weerspiegelen. Tot die tijd dienen deze bevindingen als een rigoureuze benchmark, die laat zien dat zorgvuldige evaluatie en transparantie net zo belangrijk zijn als de nauwkeurigheidscijfers zelf.