Comparative Evaluation of Machine Learning Models for Heart Disease Prediction: Performance, Calibration, Threshold Selection, and Explainability

Herzkrankheiten bleiben die weltweit führende Todesursache, die jährlich Millionen von Menschenleben fordert, wobei die Last in Ländern mit niedrigem und mittlerem Einkommen unverhältnismäßig hoch ist. In der modernen Ära wenden sich Ärzte und Forscher zunehmend dem maschinellen Lernen zu, um die subtilen Muster in Patientendaten zu erkennen, die auf ein steigendes Risiko hindeuten, bevor eine Krise eintritt. Diese Computerprogramme fungieren als leistungsstarke Werkzeuge, um komplexe Krankengeschichten zu durchforsten und Verbindungen zwischen Faktoren wie Alter, Blutdruck und Cholesterinspiegel zu finden, um vorherzusagen, wer eine Herzkrankheit entwickeln könnte. Während diese Werkzeuge jedoch großes Potenzial zeigen, hängt ihr realer Nutzen vollständig davon ab, wie sie getestet werden. Ein Modell, das bei einer kleinen, spezifischen Gruppe von Patienten gut abschneidet, könnte bei der Anwendung auf eine andere Bevölkerungsgruppe völlig versagen. Um wirklich nützlich zu sein, muss ein Vorhersagewerkzeug nicht nur oft genug richtig raten, sondern auch zuverlässige Wahrscheinlichkeiten liefern und über verschiedene Arten von Menschen hinweg konsistent funktionieren.

Ein Team von Forschern der Universitäten in Uganda und Victoria setzte sich zum Ziel, fünf verschiedene Ansätze des maschinellen Lernens unter Verwendung einer bekannten Sammlung von Herzgesundheitsdaten zu testen. Ihr Ziel war es nicht nur, das eine einzige, genaueste Computerprogramm zu finden, sondern zu verstehen, wie diese Programme agieren, wie sie ihre Entscheidungen treffen und ob sie zuverlässig bleiben, wenn sich die Daten leicht ändern. Sie arbeiteten mit einem Datensatz, der 3々3 Patientendatensätze enthielt, von denen jeder das Alter, den Blutdruck, das Cholesterin, die Herzfrequenz und die Ergebnisse spezifischer kardiologischer Tests einer Person beschrieb. Die Forscher teilten diese Daten in zwei Gruppen auf: eine größere Gruppe, um die Computerprogramme darauf zu trainieren, wonach sie suchen sollen, und eine kleinere, separate Gruppe, um zu testen, wie gut die Programme bei Patienten abschnitten, die sie zuvor noch nie gesehen hatten. Sie stellten sicher, dass die Aufteilung fair war, indem sie das gleiche Verhältnis von kranken zu gesunden Patienten in beiden Gruppen beibehielten.

Nachdem sie die fünf verschiedenen Modelle trainiert hatten, fanden die Forscher heraus, dass eine Methode namens logistische Regression als der ausgewogenste und zuverlässigste Performer hervorging. Dieser Ansatz identifizierte die Herzkrankheit bei etwa 85 von jeweils 100 Patienten in der Testgruppe korrekt. Viel wichtiger war, dass dies mit einem hohen Grad an Präzision geschah, was bedeutete, dass er gesunde Menschen selten als krank markierte, und dass er auch sehr gut darin war, tatsächliche Krankheitsfälle zu erfassen. Während andere Modelle, wie Random Forests und Entscheidungsbäume, vielversprechend waren, machten sie entweder mehr Fehler bei der Identifizierung kranker Patienten oder hatten Schwierigkeiten, diese so effektiv von gesunden zu unterscheiden. Ein Modell, bekannt als Bayes, war exzellent darin, kranke Patienten zu finden, war aber zu eifrig, Alarm zu schlagen, und bezeichnete viele gesunde Menschen fälschlicherweise als herzkrank. Das Modell der logistischen Regression stach hervor, weil es die beste Gesamtkombination aus dem Erfassen der Krankheit und dem Vermeiden von Fehlalarmen bot.

Die Studie untersuchte auch genau, wie diese Modelle ihre endgültigen Ja-oder-Nein-Entscheidungen treffen. Standardmäßig entscheiden viele Computerprogramme, dass ein Patient krank ist, wenn sein berechneter Risikoscore über 50 Prozent liegt. Die Forscher testeten, ob die Änderung dieses Grenzwerts auf eine etwas höhere Zahl die Ergebnisse verbessern würde. Sie fanden heraus, dass das Anheben der Schwelle die Genauigkeit des Modells insgesamt nicht verbesserte; es verschob lediglich das Gleichgewicht. Es machte das Modell etwas besser darin, Fehlalarme zu vermeiden, aber etwas schlechter darin, tatsächliche Fälle zu erfassen. Dies deutet darauf hin, dass für diesen spezifischen Datensatz die Standardeinstellung bereits recht gut abgestimmt war und das bloße Anpassen der Zahlen die zugrunde liegenden Einschränkungen der Daten nicht löste.

Über die reine Genauigkeit hinaus untersuchten die Forscher, auf welche Faktoren die Modelle am meisten vertrauten, um ihre Vorhersagen zu treffen. Durch das systematische Durchmischen der Daten, um zu sehen, welche Teile am kritischsten waren, entdeckten sie, dass die Anzahl der in einem Angiogramm sichtbaren großen Blutgefäße, die spezifische Art der vom Patienten berichteten Schmerzen in der Brust und die Ergebnisse eines Thallium-Belastungstests die stärksten Prädiktoren waren. Diese Erkenntnisse stimmen mit etabliertem medizinischem Wissen überein und bestätigen, dass die Computermodelle aus den klinisch relevantesten Signalen lernten und nicht aus zufälligem Rauschen. Die Studie untersuchte auch, wie die Modelle über verschiedene Gruppen hinweg abschnitten, wobei sie feststellten, dass das System bei Frauen etwas besser funktionierte als bei Männern und unterschiedliche Muster über Altersgruppen hinweg zeigte, wenngleich die geringe Anzahl von Patienten in einigen Kategorien bedeutete, dass diese Beobachtungen vorläufiger Natur waren.

Ein entscheidender Teil der Forschung bestand darin, zu testen, wie sich die Modelle verhalten würden, wenn sie mit mehr Daten trainiert würden. Die Forscher simulierten dies, indem sie die Menge der Informationen, die die Modelle während des Trainings erhielten, schrittweise erhöhten. Sie beobachteten, dass die Modelle mit wachsendem Trainingsdatensatz konsistenter und zuverlässiger wurden, was darauf hindeutet, dass die aktuelle Leistung eher durch die geringe Größe der verfügbaren Daten als durch einen Fehler in den Algorithmen selbst begrenzt war. Die Studie kommt zu dem Schluss, dass die logistische Regression zwar das stärkste Werkzeug unter den getesteten für diesen spezifischen Datensatz ist, die Ergebnisse jedoch nicht unmittelbar auf alle Bevölkerungsgruppen übertragen werden können. Die verwendeten Daten stammten aus einer spezifischen historischen Sammlung und repräsentieren nicht die vielfältigen Patientenpopulationen, die in Subsahara-Afrika oder anderen Regionen zu finden sind. Bevor diese Werkzeuge eingesetzt werden können, um klinische Entscheidungen für neue Patientengruppen zu leiten, müssen sie an größeren, unabhängigen Datensätzen getestet werden, die die reale Vielfalt der Patienten widerspiegeln. Bis dahin dienen diese Erkenntnisse als strenger Referenzwert, der zeigt, dass sorgfältige Evaluierung und Transparenz genauso wichtig sind wie die Genauigkeitszahlen selbst.