Integrating Machine Learning Ensembles and Large Language Models for Heart Disease Prediction Using Voting Fusion

Diese Studie zeigt, dass die Kombination von Ensemble-Machine-Learning-Modellen mit Large Language Models durch Voting-Fusion die Vorhersagegenauigkeit von Herzerkrankungen auf 96,62 % steigert und somit eine zuverlässigere klinische Entscheidungsunterstützung ermöglicht als die Verwendung der einzelnen Ansätze allein.

Das Wesentliche

Herzschlag-Alarm: Wie Computer und KI zusammenarbeiten, um Herzkrankheiten vorherzusagen

Stellen Sie sich vor, Sie sind ein sehr erfahrener Arzt. Sie haben Tausende von Patientenakten vor sich: Alter, Blutdruck, Cholesterinwerte, ob jemand raucht oder Sport treibt. Ihre Aufgabe ist es, aus diesen trockenen Zahlen und Fakten zu erraten: Hat dieser Patient ein Risiko für eine Herzkrankheit?

In dieser Studie haben Forscher genau das versucht, aber mit einer modernen Twist: Sie haben nicht nur einen Arzt, sondern ein ganzes Team aus verschiedenen „KI-Experten" zusammengebracht. Hier ist die Geschichte, wie sie das gemacht haben, einfach erklärt.

1. Die zwei Teams im Stadion

Stellen Sie sich einen großen Wettkampf vor, bei dem zwei verschiedene Teams gegeneinander antreten, um die Herzgesundheit von 1.190 Patienten vorherzusagen.

Team A: Die Statistik-Meister (Maschinelles Lernen)
Dieses Team besteht aus klassischen Computerprogrammen (wie Random Forest, XGBoost, CatBoost).

• Wie sie arbeiten: Diese Programme sind wie extrem fleißige Rechenmaschinen. Sie schauen sich die Zahlen an (z. B. „Blutdruck 140", „Alter 55") und suchen nach Mustern. Sie wissen genau, dass hohe Zahlen oft bedeuten, dass etwas nicht stimmt.
• Ihre Stärke: Sie sind unglaublich präzise bei strukturierten Daten. Wenn man sie richtig trainiert, sind sie wie ein Schweizer Taschenmesser: Zuverlässig, schnell und sehr gut darin, aus Zahlen Schlüsse zu ziehen.
• Ergebnis: Sie lagen in diesem Test zu 95,78 % richtig. Das ist schon sehr beeindruckend!

Team B: Die Sprach-Genies (Large Language Models / LLMs)
Dieses Team besteht aus den neuen, großen KI-Modellen (wie Gemini, Llama, GPT), die wir oft für Chatbots oder das Schreiben von Texten nutzen.

• Wie sie arbeiten: Diese KIs sind wie brillante Studenten, die alles gelesen haben, aber keine Ahnung von Tabellen haben. Wenn man ihnen eine Tabelle mit Zahlen gibt, müssen sie diese erst in eine Geschichte verwandeln, um sie zu verstehen.
• Ihre Schwäche: Wenn man sie einfach nur Zahlen sieht, stolpern sie. Sie sind verwirrt. In diesem Test lagen sie nur bei etwa 78 % richtig. Sie waren zu ungenau, um allein die Diagnose zu stellen.
• Ihre Stärke: Sie können aber gut „denken" und Zusammenhänge erklären, wenn man sie in einer klaren Geschichte (Text) fragt.

2. Das Problem: Warum Team B allein nicht reicht

Stellen Sie sich vor, Sie fragen einen brillanten Literaturprofessor (Team B): „Was bedeutet diese Liste von Zahlen?"
Er antwortet vielleicht: „Nun, die Zahlen sehen etwas besorgniserregend aus, aber ich bin mir nicht sicher." Er ist zu kreativ und zu unsicher bei reinen Daten.

Dagegen ist Team A (die Statistik-Meister) wie ein erfahrener Mechaniker, der sofort sagt: „Der Motor macht ein Geräusch, das bedeutet, das Ventil ist defekt." Bei Zahlen sind sie unschlagbar.

3. Die Lösung: Der „Voting"-Fusion (Die große Hochzeit)

Hier kommt der geniale Teil der Studie. Die Forscher sagten: „Warum müssen wir uns entscheiden? Wir nehmen beide Teams!"

Sie bauten ein Hybrid-System, eine Art „Super-Entscheidungsgremium":

1. Der erste Schritt: Die Statistik-Meister (Team A) schauen sich die Patientendaten an und sagen: „Wir sind zu 95 % sicher, dass hier eine Krankheit vorliegt."
2. Der zweite Schritt: Die Sprach-Genies (Team B) bekommen die Daten in einer leicht verständlichen Form präsentiert und sagen: „Ich denke auch, dass etwas nicht stimmt, aber ich bin unsicher."
3. Der dritte Schritt (Die Fusion): Ein spezieller Algorithmus (der „Voting"-Fusion) hört sich beide Meinungen an. Er gewichtet die Meinung der Statistik-Meister viel stärker, weil sie bei Zahlen besser sind. Aber er nutzt die Sprach-KI, um in unsicheren Fällen nachzudenken und die Entscheidung zu bestätigen.

Das Ergebnis:
Durch diese Zusammenarbeit wurde das System noch besser! Die Genauigkeit stieg auf 96,62 %.

4. Was bedeutet das für uns?

• Die Moral der Geschichte: Die neuen, großen KI-Sprachmodelle sind toll, aber sie sind noch nicht perfekt darin, medizinische Zahlen zu lesen. Sie sind wie ein sehr kluger Assistent, der aber noch nicht gelernt hat, Excel-Tabellen zu lesen.
• Die Zukunft: Die beste Lösung ist eine Mischung. Wir nutzen die klassischen Computermodelle für die harte Zahlenarbeit (das Fundament) und die neuen Sprach-KIs als „zweites Paar Augen", um in schwierigen Fällen nachzudenken und die Diagnose zu erklären.

Zusammenfassend:
Stellen Sie sich vor, Sie bauen ein Haus. Die Statistik-Modelle sind die soliden Ziegelsteine und der Beton – sie halten das Haus sicher. Die Sprach-KI ist der Architekt, der darauf achtet, dass alles logisch zusammenpasst und das Haus auch schön aussieht. Zusammen bauen sie ein viel sichereres Haus (eine genauere Diagnose) als jeder von ihnen allein könnte.

Dieser Ansatz könnte in Zukunft Ärzten helfen, Herzkrankheiten früher und sicherer zu erkennen, was Leben retten kann.

Technische Zusammenfassung

Titel: Integration von Machine-Learning-Ensembles und Large Language Models (LLMs) zur Vorhersage von Herzerkrankungen mittels Voting-Fusion

1. Problemstellung

Herz-Kreislauf-Erkrankungen (CVD) sind weltweit die häufigste Todesursache. Eine frühe und präzise Risikoklassifizierung ist entscheidend, um die Sterblichkeit zu senken.

• Herausforderungen bei bestehenden ML-Modellen: Obwohl Ensemble-Methoden (wie Random Forest, XGBoost) strukturierte klinische Daten gut verarbeiten, leiden sie unter Problemen bei der Kalibrierung und Generalisierbarkeit, insbesondere bei stark unausgewogenen Datensätzen (Imbalanced Data).
• Herausforderungen bei LLMs: Große Sprachmodelle (LLMs) bieten zwar Zero-Shot- und Few-Shot-Fähigkeiten für semantische Daten, zeigen jedoch bei rein numerischen, tabellarischen medizinischen Datensätzen inkonsistente Leistungen und sind stark von den Prompts abhängig.
• Forschungslücke: Es fehlte bisher an einem Framework, das die statistische Genauigkeit von ML-Ensembles mit dem interpretierbaren, logischen Schlussfolgern von LLMs für die Vorhersage struktureller Herzerkrankungen kombiniert.

2. Methodik

Die Studie verfolgte einen hybriden Ansatz, der auf einem Datensatz von 1.190 Patientenaufzeichnungen (zusammengesetzt aus fünf Repositorien: Cleveland, Hungarian, Switzerland, Long Beach VA, Statlog) basiert.

• Datenvorverarbeitung:

  • Nutzung von 11 Eingangsmerkmalen (z. B. Alter, Geschlecht, Cholesterin, Ruhe-ECG) und einem Zielmerkmal (Herzerkrankung: Ja/Nein).
  • Anwendung von MinMaxScaler für die Normalisierung und SMOTE (Synthetic Minority Over-sampling Technique) zur Behandlung der Klassenungleichgewichte.
  • Aufteilung in Trainings-, Validierungs- und Testsets (60/20/20) mit strikter Trennung zur Vermeidung von Datenlecks.

• Komponente A: Machine Learning (ML) Ensembles

  • Es wurden neun Modelle trainiert, darunter Gradient Boosting, SVM, Logistic Regression, MLP und Naive Bayes.
  • Die besten fünf Modelle (CatBoost, Random Forest, XGBoost, LightGBM, Gradient Boosting) wurden in einem Voting-Classifier (Soft- und Hard-Voting) zusammengeführt.
  • CatBoost erzielte als Einzelmodell die beste Leistung (92,44 % Genauigkeit).

• Komponente B: Large Language Models (LLMs)

  • Zehn verschiedene LLMs (z. B. Qwen3, LLaMA-4, Gemini 2.5 Flash, Grok) wurden über OpenRouter-APIs getestet.
  • Evaluation erfolgte in Zero-Shot (ohne Beispiele) und Few-Shot (mit wenigen gelabelten Beispielen) Szenarien.
  • Die LLMs wurden ebenfalls in einem Voting-Ensemble aggregiert.

• Komponente C: Hybride ML-LLM-Fusion (Der Kernbeitrag)

  • Ein Fusions-Framework kombiniert die probabilistischen Ausgaben des ML-Ensembles mit den Schlussfolgerungen der LLMs.
  • Ein Meta-Reasoning-Layer (basierend auf Gemini 2.5 Flash) gewichtet die Vorhersagen beider Systeme.
  • Das Ziel ist es, Unsicherheiten der statistischen Modelle durch das kontextuelle Verständnis der LLMs zu auflösen, wobei die LLMs als unterstützende Module und nicht als Ersatz dienen.

3. Wichtige Ergebnisse

• ML-Ensemble-Leistung:

  • Das ML-Ensemble (Soft Voting der Top-5-Modelle) erreichte eine Genauigkeit von 95,78 % und einen ROC-AUC von 0,96.
  • Dies bestätigte, dass Ensemble-Methoden für tabellarische medizinische Daten nach wie vor überlegen sind.

• LLM-Leistung:

  • LLMs zeigten moderate Ergebnisse: 78,9 % Genauigkeit im Zero-Shot-Modus und 72,6 % im Few-Shot-Modus.
  • Interessanterweise performte das Zero-Shot-Setup besser als Few-Shot, was auf die Schwierigkeit hinweist, strukturierte Tabellendaten in Few-Shot-Prompts effektiv zu kodieren.

• Hybride Fusion (ML + LLM):

  • Das kombinierte System erzielte die beste Gesamtleistung mit 96,62 % Genauigkeit und einem ROC-AUC von 0,97.
  • Der Vergleich mit früheren Studien (die oft zwischen 82 % und 93 % lagen) zeigt eine signifikante Steigerung.
  • Die Fusion verbesserte insbesondere die Vorhersagegenauigkeit bei unsicheren Fällen und Randfällen (Borderline-Cases), wo reine ML-Modelle versagten.

4. Hauptbeiträge

1. Neues Framework: Entwicklung eines ersten hybriden Pipelines, das ML-Ensembles und LLM-Reasoning für die Herzkrankheitsvorhersage integriert.
2. Validierung der Synergie: Nachweis, dass LLMs zwar allein für tabellarische Daten suboptimal sind, aber als „Co-Pilot" in einem Ensemble-System die Robustheit und Zuverlässigkeit steigern können.
3. Umgang mit Unsicherheit: Das System nutzt LLMs, um Ambiguitäten in den statistischen Klassifikationen aufzulösen, was zu einer besseren klinischen Entscheidungsunterstützung führt.
4. Benchmarking: Umfassender Vergleich von neun ML-Modellen und zehn LLMs unter standardisierten Bedingungen.

5. Bedeutung und Ausblick

Die Studie unterstreicht, dass Ensemble-Learning weiterhin der Goldstandard für strukturierte klinische Daten ist. Die Integration von LLMs bietet jedoch einen vielversprechenden Weg, um die interpretierbare Entscheidungsfindung und die Behandlung von Unsicherheiten zu verbessern, ohne die statistische Strenge zu opfern.

• Klinische Relevanz: Das vorgeschlagene System könnte als zuverlässiges Werkzeug zur Unterstützung von Ärzten dienen, um Risikopatienten früher und genauer zu identifizieren.
• Einschränkungen: Die Studie basiert auf einem relativ kleinen, harmonisierten Datensatz (1.190 Fälle), was die Generalisierbarkeit einschränkt. Zudem wurde keine detaillierte Kosten-Nutzen-Analyse oder Kalibrierung durchgeführt.
• Zukunft: Weitere Forschung ist notwendig, um die Methode auf größere, diversere Datensätze zu skalieren und die Integration in klinische Workflows unter Berücksichtigung von Sicherheit und Fairness zu vertiefen.

Fazit: Die Arbeit demonstriert erfolgreich, dass eine Kombination aus bewährten statistischen ML-Methoden und der semantischen Reasoning-Fähigkeit moderner LLMs die Vorhersagegenauigkeit für Herzkrankheiten über das Niveau rein statistischer Modelle hinausheben kann.