Regression vs. Medical LLMs: A Comprehensive Study for CVD and Mortality Risk Prediction

Diese Studie vergleicht klassische Regressionsmodelle mit medizinischen Large Language Models (MedLLMs) zur Vorhersage von kardiovaskulären Risiken und Sterblichkeit auf Basis der LURIC-Daten und zeigt, dass sowohl optimierte Regressionsverfahren als auch feinabgestimmte MedLLMs eine hohe Vorhersagegenauigkeit (bis zu 85 % AUROC) erreichen, wobei Kalibrierungstechniken die systematische Überprognose der LLMs signifikant reduzieren können.

Das Wesentliche

🩺 Der große Wettkampf: Der alte Zähler vs. der neue Super-Computer

Stellen Sie sich vor, Sie wollen vorhersagen, ob ein Auto in den nächsten 12 Monaten kaputtgeht.

Die alten Methoden (Regression):
Bisher haben Ärzte und Forscher wie erfahrene Mechaniker gearbeitet. Sie haben eine Liste von Fakten genommen (Alter, Ölstand, Kilometerstand, Rostflecken) und diese in eine feste Formel gesteckt. Das ist wie ein klassischer Taschenrechner: Er ist schnell, zuverlässig und hat sich seit Jahren bewährt. Aber er kann nur das rechnen, was man ihm explizit beigebracht hat. Er denkt nicht wirklich „mit".

Die neuen Methoden (Medizinische KI / LLMs):
Jetzt gibt es diese riesigen, neuen KI-Modelle (Large Language Models). Man könnte sie sich wie einen super-intelligenten Medizinstudenten vorstellen, der die gesamte medizinische Literatur der Welt gelesen hat. Er versteht nicht nur Zahlen, sondern auch Zusammenhänge und Sprache. Die Frage war: Kann dieser „Student" die alten „Taschenrechner" schlagen, wenn es darum geht, das Risiko eines Herzinfarkts oder einer Todesgefahr vorherzusagen?

🏥 Das Experiment: Die LURIC-Studie

Die Forscher haben sich eine riesige Datenbank (die LURIC-Studie) geschnappt. Darin stecken Daten von über 3.300 Patienten, die zwischen 1997 und 2000 eine Herzkatheteruntersuchung hatten.

• Die Zutaten: Statt teurer, schwer zu lesender Arztbriefe haben sie sich auf das verlassen, was man leicht messen kann: Blutwerte, Cholesterin, Alter, Geschlecht und bekannte Krankheiten (wie Diabetes). Das ist wie das Basis-Set an Werkzeugen, das jeder Mechaniker hat.
• Die Aufgabe: Vorhersagen, wer innerhalb eines Jahres verstorben ist.

⚔️ Der Showdown: Wie haben sie abgeschnitten?

Die Forscher haben drei Gruppen gegeneinander antreten lassen:

1. Die klassischen Algorithmen (Der Taschenrechner):
   Hier gab es Gewinner wie CatBoost und XGBoost. Diese sind wie Meister-Mechaniker, die ihre Formel perfekt beherrschen. Sie haben es auf eine Trefferquote von ca. 85% gebracht. Das ist sehr gut!

2. Die großen KI-Modelle (Der Student ohne Prüfung):
   Die riesigen KI-Modelle (z. B. mit 70 Milliarden „Gedanken"-Einheiten) wurden einfach gefragt: „Hier sind die Daten, wie hoch ist das Risiko?" (Das nennt man „Few-Shot Prompting" – man gibt ihnen ein paar Beispiele, damit sie den Stil verstehen).

   • Ergebnis: Diese riesigen Modelle kamen auf 82%. Sie waren also fast genauso gut wie die besten klassischen Rechner, obwohl sie gar nicht extra für diese Aufgabe trainiert wurden!

3. Die kleinen KI-Modelle (Der Student mit Nachhilfe):
   Hier wurde es spannend. Die kleineren Modelle (nur 8 Milliarden Einheiten) wurden nicht nur gefragt, sondern speziell für diese Aufgabe trainiert (Finetuning).

   • Ergebnis: Diese kleinen, trainierten Modelle haben nicht nur die großen Modelle, sondern sogar die kommerziellen Giganten (wie ChatGPT oder Claude) und die klassischen Rechner übertroffen oder gleichgezogen. Sie kamen ebenfalls auf über 82-85%.

⚠️ Das Problem: Der „Übertreiber"

Es gab aber einen Haken. Die KI-Modelle neigten dazu, das Risiko etwas zu überschätzen.

• Die Analogie: Stellen Sie sich einen sehr vorsichtigen Feuerwehrrichter vor. Wenn er eine Rauchwolke sieht, ruft er sofort die Feuerwehr, auch wenn es vielleicht nur ein verbranntes Toastbrot ist. Die KI sagte also oft: „Achtung, hohes Risiko!", auch wenn der Patient eigentlich noch lange leben würde.
• Die Lösung: Die Forscher haben eine kleine Korrektur-Methode (Platt Scaling) angewendet. Das ist wie ein Kalibrierungs-Filter. Wenn man diesen Filter auflegt, wird die KI viel genauer und sagt die Risiken viel realistischer voraus. Die Fehlerquote sank dabei drastisch.

💡 Was bedeutet das für uns?

1. KI ist angekommen: Medizinische KI ist nicht mehr nur ein Spielzeug. Sie kann mit den besten klassischen Methoden mithalten, wenn man sie richtig benutzt.
2. Man braucht keine teuren Arztbriefe: Es reicht oft schon, die normalen Blutwerte und Daten aus der Krankenakte in die KI zu stecken. Das macht die Methode günstig und überall einsetzbar.
3. Trainieren lohnt sich: Ein kleiner, speziell trainierter KI-Assistent ist oft besser als ein riesiger, untrainierter Generalist.
4. Vorsicht ist geboten: Die KI ist noch nicht perfekt. Sie neigt dazu, Panik zu machen (Risiko zu überschätzen). Deshalb muss sie immer noch von einem menschlichen Arzt überprüft und „kalibriert" werden.

Fazit:
Die Studie zeigt, dass wir bald eine neue Generation von Assistenten haben, die uns helfen können, Herzpatienten früher und genauer zu erkennen. Sie sind wie ein superstarker, aber noch etwas nervöser Assistent, den man mit ein wenig Erfahrung und Korrektur zu einem unverzichtbaren Werkzeug im medizinischen Alltag machen kann.

Technische Zusammenfassung

1. Problemstellung und Motivation

Kardiovaskuläre Erkrankungen (CVD) sind weltweit die häufigste Todesursache. Die genaue Vorhersage des Mortalitätsrisikos ist für die Früherkennung und gezielte Interventionen entscheidend.

• Herausforderung: Traditionelle Modelle (z. B. lineare/logistische Regression, SVMs, Random Forests) basieren oft auf linearen Annahmen und haben Schwierigkeiten, komplexe nicht-lineare Zusammenhänge in großen Datensätzen zu erfassen.
• Limitationen bestehender KI-Ansätze: Aktuelle Studien nutzen häufig kommerzielle Large Language Models (LLMs) im „Zero-Shot"-Modus auf Basis von klinischen Entlassungsberichten (Textdaten). Diese sind jedoch oft teuer, inkonsistent verfügbar und schwer zu skalieren. Zudem zeigten frühere Studien, dass LLMs ohne Feinabstimmung (Fine-Tuning) hinter klassischen neuronalen Netzen (ANNs) zurückbleiben.
• Ziel: Die Autoren untersuchen, ob offen zugängliche medizinische LLMs (MedLLMs), die auf strukturierten, routinemäßig erhobenen Biomarkern (Tabellendaten) statt auf Text basieren, mit etablierten Regressionsmethoden konkurrieren können.

2. Methodik

Die Studie nutzt Daten aus der LURIC-Studie (Ludwigshafen Risk and Cardiovascular Health), die 3.316 Patienten umfasst, die zwischen 1997 und 2000 eine Koronarangiographie durchliefen.

Datenbasis und Merkmale:

• Zielvariable: 1-Jahres-Gesamtmortalität (1YM).
• Eingabemerkmale: Es wurden fünf verschiedene Sätze an Biomarkern und Komorbiditäten definiert, um die Robustheit zu testen:
  1. Risk-12: 12 Biomarker aus dem EU-Projekt RiskyCAD.
  2. Core-20: 20 routinemäßig gemessene klinische Biomarker.
  3. Lit-21: 21 aus der Literatur abgeleitete Biomarker.
  4. Ext-64: 64 erweiterte Biomarker.
  5. Comp-94: Eine Kombination aller oben genannten (94 Merkmale).

Vergleichende Modelle:
Die Studie vergleicht drei Kategorien von Ansätzen:

1. Klassische ML-Verfahren & Tabular Foundation Models (TFMs):
   • Gradient Boosting (CatBoost, XGBoost, LinearBoost).
   • Support Vector Machines (SVM).
   • Tabular Foundation Model (RealMLP).
2. Medical LLMs (Prompting):
   • Verschiedene Open-Source-Modelle (MedGemma, Med42, MedLlama, Meditron, OpenBioLLM, Llama-3-Varianten) mit 8B bis 70B Parametern.
   • Kommerzielle Modelle (Gemini-3-Flash, Claude-Sonnet-4.5, ChatGPT-5.2).
   • Prompting-Strategie: Tabellendaten werden in strukturierte Text-Prompts umgewandelt. Es wurden Zero-Shot und Few-Shot (3 Beispiele) Szenarien getestet, bei denen das Modell als medizinischer Experte die Mortalitätsrisiko in Prozent schätzt.
3. Supervised Fine-Tuning (SFT):
   • Feinabstimmung der kleineren Open-Source-Modelle (4B/8B Parameter) auf die Klassifikationsaufgabe mittels LoRA (Low-Rank Adaptation).

Evaluation:

• Metriken: Da die Daten unausgewogen sind (wenige Todesfälle), wird primär die AUROC (Area Under the Receiver Operating Characteristic) verwendet. Zusätzlich wird die Kalibrierung mittels Expected Calibration Error (ECE) bewertet, um systematische Fehleinschätzungen der Wahrscheinlichkeiten zu prüfen.
• Kalibrierung: Platt Scaling wurde als Nachbearbeitungsmethode angewendet, um die Kalibrierung zu verbessern.

3. Hauptbeiträge

• Alternative Datenquelle: Demonstration, dass routinemäßig erhobene, strukturierte Biomarker (statt teurer Textnotizen) eine effektive Basis für LLM-basierte Mortalitätsvorhersagen sind.
• Einheitlicher Prompting-Rahmen: Entwicklung einer Methode, um tabellarische Patientendaten in generische Zero- und Few-Shot-Prompts zu übersetzen, die für kommerzielle und Open-Source-LLMs funktionieren.
• Umfassender Vergleich: Der bisher umfassendste Vergleich zwischen klassischen Regressionsmethoden, Tabular Foundation Models und einer breiten Palette von MedLLMs (Open-Source und kommerziell) im Kontext von CVD.
• Kalibrierungsanalyse: Systematische Untersuchung der Neigung von LLMs, Mortalitätsrisiken zu unterschätzen, und Nachweis der Wirksamkeit von Platt Scaling zur Korrektur.

4. Ergebnisse

Die Studie liefert folgende zentrale Erkenntnisse:

• Leistungsfähigkeit von MedLLMs:
  • Große, vortrainierte MedLLMs (70B Parameter) erreichen mit optimiertem Few-Shot-Prompting eine AUROC von bis zu 82 % für die 1-Jahres-Mortalität.
  • Kommerzielle Modelle wie Gemini-3-Flash erreichen mit Few-Shot-Prompting eine AUROC von 0,849 (auf dem Sub-Kohorten-Set mit Ext-64 Merkmalen).
• Vergleich mit Regression:
  • Die besten Regressionsmethoden (insbesondere CatBoost) erreichen ebenfalls eine AUROC von ca. 0,849.
  • Damit sind die LLMs (insbesondere die kommerziellen und feinabgestimmten Open-Source-Modelle) mit dem State-of-the-Art in der medizinischen Literatur (z. B. CoroPredict, SMART, SCORE2) konkurrenzfähig.
• Fine-Tuning vs. Prompting:
  • Kleinere Modelle (8B Parameter), die mittels Supervised Fine-Tuning (SFT) angepasst wurden, können ihre größeren Pendants (70B) sowie kommerzielle Modelle übertreffen oder gleichziehen (z. B. erreichte Meditron-3-8B nach Fine-Tuning eine AUROC von 0,826).
• Kalibrierung:
  • MedLLMs neigen dazu, Mortalitätsrisiken systematisch zu unterschätzen (ECE-Werte zwischen 0,05 und 0,10).
  • Die Anwendung von Platt Scaling reduziert diese Fehlkalkulationen um 60–90 % und verbessert die klinische Zuverlässigkeit der Wahrscheinlichkeitsaussagen erheblich.

5. Bedeutung und Ausblick

Die Studie zeigt, dass medizinische LLMs, wenn sie korrekt mit strukturierten Biomarkern prompted oder feinabgestimmt werden, keine bloßen „Textgeneratoren" mehr sind, sondern präzise prädiktive Werkzeuge für das klinische Risikomanagement darstellen können.

• Klinische Relevanz: Da die Modelle auf standardisierten Laborwerten basieren, sind sie leichter skalierbar und kosteneffizienter als textbasierte Ansätze.
• Zukunftsperspektive: Die Autoren planen, Reinforcement Learning from Human Feedback (RLHF) zu erforschen und die Merkmalsauswahl unter Budgetbeschränkungen weiter zu optimieren.
• Fazit: MedLLMs haben das Potenzial, etablierte Regressionsmodelle in der CVD-Risikovorhersage zu ergänzen oder zu ersetzen, insbesondere wenn sie durch Kalibrierungstechniken für den klinischen Einsatz vertrauenswürdig gemacht werden.