Disease Risk Prediction Using Structured EHR Data: Can Generalist Large Language Models Match Specialized Clinical Foundation Models? A Comparative Evaluation with Fine-Tuning

Diese vergleichende Evaluierung zeigt, dass zwar feinabgestimmte allgemeine große Sprachmodelle bei der strukturierten Vorhersage von Krankheitsrisiken in elektronischen Patientenakten im Allgemeinen unter spezialisierten klinischen Basismodellen liegen, jedoch von großen Sprachmodellen generierte Einbettungen in Kombination mit leichten Klassifikatoren sowohl bei den AUROC- als auch bei den AUPRC-Metriken eine überlegene Leistung erzielen können.

Das Wesentliche

Stellen Sie sich vor, Sie versuchen vorherzusagen, wer in Zukunft krank werden könnte, indem Sie deren Krankengeschichte betrachten. Seit Jahren nutzen Ärzte und Datenwissenschaftler dafür spezialisierte „Experten". Betrachten Sie diese Experten als Clinical Foundation Models (CFMs). Sie sind wie Meisterköche, die ihr ganzes Leben lang ausschließlich mit strukturierten Zutaten (wie Laborcodes, Diagnosenummern und Medikamentenlisten) gekocht haben. Sie wissen genau, wie man diese spezifischen Zutaten mischt, um Ergebnisse wie Herzinsuffizienz oder Bauchspeicheldrüsenkrebs vorherzusagen.

Vor kurzem ist eine neue Art von KI auf den Plan getreten: Large Language Models (LLMs). Diese sind wie Allround-Genies. Sie haben fast alles im Internet gelesen – Bücher, Nachrichten, Code und Gespräche. Sie sind unglaublich klug im Verstehen von Sprache und Kontext, haben aber nicht ihr ganzes Leben damit verbracht, sich speziell mit medizinischen Karten zu befassen.

Die große Frage, die diese Arbeit stellt, lautet: Können diese Allround-Genies die spezialisierten Meisterköche bei der Vorhersage des Krankheitsrisikos unter Verwendung strukturierter medizinischer Daten schlagen?

Hier ist das, was die Forscher herausfanden, einfach aufgeschlüsselt:

1. Das „Fine-Tuning"-Rennen: Spezialisiert gegen Allrounder

Die Forscher nahmen beide Modelltypen und gaben ihnen eine spezifische Aufgabe: Herzinsuffizienz bei diabetischen Patienten und Bauchspeicheldrüsenkrebs bei anderen vorherzusagen. Sie „fine-tunten" sie, was bedeutet, dass sie den Modellen einen Crashkurs in den spezifischen Regeln des Spiels gaben.

• Das Ergebnis: Bei großen Datensätzen (Tausende von Patienten) gewannen die spezialisierten Köche (CFMs) immer noch, aber nur mit einem winzigen, fast unsichtbaren Vorsprung.
  • Analogie: Stellen Sie sich ein Rennen zwischen einem Formel-1-Auto (CFM) und einem sehr schnellen Sportwagen (LLM) vor. Das Formel-1-Auto kam als Erster ins Ziel, aber nur um einen Bruchteil einer Sekunde.
  • Der Haken: Das Formel-1-Auto (CFM) war viel günstiger und schneller zu trainieren. Der Sportwagen (LLM) benötigte viel mehr Treibstoff (Rechenleistung) und Zeit, um bereit zu sein, verlor aber dennoch nur knapp.

2. Der „Embedding"-Trick: Die beste Überraschung

Die Forscher probierten einen dritten Ansatz aus. Anstatt die LLMs die Regeln des Spiels lernen zu lassen (Fine-Tuning), baten sie die LLMs einfach, die Patientengeschichte zu lesen und eine Zusammenfassung zu schreiben (Erstellung eines „Embeddings"). Dann übergaben sie diese Zusammenfassung einem sehr einfachen, grundlegenden Rechner (einem „leichtgewichtigen Klassifikator"), um die endgültige Vorhersage zu treffen.

• Das Ergebnis: Diese Kombination gewann das Rennen mit großer Überlegenheit.
  • Analogie: Anstatt das Genie zum Arzt auszubilden, baten sie das Genie, eine perfekte, prägnante Biografie des Patienten zu schreiben. Dann gaben sie diese Biografie einem klugen Praktikanten mit einer einfachen Checkliste. Der Praktikant, ausgerüstet mit der perfekten Zusammenfassung des Genies, traf bessere Vorhersagen als die spezialisierten Köche oder die feinabgestimmten Genies.
  • Spezifika: Unter Verwendung eines Modells namens Qwen3 zum Schreiben der Zusammenfassung und eines einfachen Rechners zum Lesen davon erreichten sie die höchsten Genauigkeitswerte (in einigen Fällen über 90 %).

3. Der „kleine" Spezialist

Sie testeten auch einen „Clinical LLM" (Me-LLaMA), ein Allround-Genie, das einige medizinische Bücher gelesen hat.

• Das Ergebnis: Dieses Modell schnitt genauso gut ab wie die massiven Allround-Modelle, obwohl es viel kleiner war. Es bewies, dass man nicht immer das größte Gehirn braucht, um die Arbeit zu erledigen, wenn man die richtige medizinische Ausbildung hat.

4. Der Kompromiss

Die Arbeit hebt einen wichtigen Kompromiss hervor:

• Spezialisierte Modelle (CFMs): Schnell zu trainieren, günstig im Betrieb und sehr zuverlässig. Sie sind die „Arbeitspferde" der Klinik.
• Allround-Modelle (LLMs): Sie können die Spezialisten einholen oder sogar schlagen, aber sie sind teuer und langsam zu trainieren. Wenn man sie jedoch nur verwendet, um die Daten zu „zusammenfassen" (der Embedding-Trick) anstatt sie vollständig zu trainieren, werden sie unglaublich leistungsfähig und effizient.

Das Fazit

Die Arbeit kommt zu dem Schluss, dass Allround-KI-Modelle spezialisierte medizinische Modelle bei der Vorhersage des Krankheitsrisikos definitiv einholen können. Tatsächlich war die Verwendung eines Allround-Modells nur zur „Zusammenfassung" der Daten für einen einfachen Rechner die erfolgreichste Methode von allen.

Allerdings warnen die Autoren, dass, da Allround-Modelle so teuer zu trainieren sind und ihre Leistung etwas „wackelig" sein kann (manchmal großartig, manchmal nicht), wir die spezialisierten Modelle noch nicht einfach wegwerfen sollten. Die beste Zukunft könnte eine Teamarbeit sein: die Fähigkeit des Allrounders zum Verstehen und Zusammenfassen kombiniert mit der Effizienz des spezialisierten Modells.

Kurz gesagt: Der Allround-KI ist ein brillanter Schüler, der die medizinische Prüfung bestehen kann, aber der spezialisierte KI ist der erfahrene Arzt, der schneller und günstiger dorthin gelangt. Der klügste Zug? Lassen Sie den Schüler die Notizen schreiben und lassen Sie ein einfaches Werkzeug sie bewerten.

Technische Zusammenfassung

1. Problemstellung

Die Gesundheitsbranche stützt sich zunehmend auf prädiktive Modelle, die strukturierte Elektronische Gesundheitsakten (EHR) zur Unterstützung klinischer Entscheidungen nutzen. Zwei unterschiedliche Klassen von KI-Modellen haben sich entwickelt:

• Klinische Basismodelle (Clinical Foundation Models, CFMs): Spezialisierte Modelle (z. B. Med-BERT, CLMBR), die auf massiven, heterogenen strukturierten EHR-Datensätzen vortrainiert wurden. Sie sind für die Modellierung von Patiententrajektorien optimiert und haben eine überlegene Leistung bei der Krankheitsvorhersage gezeigt.
• Allgemeine Large Language Models (LLMs): Modelle (z. B. LLaMA, Mistral), die auf breiten, vielfältigen Textdaten vortrainiert wurden. Obwohl sie anpassungsfähig sind, bleibt unklar, ob sie bei der Anwendung auf strukturierte EHR-Daten zur Vorhersage des Krankheitsrisikos mit spezialisierten CFMs mithalten oder diese übertreffen können, insbesondere angesichts der Rechenkosten und der Herausforderungen bei der Datenrepräsentation.

Die Studie schließt die Lücke in direkten, head-to-head-Vergleichen zwischen diesen beiden Modellklassen auf realen, multi-sitigen EHR- und Abrechnungsdaten.

2. Methodik

Datensätze und Aufgaben

Die Studie bewertete die Leistung bei zwei binären Klassifikationsaufgaben:

1. Diabetische Herzinsuffizienz (DHF): Vorhersage des Risikos für Herzinsuffizienz bei diabetischen Patienten.
2. Pankreaskrebs (PaCa): Vorhersage der Pankreaskrebsdiagnose.

Vier Datensätze wurden verwendet, um Robustheit und Reproduzierbarkeit zu gewährleisten:

• DHF-EHR & PaCa-EHR: Multi-sitige strukturierte EHR-Daten aus US-Gesundheitssystemen.
• PaCa-Claims: Patientenebene Abrechnungsdaten.
• PaCa-EHRSHOT: Ein Open-Source-Datensatz als Benchmark einer einzelnen Institution (3.810 Patienten).

Die Daten wurden auf drei Granularitätsebenen verarbeitet:

• D: Nur Diagnosecodes.
• DMP: Diagnose-, Medikamenten- und Prozedurencodes.
• ALL: Alle verfügbaren strukturierten Daten (einschließlich Demografie, Vitalwerte, Laborwerte).

Bewertete Modelle

Die Studie verglich drei Kategorien von Modellen:

1. Klinische Basismodelle (CFMs):
   • Med-BERT (v2): Encoder-basiert, vortrainiert auf >50 Millionen Patiententrajektorien (Diagnosen, Medikamente, Prozeduren).
   • CLMBR: Decoder-Transformer-basiert, vortrainiert auf 2,57 Millionen Patienten.
2. Allgemeine und klinische LLMs (Fine-Tuned):
   • Allgemein: Mistral-7B, LLaMA-2-13B, LLaMA-3-8B, LLaMA-3.1-8B, LLaMA-3.1-70B.
   • Klinisches LLM: Me-LLaMA (feinabgestimmt auf klinische Texte).
   • Technik: Alle LLMs wurden mittels Parameter-Efficient Fine-Tuning (PEFT/LoRA) und Quantisierung feinabgestimmt.
3. LLM-Embedding-Ansatz (ohne Fine-Tuning):
   • Verwendung von LLMs (DeepSeek, Qwen3, GPT-OSS, MedGemma usw.) rein als Encoder zur Generierung von Patiententrajektorie-Embeddings, gefolgt von leichten Klassifikatoren (Logistische Regression, MLP).

Datenvorverarbeitung und Eingabe

• CFMs: Strukturierte Codes wurden gemäß ihren spezifischen Vortrainings-Pipelines neu formatiert.
• LLMs: Strukturierte EHR-Daten wurden in Text-Prompts serialisiert. Zwei Formate wurden getestet: CPLLM und LLaMA2-EHR. Letzteres (unter Einbeziehung von Ereignishäufigkeiten) lieferte bessere Ergebnisse.
• Embeddings: Für den Ansatz ohne Fine-Tuning wurden die ersten 4.096 Token der Patientenhistorie zur Generierung von Embeddings verwendet.

Bewertungsmetriken

• AUROC: Fläche unter der Receiver-Operating-Characteristic-Kurve (primäre Metrik).
• AUPRC: Fläche unter der Precision-Recall-Kurve (kritisch für unausgeglichene Datensätze).
• Effizienz: Fine-Tuning-Zeit und Rechenressourcen.

3. Hauptbeiträge

1. Erster groß angelegter Vergleich: Bereitstellung des ersten head-to-head-Benchmarks von Open-Weight-LLMs gegen CFMs, die in massivem Maßstab (zig Millionen Patienten) vortrainiert wurden, zur Vorhersage des Krankheitsrisikos.
2. Analyse der Serialisierungsstrategie: Bewertung des Einflusses der Umwandlung strukturierter EHR-Daten in Text; dabei stellte sich heraus, dass das Format LLaMA2-EHR (mit diagnostischer Häufigkeit) andere Formate übertraf.
3. Neues Embedding-Paradigma: Nachweis, dass die Verwendung von LLMs als eingefrorene Encoder zur Generierung von Patientenrepräsentationen, kombiniert mit einfachen Klassifikatoren, in spezifischen Szenarien sowohl feinabgestimmte LLMs als auch feinabgestimmte CFMs übertrifft.
4. Reproduzierbarkeitsrahmen: Veröffentlichung einer umfassenden Codebasis (LLM2Predict) und eines Bewertungsrahmens zur Unterstützung zukünftiger Benchmarks.

4. Hauptergebnisse

Fine-Tuning-Leistung (Große Kohorten >30.000 Patienten)

• CFMs vs. Fine-Tuned LLMs: Auf großen EHR- und Abrechnungskohorten übertrafen feinabgestimmte CFMs (Med-BERT) feinabgestimmte LLMs um weniger als 1 % in der AUROC, jedoch statistisch signifikant.
  • Beispiel (DHF-EHR): Med-BERT + Bi-GRU (85,39 %) vs. LLaMA-3.1-70B (84,73 %).
• Klinische LLMs: Me-LLaMA schnitt mit deutlich größeren allgemeinen LLMs (z. B. LLaMA-3.1-70B) vergleichbar ab, was darauf hindeutet, dass domänenspezifisches Vortraining auch mit geringeren Parameterzahlen effektiv ist.
• Effizienz: CFMs waren erheblich schneller zu feinabstimmen (<1 Stunde) im Vergleich zu LLMs (4 bis 190 Stunden, je nach Modellgröße).

Open-Source-Kohorte (PaCa-EHRSHOT)

• AUROC: Feinabgestimmte LLMs (LLaMA-3.1-70B) erzielten leicht höhere AUROCs als CFMs, der Unterschied war jedoch nicht statistisch signifikant (86,1 % vs. 85,3 %, p=0,27).
• AUPRC: CFMs übertrafen LLMs bei der AUPRC signifikant, was eine bessere Handhabung von Klassenungleichgewicht anzeigt.
  • Med-BERT v2: 55,9 % AUPRC.
  • LLaMA-3.1-70B: 41,1 % AUPRC.

Der Ansatz „Embedding + Klassifikator" (Beste Gesamtleistung)

• Überraschende Erkenntnis: Die beste Gesamtleistung wurde ohne Fine-Tuning der LLMs erzielt.
• Methode: Verwendung von LLMs (insbesondere Qwen3 und GPT-OSS) zur Generierung von Patiententrajektorie-Embeddings, gefolgt von einer einfachen Logistischen Regression oder einem MLP.
• Leistung:
  • AUROC: Überstieg 90 % (Qwen3 8B Embedding + Text: 90,8 %).
  • AUPRC: Erreichte 66 % (GPT-OSS 20B: 66,1 %).
• Dieser Ansatz übertraf sowohl feinabgestimmte CFMs als auch feinabgestimmte LLMs auf dem EHRSHOT-Datensatz.

5. Bedeutung und Fazit

• Allgemein vs. Spezialisiert: Während spezialisierte CFMs beim Fine-Tuning auf großen strukturierten Datensätzen nach wie vor hoch kompetitiv und effizient sind, haben allgemeine LLMs das Potenzial, sie zu erreichen oder zu übertreffen, insbesondere wenn sie als Feature-Extraktoren (Encoder) und nicht als generative Modelle verwendet werden.
• Rechenkompromiss: Das Fine-Tuning von LLMs ist rechenintensiv (40-mal länger als bei CFMs) und bringt marginale Gewinne bei der AUROC gegenüber CFMs, oft auf Kosten einer niedrigeren AUPRC.
• Optimale Strategie: Die Studie legt nahe, dass für die Vorhersage des Risikos bei strukturierten EHR-Daten die effektivste und effizienteste Strategie darin bestehen könnte, moderne LLMs zur Generierung hochwertiger Patienten-Embeddings zu verwenden, die dann in leichte Klassifikatoren eingespeist werden. Dies vermeidet die massiven Kosten des Fine-Tunings, nutzt gleichzeitig das vortrainierte Wissen des LLM.
• Zukünftige Richtungen: Die Autoren empfehlen, von LLMs generierte Embeddings in CFM-Trainingspipelines zu integrieren, um die Stärken beider Ansätze zu kombinieren. Sie betonen zudem die Notwendigkeit weiterer Forschung zu Mehrklassenaufgaben, unstrukturierten Daten (klinische Notizen) und hybriden Architekturen.

Einschränkungen: Die Studie konzentrierte sich auf die binäre Klassifikation; die Ergebnisse lassen sich möglicherweise nicht auf Regression oder Mehrklassenaufgaben verallgemeinern. Darüber hinaus beschränkte sich die Bewertung auf strukturierte Daten, sodass die Leistung bei unstrukturierten klinischen Notizen unerforscht bleibt.