CARDIAC-FM: A Multimodal Foundation Model for Cardiovascular Risk Prediction Using ECG and Cardiac MRI

Das Paper stellt CARDIAC-FM vor, ein multimodales Basis-Modell, das durch kontrastives Lernen von gepaarten EKG- und MRT-Daten eine generalisierbare Vorhersage kardiovaskulärer Risiken ermöglicht und dabei auch ohne MRT-Daten, allein mittels EKG und klinischer Risikoscores, hohe Genauigkeit erreicht.

Das Wesentliche

Stellen Sie sich vor, Ihr Herz ist wie ein hochkomplexes Orchester. Um zu verstehen, ob dieses Orchester bald aus dem Takt gerät (Herzkrankheiten), schauen Ärzte normalerweise auf zwei Dinge:

1. Das Notenblatt (EKG): Das ist ein einfaches, schnelles Diagramm, das die elektrischen Signale zeigt. Es ist überall verfügbar, billig und schnell zu machen. Aber es sagt uns nur, wie die Musik gespielt wird, nicht unbedingt, wie die Instrumente selbst aussehen.
2. Die Baupläne des Saals (MRT): Das ist ein detailliertes 3D-Bild des Herzens. Man sieht genau, ob die Wände dick sind, ob die Kammern groß sind oder ob das Gewebe Narben hat. Das ist extrem genau, aber teuer, langsam und nicht in jeder Arztpraxis verfügbar.

Das Problem bisher war: Die besten Vorhersagemodelle für Herzkrankheiten brauchten entweder nur das Notenblatt (und verpassten Details) oder nur die Baupläne (und waren zu teuer für die breite Masse).

Hier kommt CARDIAC-FM ins Spiel. Man kann es sich wie einen genialen Musiklehrer vorstellen, der beides gelernt hat.

Was CARDIAC-FM tut: Der "Zweisprachige" Lehrer

Die Forscher haben einen künstlichen Intelligenz-Modell namens CARDIAC-FM entwickelt. Stellen Sie sich diesen KI-Lehrer so vor:

• Der Lernprozess (Das Training): Der Lehrer hat 57.000 Patienten untersucht, bei denen er gleichzeitig das EKG (Notenblatt) und das MRT (Bauplan) gesehen hat. Er hat gelernt, dass bestimmte Muster im EKG immer mit bestimmten Veränderungen im MRT einhergehen.
  • Die Analogie: Er lernt, dass wenn im EKG ein bestimmtes "Zittern" zu hören ist, das im MRT oft eine verdickte Herzwand bedeutet. Er verknüpft das einfache Signal mit der komplexen Struktur.
• Das Ergebnis: Nach diesem Training kann der Lehrer das EKG "lesen" und im Kopf sofort das MRT-Bild rekonstruieren. Er versteht die Struktur des Herzens, nur basierend auf dem elektrischen Signal.

Warum ist das so revolutionär?

Stellen Sie sich vor, Sie wollen wissen, ob Ihr Haus einsturzgefährdet ist.

• Der alte Weg: Sie müssen einen teuren Statiker holen, der das Haus durchmisst (MRT). Das können sich nicht alle leisten.
• Der neue Weg (CARDIAC-FM): Sie klopfen einfach an die Wand (EKG). Dank des Trainings mit dem Statiker weiß Ihr KI-Lehrer sofort: "Aha, dieses Klopfgeräusch bedeutet, dass die Fundamente im Keller Risse haben!"

Die drei großen Vorteile:

1. Der "Zaubertrick" (Vorhersage ohne MRT): Auch wenn ein Patient kein MRT hat, kann die KI trotzdem sehr genau vorhersagen, ob er in den nächsten 5 Jahren eine Herzschwäche oder Vorhofflimmern entwickelt. Sie nutzt das EKG so, als hätte sie das MRT gesehen.
2. Der "Allrounder" (Ein Modell für alles): Früher musste man für jede Krankheit (Herzinfarkt, Schlaganfall, Herzschwäche) ein neues, separates Modell bauen. CARDIAC-FM ist wie ein Schweizer Taschenmesser. Es wurde auf einer riesigen Datenmenge trainiert und kann dann mit minimalem Nachtraining fast jede Herzkrankheit vorhersagen. Es versteht das "Gesamtbild" der Herzgesundheit.
3. Die "Super-Kombi" (EKG + Risikofaktoren): Wenn man das EKG-Ergebnis noch mit den klassischen Risikofaktoren (Alter, Blutdruck, Rauchen) kombiniert, wird die Vorhersage noch genauer. Es ist, als würde man das Klopfen an der Wand mit dem Alter des Hauses vergleichen – zusammen ergibt das ein fast perfektes Bild.

Was bedeutet das für uns?

Bisher waren die besten Herz-Checks oft teuer oder nur in großen Kliniken möglich. CARDIAC-FM zeigt uns einen Weg, wie wir in Zukunft mit einem ganz normalen EKG (das man in jeder Apotheke oder Praxis machen kann) eine Diagnose erhalten, die früher nur mit teuren MRT-Geräten möglich war.

Es ist, als hätte man einem einfachen Taschenmesser die Fähigkeit gegeben, die Schärfe eines Chirurgenmessers zu simulieren, indem man es vorher mit den besten Chirurgen trainiert hat. Das macht die Vorbeugung von Herzkrankheiten fairer, schneller und für jeden zugänglich.

Technische Zusammenfassung

1. Problemstellung

Herzinsuffizienz und Vorhofflimmern stellen weltweit eine erhebliche Gesundheitsbelastung dar. Bestehende Vorhersagemodelle basieren oft auf traditionellen Risikofaktoren oder einzelnen Datenmodalitäten (z. B. nur EKG oder nur MRT) und weisen folgende Limitationen auf:

• Mangelnde Generalisierbarkeit: Modelle funktionieren oft nicht gut über verschiedene Bevölkerungsgruppen hinweg.
• Eingeschränkte Genauigkeit: Sie erfassen nicht alle pathophysiologischen Aspekte der Herzerkrankung.
• Ressourcenintensivität: Für jede neue klinische Endpunktvorhersage muss oft ein separates, von Grund auf trainiertes Modell entwickelt werden, was große Mengen an gelabelten Daten erfordert.
• Datenverfügbarkeit: In der klinischen Praxis sind Bilddaten (MRT) oft nicht verfügbar, während EKGs routinemäßig erhoben werden.

2. Methodik: CARDIAC-FM

Die Autoren stellen CARDIAC-FM (Contrastive Alignment for Risk Detection In Cardiovascular Foundation Model) vor, ein multimodales Foundation-Modell, das 12-Kanal-EKGs und kardiale MRT-Daten integriert.

Datenbasis:

• Training: Das Modell wurde auf 57.609 gepaarten EKG-MRT-Proben aus der UK Biobank trainiert.
• Validierung: Externe Validierung erfolgte in zwei unabhängigen US-Kohorten: der Cardiovascular Health Study (CHS) und der Multi-Ethnic Study of Atherosclerosis (MESA).

Architektur und Trainingsprozess (Zwei-Stufen-Framework):

1. Multimodales Pre-Training (Selbstüberwachtes Lernen):
   • Encoder: Ein spezialisierter Encoder verarbeitet EKG-Daten (basierend auf dem ECG-FM, einem Transformer-Modell), ein anderer verarbeitet MRT-Daten (CNN-LSTM-Architektur für Short-Axis, 4-Kammer- und 2-Kammer-Ansichten).
   • Alignment: Die Encoders werden durch symmetrischen InfoNCE-Kontrastverlust (Contrastive Learning) in einem gemeinsamen latenten Raum ausgerichtet. Dies zwingt das EKG-Modell, strukturelle und funktionelle Informationen zu lernen, die normalerweise nur durch MRT sichtbar sind, indem es die Repräsentationen gepaarter Proben desselben Patienten annähert und die anderer Patienten trennt.
2. Downstream Fine-Tuning (Überwachtes Lernen):
   • Ein leichter Vorhersagekopf (Prediction Head) wird hinzugefügt.
   • Das Modell wird für spezifische klinische Endpunkte (z. B. Vorhofflimmern, Herzinsuffizienz) mit wenig gelabelten Daten feinabgestimmt.
   • Flexibilität: Das finale Modell unterstützt vier Eingabekonfigurationen: Nur EKG, EKG + MRT, EKG + klinische Risikoscores, oder EKG + MRT + Risikoscores.

Besonderheit: Das Modell kann während der Inferenz (Vorhersage) auch ohne MRT-Daten arbeiten, da die im Pre-Training gelernten Repräsentationen strukturelle Informationen im EKG-Encoder kodieren.

3. Wichtige Beiträge

• Erstes multimodales Foundation-Modell: CARDIAC-FM ist das erste Modell, das EKG und MRT mittels Kontrastiv-Lernen kombiniert, um zukünftige kardiovaskuläre Ereignisse vorherzusagen.
• Cross-Modal Transfer: Das Modell demonstriert, dass durch multimodales Pre-Training gewonnene EKG-Repräsentationen MRT-ähnliche Informationen (z. B. linksventrikuläre Masse, Ejektionsfraktion) extrahieren können, selbst wenn im Inferenzschritt kein MRT vorliegt.
• Few-Shot Learning: Das Modell zeigt starke Leistung bei der Vorhersage seltener Endpunkte mit minimalem Fine-Tuning (nur 20% der externen Daten), was die Anwendbarkeit in Szenarien mit wenigen gelabelten Fällen unterstreicht.
• Öffentliche Verfügbarkeit: Der Code und die vortrainierten Gewichte werden öffentlich freigegeben, um die Reproduzierbarkeit zu fördern.

4. Ergebnisse

Vorhersageleistung (UK Biobank):

• CARDIAC-FM (Nur EKG) übertraf unimodale Modelle (ECG-FM ohne Multimodal-Pretraining) und traditionelle Risikoscores (CHARGE-AF, PREVENT-HF).
• Für Vorhofflimmern erzielte CARDIAC-FM (EKG + Risikoscore) eine AUROC von 0,82.
• Für Herzinsuffizienz erzielte CARDIAC-FM (EKG + Risikoscore) eine AUROC von 0,81.
• Die Hinzunahme von MRT-Daten verbesserte die Vorhersage für Herzinsuffizienz signifikant, hatte aber nur minimale Auswirkungen auf Vorhofflimmern (da dies primär eine elektrische Störung ist).

Externe Validierung (CHS und MESA):

• Das Modell zeigte eine robuste Generalisierbarkeit auf diverse Bevölkerungsgruppen (unterschiedliche Altersgruppen, ethnische Zusammensetzung).
• Im Zero-Shot-Setting (ohne Fine-Tuning auf den externen Daten) übertraf CARDIAC-FM (EKG + Risikoscore) die reinen klinischen Scores signifikant.
• Durch Few-Shot Fine-Tuning (20% der Daten) verbesserte sich die Leistung weiter und erreichte Werte, die mit denen im UK Biobank-Testset vergleichbar waren.
• Die Risikostratifizierung (Hazard Ratios) war für Hochrisikogruppen deutlich stärker als bei traditionellen Scores.

Erweiterte Endpunkte:

• Das Modell wurde erfolgreich auf weitere Endpunkte angewendet (Myokardinfarkt, ischämischer Schlaganfall, kardiovaskulärer Tod, Gesamtsterblichkeit) und zeigte konsistent bessere Ergebnisse als unimodale Modelle.

Korrelation mit MRT-Parametern:

• Die aus EKG allein vorhergesagten MRT-Parameter (z. B. linksventrikuläres Volumen, Masse) korrelierten stark mit den tatsächlichen MRT-Messwerten (Pearson r = 0,51–0,79), was die Fähigkeit des Modells unterstreicht, strukturelle Herzerkrankungen aus dem EKG abzuleiten.

5. Bedeutung und Implikationen

CARDIAC-FM stellt einen Paradigmenwechsel in der kardiovaskulären Risikovorhersage dar:

• Klinische Anwendbarkeit: Da das Modell auch ohne teure MRT-Scans funktioniert, kann es in breiten klinischen Settings und in Bevölkerungsgruppen ohne Zugang zu Bildgebung eingesetzt werden.
• Effizienz: Es eliminiert die Notwendigkeit, für jede neue Krankheit ein separates Modell von Grund auf zu trainieren. Ein einziges vortrainiertes Modell kann an verschiedene Endpunkte angepasst werden.
• Präventivmedizin: Durch die Kombination von EKG (allgegenwärtig) und den daraus extrahierten strukturellen Informationen ermöglicht es eine frühere und genauere Identifizierung von Hochrisikopatienten für Herzinsuffizienz und Vorhofflimmern.
• Forschung: Es erlaubt die Untersuchung von Struktur-Krankheits-Beziehungen in großen epidemiologischen Kohorten, die keine MRT-Daten haben, indem die MRT-Parameter aus dem EKG „imputiert" werden.

Zusammenfassend beweist CARDIAC-FM, dass multimodales Pre-Training die Generalisierbarkeit und Genauigkeit von KI-Modellen in der Kardiologie erheblich steigern kann und einen skalierbaren Weg für die Integration heterogener klinischer Daten bietet.