CARDIAC-FM: A Multimodal Foundation Model for Cardiovascular Risk Prediction Using ECG and Cardiac MRI

CARDIAC-FM is een multimodaal fundamenteel model dat door contrastief leren op gekoppelde ECG- en MRI-data van het UK Biobank is getraind en zich onderscheidt door superieure, generaliseerbare cardiovasculaire risicopreditie te bieden die, ondanks training met MRI, klinisch inzetbaar is met alleen ECG-data en bestaande risicoscores.

De kern

CARDIAC-FM: De "Super-Vertaler" voor je Hart

Stel je voor dat je hart een complexe machine is, zoals een dure auto. Om te weten of die auto snel kapot gaat, kijken artsen meestal naar twee dingen:

1. De geluiden van de motor (ECG): Een simpele test met plakkers op je borst die het ritme en de elektrische signalen meet. Dit is goedkoop en snel, maar het vertelt je niet alles over de interne staat van de motor.
2. Een ingewikkelde scan (MRI): Een dure, grote machine die een 3D-foto maakt van je hartspier. Dit geeft een perfect beeld, maar het is niet overal beschikbaar en kost veel tijd.

Het probleem: Bestaande modellen voor het voorspellen van hartproblemen (zoals hartritmestoornissen of hartfalen) zijn vaak niet goed genoeg. Ze kijken alleen naar de geluiden of ze zijn te specifiek voor één ziekte. Ze missen de "grote foto".

De oplossing: Een nieuw digitaal brein genaamd CARDIAC-FM.

Hoe werkt het? (De Creatieve Analogie)

Stel je CARDIAC-FM voor als een talenleraar die twee verschillende talen leert spreken:

• Taal A: De elektrische signalen van het hart (ECG).
• Taal B: De fysieke structuur van het hart (MRI).

Stap 1: De Grote Training (De "Taalles")
De onderzoekers gaven dit digitale brein 57.000 voorbeelden waarbij ze tegelijkertijd de ECG en de MRI van dezelfde persoon zagen.

• De analogie: Het is alsof je een student duizenden keren een foto van een auto (MRI) en het geluid van die auto (ECG) laat horen. De student leert snel: "Als ik dit specifieke piepende geluid hoor, betekent dat dat de zuignap in de motor (de hartspier) dunner wordt."
• Door deze twee talen met elkaar te koppelen, leert het model wat er echt gebeurt in het hart, zelfs als je alleen maar naar het geluid kijkt.

Stap 2: De Toepassing (De "Superkracht")
Nu het model alles heeft geleerd, kan het iets magisch doen: Het kan de MRI "vertalen" vanuit alleen de ECG.

• In de echte wereld hebben veel mensen geen MRI-scan (het is te duur of er is geen machine).
• Dankzij CARDIAC-FM kan een arts nu een simpele ECG-test doen, en het model zegt: "Op basis van dit geluid, en wat ik heb geleerd over de structuur, is de kans op hartfalen binnen 5 jaar X%."
• Het is alsof je een simpele luisteroefening doet, maar de computer geeft je een gedetailleerd 3D-rapport van de motor.

Wat hebben ze ontdekt?

1. Het werkt beter dan oude methoden: CARDIAC-FM is veel beter in het voorspellen van hartfalen en hartritmestoornissen dan de oude rekenformules die artsen nu gebruiken (die alleen kijken naar leeftijd, bloeddruk en cholesterol).
2. Het is slim genoeg om te "meedenken": Als je het model ook de standaard risicofactoren geeft (zoals "is de patiënt roker?"), wordt het nog nauwkeuriger. De ECG en de risicofactoren vullen elkaar aan, net als twee puzzelstukjes die samen een completer plaatje vormen.
3. Het werkt overal: Het team heeft het model getest op groepen mensen in de VS (die er anders uitzagen en leefden dan de Britse groep waar het mee getraind was). Het bleef goed werken. Dat betekent dat het model niet "vooroordeelt" en echt de ziekte herkent, niet alleen de statistieken van één specifieke groep.
4. Het is een "Alles-in-één" model: Vroeger moest je voor elke ziekte een nieuw computerprogramma bouwen. CARDIAC-FM is een "fundamenteel model". Je kunt het met weinig extra training gebruiken voor hartfalen, beroertes, of zelfs sterftecijfers. Het is als een smartphone: je installeert één apparaat en kunt er duizenden apps op draaien, in plaats van voor elke app een nieuwe telefoon te kopen.

Waarom is dit belangrijk voor jou?

• Toekomstige zorg: In de toekomst hoeft een arts misschien geen dure MRI te bestellen om te weten of je hart in gevaar is. Een simpele ECG-test (die je vaak al op je pols of op de post kunt krijgen) kan genoeg zijn.
• Vroegtijdige waarschuwing: Het model kan subtiele veranderingen zien die een menselijk oog of een oude computer niet ziet. Denk aan het horen van een lichte ruis in de motor voordat de auto echt stuk gaat.
• Bereikbaarheid: Omdat het model ook werkt zonder MRI, kunnen ziekenhuizen in arme gebieden of op het platteland dezelfde hoge kwaliteit diagnose stellen als grote stadsziekenhuizen.

Kort samengevat:
CARDIAC-FM is een slimme computer die heeft geleerd hoe het geluid van je hart (ECG) precies vertaalt naar de fysieke staat van je hart (MRI). Hierdoor kunnen artsen met een simpele, goedkope test veel nauwkeuriger voorspellen of iemand in de toekomst hartproblemen krijgt, zonder dat ze altijd een dure scan nodig hebben. Het is een grote stap naar een veiligere en eerlijkere gezondheidszorg voor iedereen.

Technische samenvatting

Probleemstelling

Huidige modellen voor het voorspellen van cardiovasculaire risico's (zoals atriumfibrillatie en hartfalen) hebben beperkingen die hun klinische toepasbaarheid belemmeren:

• Gebrek aan nauwkeurigheid en generaliseerbaarheid: Bestaande modellen, vaak gebaseerd op traditionele risicofactoren, presteren inconsistent over verschillende populaties.
• Eén-modale beperkingen: De meeste AI-modellen gebruiken slechts één data-type (bijv. alleen ECG of alleen MRI), terwijl deze bronnen complementaire informatie bevatten over de pathofysiologie van het hart.
• Taak-specifiek ontwerp: Modellen moeten vaak opnieuw worden getraind voor elke specifieke uitkomst, wat veel gelabelde data en rekenkracht vereist.
• Beperkte data beschikbaarheid: In de echte wereld ontbreekt vaak dure beeldvorming (zoals MRI), waardoor modellen die hierop afhankelijk zijn niet breed inzetbaar zijn.

Methodologie: CARDIAC-FM

De auteurs hebben CARDIAC-FM (Contrastive Alignment for Risk Detection In Cardiovascular Foundation Model) ontwikkeld, een multimodaal fundamenteel model dat 12-afleiding ECG-gegevens en Cardiac Magnetic Resonance Imaging (MRI) integreert.

1. Data en Voorverwerking:

• Trainingsdata: 57.609 gepaarde, hoogwaardige ECG- en MRI-monsters van de UK Biobank.
• Validatie: Externe validatie in twee onafhankelijke Amerikaanse cohorten: Cardiovascular Health Study (CHS) en Multi-Ethnic Study of Atherosclerosis (MESA).
• Preprocessing: ECG-signalen werden geschoond (basislijn-drift verwijderd). MRI-data bestond uit korte-as (SAX), 4-kamer en 2-kamer views, verwerkt tot 25 frames per slice.

2. Twee-staps Trainingsframework:

• Fase 1: Multimodale Pre-training (Zelftoezicht):
  • Het model gebruikt een symmetrische InfoNCE contrastieve loss om de representaties van de ECG-encoder en de MRI-encoder in een gedeelde latente ruimte af te stemmen.
  • Architectuur:
    • ECG-encoder: Gebaseerd op de bestaande ECG-Foundation Model (ECG-FM), een CNN-BERT architectuur.
    • MRI-encoder: Een CNN-LSTM architectuur (DenseNet-40-12 + LSTM) voor het verwerken van videoframes van het hart.
  • Doel: De ECG-encoder leert structurele en functionele informatie die normaal gesproken alleen via MRI zichtbaar is, door de correlatie met MRI-data te leren zonder dat MRI tijdens de inferentie nodig is.
• Fase 2: Supervised Fine-tuning:
  • Een lichte voorspellingslaag wordt toegevoegd aan de geleerde representaties.
  • Het model wordt fijn afgestemd voor specifieke uitkomsten (bijv. incidenteel atriumfibrillatie of hartfalen) met weinig gelabelde data.
  • Het model ondersteunt vier invoerconfiguraties: alleen ECG, ECG + MRI, ECG + Klinische Risicoscore, en ECG + MRI + Klinische Risicoscore.

3. Validatie-Strategie:

• Zero-shot: Toepassing van het model op externe cohorten zonder extra training.
• Few-shot: Fijnafstemming op slechts 20% van de data van het externe cohort om de aanpassingscapaciteit te testen.
• Vergelijking: Vergelijking met traditionele klinische scores (CHARGE-AF voor AF, PREVENT-HF voor HF) en een enkelvoudig ECG-model zonder multimodale pre-training.

Belangrijkste Bijdragen

1. Eerste Multimodale Foundation Model: CARDIAC-FM is het eerste model dat ECG en MRI combineert via contrastief leren voor prospectieve voorspelling van cardiovasculaire gebeurtenissen.
2. Cross-modale Transfer: Het model demonstreert dat pre-training met MRI de ECG-encoder verrijkt. Zelfs bij inferentie met alleen ECG presteert het model beter dan modellen die alleen op ECG zijn getraind, omdat het "leert" om structurele hartinformatie uit de elektrische signalen te extraheren.
3. Flexibiliteit en Generalisatie: Het model werkt effectief in scenario's met beperkte data (few-shot learning) en generaliseert goed over diverse demografische groepen (leeftijd, geslacht, etniciteit) in onafhankelijke cohorten.
4. Klinische Toepasbaarheid: Het biedt een schaalbaar kader dat kan werken zonder dure MRI-scans, maar wel profiteert van de kennis die uit MRI is verkregen.

Resultaten

• Prestatie in UK Biobank: CARDIAC-FM overtrof consistent unimodale modellen en traditionele scores.
  • Voor Hartfalen: CARDIAC-FM (ECG + Risicoscore) bereikte een AUROC van 0,81, vergeleken met 0,76 voor het ECG-only model zonder pre-training.
  • Voor Atriumfibrillatie: De combinatie met klinische scores leverde de beste prestatie op (AUROC 0,82).
• Externe Validatie (CHS & MESA):
  • In zero-shot setting (geen extra training) presteerde CARDIAC-FM (ECG + Risicoscore) significant beter dan traditionele scores alleen (bijv. +3 punten AUROC voor AF in CHS).
  • Met few-shot fine-tuning (20% data) verbeterde de prestatie verder, met AUROC-waarden tot 0,82 voor hartfalen in CHS.
• Breedte van Toepassing: Het model presteerde ook superieur bij voorspelling van andere uitkomsten zoals myocardinfarct, ischemische beroerte en sterfte, wat aantoont dat de geleerde representaties een breed beeld van hartgezondheid vastleggen.
• Structuur-Functie Relatie: Het model kon MRI-parameters (zoals linkerventrikel massa en ejectiefractie) nauwkeurig voorspellen op basis van alleen ECG (correlatie r = 0,51–0,79). Deze voorspelde parameters bleven significant geassocieerd met klinische uitkomsten, zelfs in cohorten zonder MRI-data.

Betekenis en Impact

CARDIAC-FM markeert een doorbraak in cardiovasculaire AI door:

• De "Data-Arm" Realiteit aan te pakken: Het lost het probleem op van schaarse gelabelde data voor zeldzame ziekten door gebruik te maken van fundamentele pre-training.
• Kosteneffectiviteit: Het maakt het mogelijk om de rijke informatie van MRI te benutten voor risicovoorzegging in populaties waar MRI niet beschikbaar is, simpelweg door het gebruik van routinematige ECG's.
• Complementaire Informatie: Het bevestigt dat ECG-signalen en traditionele risicofactoren complementaire dimensies van cardiovasculair risico vastleggen. Vooral bij hartfalen (waar structurele veranderingen cruciaal zijn) levert de multimodale training een duidelijk voordeel op.
• Klinische Implementatie: Door open source code en vooraf getrainde gewichten beschikbaar te stellen, faciliteert dit werk de reproduceerbaarheid en versnelt de vertaling van multimodale AI naar de klinische praktijk.

Samenvattend biedt CARDIAC-FM een robuust, schaalbaar en generaliseerbaar raamwerk voor risicovoorzegging dat de kloof overbrugt tussen geavanceerde beeldvorming en routine klinische metingen.