Opportunistic Cardiac Health Assessment: Estimating Phenotypes from Localizer MRI through Multi-Modal Representations

Probleemstelling

Cardiovasculaire ziekten (CVD) zijn wereldwijd de belangrijkste doodsoorzaak. De gouden standaard voor het beoordelen van hartgezondheid zijn cardiale fenotypes (CP's), zoals de ejectiefractie (LVEF, RVEF) en de massa van de linkerhartkamer (LVM). Deze worden doorgaans afgeleid uit cine-cardiale MRI (CMR). CMR is echter kostbaar, tijdrovend en vereist hoge ruimtelijke en temporele resolutie, vaak met ECG-gating.

In de klinische praktijk begint elke MRI-scan met snelle, grove "localizer"-scans voor het plannen van de verdere opnamen. Deze localizers worden normaal gesproken na het planningsproces weggegooid omdat ze niet-diagnostische kwaliteit hebben en geen temporele informatie bevatten. Ondertussen worden ECG's routinematig en goedkoop uitgevoerd, maar kunnen ze CP's niet direct kwantificeren. Ook patiëntspecifieke metadata (demografie, BMI, levensstijl) beïnvloeden de hartgezondheid, maar worden vaak niet optimaal geïntegreerd in beeldvormingsmodellen.

Er is een behoefte aan een efficiënte methode om CP's te schatten zonder de volledige CMR-protocol te hoeven doorlopen, met name voor opportunistische screening.

Methodologie: Het C-TRIP Framework

De auteurs introduceren C-TRIP (Cardiac Tri-modal Representations for Imaging Phenotypes), een multi-modale framework dat drie databronnen combineert:

1. Localizer MRI: Voor snelle, goedkope ruimtelijke informatie.
2. ECG-signalen: Voor functionele en temporele informatie.
3. Tabulaire metadata: Voor contextuele patiëntinformatie.

Het framework bestaat uit drie fasen:

Fase I: Single-modality Masked Data Modeling (Self-Supervised Pre-training)
Er worden drie aparte encoders getraind voor elke modality met behulp van Masked Autoencoders (MAE):

• Localizer: Een Vision Transformer (ViT) die 25% van de input zichtbaar houdt en 75% (random patches) reconstrueert.
• ECG: 1D-patches van het signaal worden gemaskeerd en gereconstrueerd om temporele dynamiek te leren.
• Tabulair: Numerieke en categorische features worden geprojecteerd in een uniforme embedding en gereconstrueerd.

Fase II: Multi-modal Contrastive Learning (Alignment)
De pre-getrainde encoders worden gefuseerd om een gezamenlijke latent space te creëren. Het doel is om de anatomische informatie van de localizer te verrijken met functionele (ECG) en contextuele (tabulaire) informatie.

• Localizer-centric Contrastive Loss: De auteurs gebruiken een InfoNCE-gebaseerde loss waarbij de localizer (L) als centrale modality fungeert. De loss aligneert L met ECG (E) en L met tabulaire data (T).
• Belangrijke ontwerpkeuze: Er wordt geen directe alignering gedaan tussen E en T. Dit voorkomt dat het model "shortcuts" leert (bijv. het associëren van ECG-rustigheden direct met leeftijd zonder beeldinformatie) en zorgt dat de localizer de basis blijft voor de voorspelling.

Fase III: Inference (Voorspelling)
Tijdens inferentie wordt er uitsluitend gebruikgemaakt van de localizer MRI. Een lichtgewicht MLP-regressiehoofd wordt aangesloten op de localizer-encoder om de 18 cardiale fenotypes te voorspellen. De ECG en tabulaire data worden tijdens de inferentie niet gebruikt, maar hebben wel geholpen bij het trainen van een robuuste representatie.

Belangrijkste Bijdragen

1. Localizer-centric Tri-modal Alignment: Het gebruik van routinematig verkregen localizers als centrale modality, gealigneerd met ECG en metadata, in plaats van de zware CMR als basis.
2. Multi-modale training, single-modale inferentie: Het model leert van alle drie de bronnen, maar maakt in de praktijk alleen gebruik van de goedkope localizer voor voorspellingen.
3. Robuustheid in data-schaarse regimes: Het framework presteert goed zelfs wanneer slechts een klein deel van de data (bijv. 1%) beschikbaar is voor fine-tuning.
4. Opportunistische screening: Het biedt een laagdrempelige, kosteneffectieve manier om hartgezondheid te screenen zonder extra scanprotocollen.

Resultaten

De prestaties zijn getest op het UK Biobank-dataset (N > 14.000 trainingssubjecten) en vergeleken met baselines (alleen CMR, alleen Localizer, alleen ECG, alleen tabulair).

• Structuur vs. Functie: Localizer-gebaseerde methoden presteren verrassend goed voor structurele fenotypes (zoals LVM en RVEDV), maar iets minder goed voor functionele fenotypes (zoals LVEF) vergeleken met de volledige CMR (wat logisch is gezien het ontbreken van temporele informatie in localizers).
• Vergelijking met Baselines:
  • CMRsup: Beste prestatie (verwacht).
  • Lsup (alleen localizer): Sterke prestatie, maar neigt naar "lekkage" van aandacht naar niet-hartstructuren (zoals longen).
  • ECGsup: Slechtste prestatie.
  • C-TRIP (L+E+T): Bereikt de kleinste gemiddelde afwijking (MD) en de tweede strakste limits of agreement (LoA) overall. Het model corrigeert de algemene schattingen van de tabulaire data met subject-specifieke informatie uit de ECG en ruimtelijke prior uit de localizer.
• Ablatie Studies: Het toevoegen van expliciete CP-labels in de tabulaire data (L+E+Tp) verbeterde de prestaties niet en leidde zelfs tot slechtere resultaten voor structurele CP's. Dit bevestigt dat het model generaliseert zonder "cheating" via de metadata.
• Data-efficiëntie: Zelfs bij slechts 1% van de fine-tuning data behaalde C-TRIP een Pearson R > 0,70 voor structurele CP's, terwijl single-modale baselines hier sterk in faalden.
• Visualisatie: Attention maps tonen aan dat C-TRIP zich focust op biologisch relevante hartstructuren (LV en RV), terwijl de baseline (Lsup) ook aandacht besteedt aan niet-cardiale structuren.

Betekenis en Conclusie

C-TRIP demonstreert dat het mogelijk is om betrouwbare schattingen van cardiale fenotypes te maken op basis van de goedkope, snelle localizer MRI die al bij elke scan aanwezig is. Door deze te verrijken met ECG en metadata tijdens het trainingsproces, ontstaat een model dat tijdens de inferentie geen extra kosten of tijd vereist.

Het systeem vervangt de CMR niet (vooral niet voor functionele analyse), maar fungeert als een krachtig opportunistisch screeningsinstrument. Het maakt hartgezondheidsschattingen toegankelijker en schaalbaarder, vooral in settings waar een volledige CMR niet haalbaar is. De studie benadrukt het potentieel van multi-modale contrastive learning om "verloren" data (localizers) waardevol te maken voor de klinische praktijk.