Seeing Beyond the Image: ECG and Anatomical Knowledge-Guided Myocardial Scar Segmentation from Late Gadolinium-Enhanced Images

1. Het Probleem

De nauwkeurige segmentatie van myocardiale littekens (weefselnecrose) op Late Gadolinium Enhancement (LGE) Cardiac Magnetic Resonance (CMR) beelden is cruciaal voor het beoordelen van weefsellevensvatbaarheid en het bepalen van het risico op hartritmestoornissen. Echter, geautomatiseerde segmentatie blijft een grote uitdaging vanwege:

• Variabele contrasten: De intensiteit van littekenweefsel verschilt sterk tussen patiënten.
• Beeldartefacten: Ruis, bewegingsartefacten en variaties in scanners.
• Beperkingen van puur beeldgebaseerde modellen: Bestaande deep learning-modellen (zoals nnU-Net) worstelen vaak met deze variabiliteit en kunnen fysiologische context missen.

Daarnaast wordt de integratie van Electrocardiogram (ECG)-data met MRI-beelden bemoeilijkt door:

• Tijdsverschil: ECG's en MRI's worden in de kliniek vaak weken of maanden uit elkaar opgenomen (niet gelijktijdig).
• Modale heterogeniteit: Het samenvoegen van 1D-signaaldata (ECG) met 2D/3D-beelddata (MRI) is technisch complex.
• Gebrek aan ruimtelijke correlatie: Het is moeilijk om elektrische afwijkingen in het ECG direct te koppelen aan specifieke anatomische regio's in het hart zonder extra richtlijnen.

2. Methodologie

De auteurs stellen een nieuw multimodaal raamwerk voor dat ECG-gegevens en anatomische kennis combineert met LGE-MRI-beelden. Het systeem bestaat uit drie kerncomponenten:

A. Netwerkarchitectuur

Het model gebruikt een encoder-decoder structuur (gebaseerd op nnU-Net) met twee takken:

1. MRI-tak: Verwerkt 2D LGE-beelden en een anatomische prior kaart.
2. ECG-tak: Een auto-encoder die 12-afleidingen ECG-middengolven verwerkt om fysiologische kenmerken ($z_{ECG}$) te extraheren. Een decoder reconstrueert het ECG-signaal als regularisatie.

B. TAFF: Temporal Aware Feature Fusion

Dit is het centrale innovatieve onderdeel om de niet-gelijktijdige aard van de data te adresseren.

• Gating Mechanisme: Een MLP (Multi-Layer Perceptron) leert modale specifieke gewichten ($w_{MRI}$ en $w_{ECG}$) om de MRI-kenmerken en de geprojecteerde ECG-kenmerken te combineren.
• Temporele Conditionering: Een "Temporal FiLM" (Feature-wise Linear Modulation) laag gebruikt het tijdsverschil tussen de ECG- en MRI-opnames ($t_{interval} = |t_{MRI} - t_{ECG}|$) om de kenmerken dynamisch aan te passen.
  • Als de ECG-data verouderd is (groot tijdsverschil), wordt de invloed van de ECG-kenmerken automatisch verlaagd.
  • Dit zorgt voor een fysiologisch consistente fusie die rekening houdt met de betrouwbaarheid van de data op basis van de tijd.

C. Anatomische Prior (AHA-17 Model)

Om de ruimtelijke alignering te verbeteren, wordt het AHA-17-segmentmodel gebruikt als een anatomische prior.

• Een 17-kanaals binaire masker (één kanaal per myocardsegment) wordt gegenereerd op basis van de hartgeometrie.
• Dit masker wordt direct geconcateneerd met de MRI-beelden.
• Dit dwingt het model om binnen de anatomische grenzen van de hartwand te segmenteren en helpt bij het koppelen van ECG-afwijkingen aan specifieke myocardiale segmenten.

D. Verliesfunctie

Het totale verlies ($L_{total}$) is een combinatie van:

• Segmentatieverlies (Dice + Cross-Entropy).
• ECG-reconstructieverlies (MSE) om ervoor te zorgen dat de ECG-kenmerken zinvol blijven.
• Entropie-regularisatie op de gating-gewichten om te voorkomen dat het model te vroeg "instort" naar één modus tijdens het trainen.

3. Belangrijkste Bijdragen

1. TAFF-mechanisme: Een nieuwe methode om ECG- en MRI-kenmerken adaptief te fuseren op basis van het tijdsverschil tussen de opnames, wat een oplossing biedt voor het veelvoorkomende probleem van niet-gelijktijdige data in de kliniek.
2. Integratie van Anatomische Priors: Het gebruik van het AHA-17-model als ruimtelijke leidraad om de alignering tussen elektrische activiteit (ECG) en anatomische structuren (MRI) te verbeteren.
3. Pionierswerk: Een van de eerste studies die ECG-signalen effectief gebruikt om MRI-gebaseerde littekensegmentatie te sturen, waardoor de brug wordt geslagen tussen elektrofysiologie en structurele beeldvorming.

4. Resultaten

Het model werd getest op een klinische dataset van 103 patiënten (Nottingham University Hospitals) met gekoppelde LGE-MRI en ECG-data (opgenomen binnen 90 dagen).

• Prestatieverbetering: Het voorgestelde multimodale model behaalde een Dice-score van 0,8463, vergeleken met 0,6149 voor de puur beeldgebaseerde baseline (nnU-Net). Dit is een verbetering van meer dan 37%.
• Precisie en Sensitiviteit: Het model behaalde een hoge precisie (0,9115) en sensitiviteit (0,9043).
• Ablatiestudie:
  • Zonder tijdsconditionering en zonder anatomische prior daalde de prestatie zelfs onder de baseline (0,5916), wat aantoont dat directe fusie zonder richtlijnen schadelijk kan zijn.
  • Het toevoegen van de anatomische prior alleen verbeterde de score al naar 0,8234.
  • Het toevoegen van tijdsconditionering (TAFF) bracht de score verder naar 0,8463.
• Robuustheid: De tijdsconditionering bleek vooral waardevol bij grotere tijdsintervallen (bijv. 1 week tot 1 maand), waar het model beter presteerde dan modellen zonder deze conditionering.

5. Betekenis en Conclusie

Dit onderzoek toont aan dat het integreren van fysiologische informatie (ECG) en anatomische kennis (AHA-17) met beeldvorming de prestaties van AI-modellen voor hartsegmentatie aanzienlijk kan verbeteren.

• Klinische Impact: Het model kan "beyond the image" kijken, waardoor het littekens nauwkeuriger lokaliseert en de grenzen van het weefsel beter definieert, zelfs bij slechte beeldkwaliteit of variabele contrasten.
• Toekomstperspectief: Hoewel de resultaten veelbelovend zijn, wijzen de auteurs op de noodzaak van betere digitalisatie-algoritmen voor ECG's en grotere datasets om de robuustheid verder te vergroten. De methode opent een nieuwe richting voor fysiologisch onderbouwde beeldanalyse in de cardiologie.

Kortom, dit werk bewijst dat multimodale learning, wanneer correct ontworpen om tijdsverschillen en anatomische context te respecteren, een krachtige oplossing biedt voor complexe medische beeldproblemen.