Learning to Unify Deformable Shape and Texture Representations for Cardiac Video Classification

Technische Samenvatting: Leren om deformatieve vorm- en textuurrepresentaties te verenigen voor classificatie van hartvideo's

Probleemstelling
Automatische classificatie van Cardiale Magnetische Resonantie (CMR) video's blijft uitdagend vanwege de afhankelijkheid van recente deep learning-modellen van enkel ruwe beeldintensiteiten. Hoewel deze modellen temporele afhankelijkheden vastleggen, negeren ze vaak onderliggende myocardiale deformaties. Pathologische condities zoals cardiomyopathie en myocarditis manifesteren zich als regionale wandbewegingsafwijkingen en veranderde strain-patronen, die geometrisch zijn gecodeerd in deformatievelden. Hoewel deformatieve vormrepresentaties bewezen robuuste aanvullingen zijn op textuurkenmerken bij de classificatie van neurodegeneratieve ziekten, is het uitbreiden hiervan naar hartvideo-analyse niet triviaal. Bestaande methoden combineren vorm- en textuurkenmerken doorgaans via eenvoudige concatenatie of elementgewijze optelling. Deze benaderingen falen in het modelleren van cross-modale kenmerkafhankelijkheden, negeren de variërende diagnostische belangrijkheid van verschillende hartfasen en passen een uniforme weging toe over tijdstippen, waardoor de dynamische wisselwerking tussen myocardiale beweging en beeldintensiteit wordt gemist.

Methodologie: ShapeFuse
De auteurs stellen ShapeFuse voor, een framework dat deformatieve vorm- en beeldtextuurrepresentaties verenigt in een gedeelde latente ruimte. De architectuur bestaat uit drie primaire stadia:

1. Kenmerkextractie:

   • Vormrepresentatie: Een vorm-encoder-decoder netwerk ($\theta^E_S, \theta^D_S$) schat frame-gewijze snelheidsvelden ($v$) door een bronframe ($I_0$) uit te lijnen met doel-frames ($I_t$) met behulp van diffeomorfische registratieprincipes (Stationary Velocity Fields). Dit levert latente geometrische deformatiekenmerken ($z_{vt}$) op.
   • Textuurrepresentatie: Een beeld-encoder ($\theta^E_I$) extraheert latente textuurkenmerken ($z_{ft}$) uit de ruwe CMR-frames.

2. Latente Vormbewuste Kenmerksfusie:

   • Bidirectionele Cross-Modale Temporele Attentie (BCTA): In plaats van statische fusie gebruikt ShapeFuse een bidirectioneel attentiemechanisme in de latente ruimte. Elke modaliteit (vorm en textuur) leert zijn eigen query-, key- en value-projecties. Dit stelt de vormsequentie in staat om relevante textuurframes over de tijd heen te bezoeken en vice versa. Het mechanisme parametriseert expliciet cross-fase afhankelijkheden, waardoor elke modaliteit de andere adaptief kan wegen op basis van spatio-temporele correspondentie.
   • Adaptieve Gating: Een per-tijdstip adaptieve gate ($g_t$) regelt dynamisch de relatieve bijdrage van vorm- en textuurkenmerken. Deze gate, berekend via een sigmoidfunctie over geconcateneerde latente kenmerken, stelt het model in staat om te leren welke modaliteit op specifieke hartfasen informatiever is, in plaats van ze symmetrisch te behandelen.
   • Diagnostische Belangrijkheid Pooling: Na de gating-mechanisme aggregeert een geleerd temporeel pooling-strategie (gebaseerd op Bahdanau Attention) de gefuseerde sequentie. Dit wijst hogere gewichten toe aan diagnostisch cruciale tijdstippen (bijv. pieksystolische contractie) in plaats van een uniforme temporele pooling toe te passen.

3. Trainingsstrategie:

   • Het model wordt in twee stadia getraind. Eerst wordt het vormnetwerk geoptimaliseerd om een registratieverlies te minimaliseren (een combinatie van beeldongelijkheid en de gladheid van het snelheidsveld). Ten tweede, met de vorm-encoder bevroren, worden de beeld-encoder, de attentiemodules, het gating-mechanisme, de pooling-strategie en de classifier gezamenlijk geoptimaliseerd met behulp van een binary cross-entropy loss.

Belangrijkste Bijdragen
Het artikel claimt drie primaire bijdragen:

1. Bidirectionele Cross-Modale Temporele Attentie: Een mechanisme dat de wederzijdse afhankelijkheden tussen latente deformatieve vorm- en textuurrepresentaties over de hartcyclus leert, wat verder gaat dan eenvoudige concatenatie.
2. Adaptieve Fusie en Pooling: Een gating-strategie die de bijdragen van vorm en textuur per hartfase dynamisch weegt, gekoppeld aan een geleerde temporele pooling die diagnostisch relevante tijdstippen prioriteert.
3. State-of-the-Art Prestaties en Interpreteerbaarheid: Demonstratie van superieure classificatieprestaties op real-world cine CMR-video's, ondersteund door attention maps die diagnostisch cruciale fasen lokaliseren en de bijdragen van modaliteiten kwantificeren.

Experimentele Resultaten
Het framework werd geëvalueerd op een dataset van 510 cine CMR-videosequenties van 125 subjecten, met een klassenonbalans van myocardiale litteken-geïnduceerde wandbewegingsafwijkingen.

• Classificatieprestaties: ShapeFuse presteerde consistent beter dan concurrerende fusiestrategieën (inclusclusief optelling, concatenatie, gewogen, bilaterale en standaard attentiefusie) over meerdere beeld-encoder backbones (ResNet, EfficientNet, DenseNet, ViT) en registratienetwerken (VoxelMorph en TLRN). Bijvoorbeeld, met een ResNet-backbone en VoxelMorph-registratie behaalde ShapeFuse een nauwkeurigheid van 0,888 en een F1-score van 0,902, waarmee het de beste baseline (Weighted fusion) met een score van 0,832/0,857 overtrof.
• Interpreteerbaarheid: Grad-CAM visualisaties toonden aan dat ShapeFuse consequent de myocardiale regio over de tijdstippen heen accentueerde, terwijl baseline-methoden diffuse of inconsistente activaties produceerden.
• Attentie-analyse: De geleerde attention maps onthulden dat deformatiekenmerken consequent medie-systolische textuurframes bezocht, terwijl textuurrepresentaties op zoek gingen naar fase-gealigneerde geometrische context. De adaptieve gating-distributie gaf aan dat textuurrepresentaties aanzienlijk profiteren van geometrische gronding.

Betekenis
Het artikel stelt dat ShapeFuse het eerste framework vertegenwoordigt dat gezamenlijk de fusie van deformatieve vorm- en textuurrepresentaties in een gedeelde latente ruimte leert voor hartvideo-classificatie. Door naïeve fusie te vervangen door dynamische, cross-modale attentie en adaptieve gating, legt de methode complementaire fysiologische informatie vast die statische benaderingen missen. De auteurs claimen dat dit leidt tot state-of-the-art classificatieprestaties en verbeterde interpreteerbaarheid, aangezien de aandachtmechanismen de specifieke hartfasen en de bijdragen van de modaliteiten identificeren die het meest kritiek zijn voor de diagnose. Toekomstig werk wordt voorgesteld om dit uit te breiden naar multi-label pathologieclassificatie en om zelfgesuperviseerde pretraining te verkennen om de afhankelijkheid van gelabelde data te verminderen.