Learning to Unify Deformable Shape and Texture Representations for Cardiac Video Classification

Sintesi Tecnica: Apprendere a Unificare le Rappresentazioni di Forma Deformabile e Tessitura per la Classificazione di Video Cardiaci

Definizione del Problema
La classificazione automatizzata di video di Risonanza Magnetica Cardiaca (CMR) rimane una sfida poiché i recenti modelli di deep learning si affidano esclusivamente alle intensità delle immagini grezze. Sebbene questi modelli catturino le dipendenze temporali, spesso trascurano le deformazioni miocardiche sottostanti. Le condizioni patologiche, come la cardiomiopatia e la miocardite, si manifestano come anomalie del movimento della parete e alterazioni dei pattern di strain, che sono codificate geometricamente nei campi di deformazione. Sebbene le rappresentazioni della forma deformabile abbiano dimostrato di essere complementi robusti alle caratteristiche di tessitura nella classificazione delle malattie neurodegenerative, estendere questo approccio all'analisi dei video cardiaci non è banale. I metodi esistenti tipicamente combinano le caratteristiche di forma e tessitura tramite semplice concatenazione o addizione elemento per elemento. Questi approcci non riescono a modellare le dipendenze cross-modali tra le caratteristiche, ignorano l'importanza diagnostica variabile dei diversi cicli cardiaci e applicano una ponderazione uniforme tra i punti temporali, mancando così l'interazione dinamica tra il movimento miocardico e l'intensità dell'immagine.

Metodologia: ShapeFuse
Gli autori propongono ShapeFuse, un framework che unifica le rappresentazioni della forma deformabile e della tessitura dell'immagine in uno spazio latente condiviso. L'architettura è composta da tre fasi principali:

1. Estrazione delle Caratteristiche:

   • Rappresentazione della Forma: Una rete encoder-decoder di forma ($\theta^E_S, \theta^D_S$) stima i campi di velocità per frame ($v$) allineando un frame sorgente ($I_0$) ai frame target ($I_t$) utilizzando principi di registrazione diffeomorfica (Stationary Velocity Fields). Ciò produce caratteristiche di deformazione geometrica latente ($z_{vt}$).
   • Rappresentazione della Tessitura: Un encoder d'immagine ($\theta^E_I$) estrae caratteristiche di tessitura latente ($z_{ft}$) dai frame CMR grezzi.

2. Fusione delle Caratteristiche Latenti Sensibile alla Forma (Shape-Aware):

   • Attenzione Temporale Cross-Modale Bidirezionale (BCTA): Invece di una fusione statica, ShapeFuse impiega un meccanismo di attenzione bidirezionale nello spazio latente. Ogni modalità (forma e tessitura) apprende le proprie proiezioni query, key e value. Ciò consente alla sequenza di forma di prestare attenzione ai frame di tessitura rilevanti attraverso il tempo e viceversa. Il meccanismo parametrizza esplicitamente le dipendenze cross-fase, consentendo a ogni modalità di ponderare adattivamente l'altra in base alla corrispondenza spazio-temporale.
   • Gating Adattivo: Un gate adattivo per punto temporale ($g_t$) controlla dinamicamente il contributo relativo delle caratteristiche di forma e tessitura. Questo gate, calcolato tramite una funzione sigmoide sulle caratteristiche latenti concatenate, permette al modello di apprendere quale modalità sia più informativa in specifiche fasi cardiache, piuttosto che trattarle in modo simmetrico.
   • Pooling della Importanza Diagnostica: Seguendo il meccanismo di gating, una strategia di pooling temporale appresa (basata su Bahdanau Attention) aggrega la sequenza fusa. Questa assegna pesi maggiori ai punti temporali diagnosticamente critici (ad esempio, la contrazione sistolica di picco) invece di applicare un pooling temporale uniforme.

3. Strategia di Addestramento:

   • Il modello viene addestrato in due fasi. In primo luogo, la rete di forma viene ottimizzata per minimizzare una perdita di registrazione (combinando la dissimilarità dell'immagine e la regolarità del campo di velocità). In secondo luogo, con l'encoder di forma congelato, l'encoder d'immagine, i moduli di attenzione, il meccanismo di gating, la strategia di pooling e il classificatore vengono ottimizzati congiuntamente utilizzando una perdita di cross-entropy binaria.

Contributi Chiave
L'articolo rivendica tre contributi primari:

1. Attenzione Temporale Cross-Modale Bidirezionale: Un meccanismo che apprende le dipendenze reciproche tra le rappresentazioni latenti della forma deformabile e della tessitura durante il ciclo cardiaco, andando oltre la semplice concatenazione.
2. Fusione e Pooling Adattivi: Una strategia di gating che pondera dinamicamente i contributi di forma e tessitura ad ogni fase cardiaca, accoppiata a un pooling temporale appreso che dà priorità ai punti temporali diagnosticamente rilevanti.
3. Prestazioni allo Stato dell'Arte e Interpretabilità: Dimostrazione di prestazioni di classificazione superiori su video CMR cine reali, supportata da mappe di attenzione che localizzano le fasi diagnosticamente critiche e quantificano i contributi delle modalità.

Risultati Sperimentali
Il framework è stato valutato su un dataset di 510 sequenze video cine CMR da 125 soggetti, caratterizzato da uno sbilanciamento di classe relativo alle anomalie del movimento della parete indotte da cicatrici miocardiche.

• Prestazioni di Classificazione: ShapeFuse ha costantemente superato le strategie di fusione concorrenti (inclusi addizione, concatenazione, pesata, bilineare e fusione standard con attenzione) su molteplici backbone di encoder d'immagine (ResNet, EfficientNet, DenseNet, ViT) e reti di registrazione (VoxelMorph e TLRN). Ad esempio, con un backbone ResNet e registrazione VoxelMorph, ShapeFuse ha raggiunto un'accuratezza di 0,888 e un F1-score di 0,902, superando il miglior baseline (fusione pesata) che ha ottenuto 0,832/0,857.
• Interpretabilità: Le visualizzazioni Grad-CAM hanno mostrato che ShapeFuse evidenziava costantemente la regione miocardica attraverso i punti temporali, mentre i metodi baseline producevano attivazioni diffuse o inconsistenti.
• Analisi dell'Attenzione: Le mappe di attenzione apprese hanno rivelato che le caratteristiche di deformazione prestavano costantemente attenzione ai frame di tessitura della sistole media, mentre le rappresentazioni di tessitura cercavano un contesto geometrico allineato alla fase. La distribuzione del gating adattivo ha indicato che le rappresentazioni di tessitura beneficiano significativamente del radicamento geometrico.

Significatività
L'articolo afferma che ShapeFuse rappresenta il primo framework capace di apprendere congiuntamente la fusione delle rappresentazioni della forma deformabile e della tessitura in uno spazio latente condiviso per la classificazione di video cardiaci. Sostituendo la fusione ingenua con l'attenzione cross-modale dinamica e il gating adattivo, il metodo cattura informazioni fisiologiche complementari che gli approcci statici perdono. Gli autori sostengono che ciò porti a prestazioni di classificazione allo stato dell'arte e a una migliore interpretabilità, poiché i meccanismi di attenzione identificano con successo le fasi cardiache specifiche e i contributi delle modalità che sono più critici per la diagnosi. Il lavoro futuro è proposto per estendere questo approccio alla classificazione di patologie multi-label ed esplorare il pre-addestramento auto-supervisionato per ridurre la dipendenza dai dati etichettati.