Learning to Unify Deformable Shape and Texture Representations for Cardiac Video Classification

Resumo Técnico: Aprendendo a Unificar Representações de Forma Deformável e Textura para Classificação de Vídeos Cardíacos

Definição do Problema
A classificação automatizada de vídeos de Ressonância Magnética Cardíaca (RMC) permanece desafiadora devido à dependência dos modelos recentes de aprendizagem profunda exclusivamente em intensidades de imagem brutas. Embora esses modelos capturem dependências temporais, eles frequentemente negligenciam deformações miocárdicas subjacentes. Condições patológicas, como cardiomiopatia e miocardite, manifestam-se como anormalidades de movimento da parede regional e padrões de deformação alterados, que são geometricamente codificados em campos de deformação. Representações de forma deformável provaram ser complementos robustos às características de textura na classificação de doenças neurodegenerativas, mas estender isso para a análise de vídeo cardíaco não é trivial. Os métodos existentes tipicamente combinam características de forma e textura via concatenação simples ou adição elemento a elemento. Essas abordagens falham em modelar dependências de características cross-modais, ignoram a importância diagnóstica variável de diferentes fases cardíacas e aplicam uma ponderação uniforme entre os pontos temporais, perdendo assim a interação dinâmica entre o movimento miocárdico e a intensidade da imagem.

Metodologia: ShapeFuse
Os autores propõem o ShapeFuse, um framework que unifica representações de forma deformável e textura de imagem em um espaço latente compartilhado. A arquitetura consiste em três estágios primários:

1. Extração de Características:

   • Representação de Forma: Uma rede codificador-decodificador de forma ($\theta^E_S, \theta^D_S$) estima campos de velocidade por quadro ($v$) alinhando um quadro de origem ($I_0$) aos quadros de destino ($I_t$) usando princípios de registro difórmico (Campos de Velocidade Estacionária). Isso gera características geométricas latentes de deformação ($z_{vt}$).
   • Representação de Textura: Um codificador de imagem ($\theta^E_I$) extrai características latentes de textura ($z_{ft}$) dos quadros de RMC brutos.

2. Fusão de Características Sensível à Forma no Espaço Latente:

   • Atenção Temporal Cross-Modal Bidirecional (BCTA): Em vez de fusão estática, o ShapeFuse emprega um mecanismo de atenção bidirecional no espaço latente. Cada modalidade (forma e textura) aprende suas próprias projeções de query, key e value. Isso permite que a sequência de forma atenda a quadros de textura relevantes ao longo do tempo e vice-versa. O mecanismo parametriza explicitamente as dependências de fase cruzada, permitindo que cada modalidade se adapte à outra com base na correspondência espaço-temporal.
   • Gating Adaptativo: Um portão (gate) adaptativo por ponto temporal ($g_t$) controla dinamicamente a contribuição relativa das características de forma e textura. Este gate, computado via uma função sigmoide sobre as características latentes concatenadas, permite que o modelo aprenda qual modalidade é mais informativa em fases cardíacas específicas, em vez de tratá-las simetricamente.
   • Agrupamento de Importância Diagnóstica (Pooling): Seguindo o mecanismo de gating, uma estratégia de agrupamento temporal aprendida (baseada em Atenção de Bahdanau) agrega a sequência fundida. Isso atribui pesos maiores a pontos temporais diagnosticamente críticos (ex: contração sistólica de pico) em vez de aplicar um agrupamento temporal uniforme.

3. Estratégia de Treinamento:

   • O modelo é treinado em dois estágios. Primeiro, a rede de forma é otimizada para minimizar uma perda de registro (combinando dissimilaridade de imagem e suavidade do campo de velocidade). Segundo, com o codificador de forma congelado, o codificador de imagem, os módulos de atenção, o mecanismo de gating, a estratégia de pooling e o classificador são otimizados conjuntamente usando perda de entropia cruzada binária.

Principais Contribuições
O artigo reivindica três contribuições primárias:

1. Atenção Temporal Cross-Modal Bidirecional: Um mecanismo que aprende dependências mútuas entre representações latentes de forma deformável e textura ao longo do ciclo cardíaco, indo além da simples concatenação.
2. Fusão e Agrupamento Adaptativos: Uma estratégia de gating que pondera dinamicamente as contribuições de forma e textura em cada fase cardíaca, juntamente com um agrupamento temporal aprendido que prioriza pontos temporais diagnosticamente relevantes.
3. Desempenho de Estado da Arte e Interpretabilidade: Demonstração de desempenho de classificação superior em vídeos de cine RMC do mundo real, apoiada por mapas de atenção que localizam fases criticamente diagnósticas e quantificam contribuições de modalidades.

Resultos Experimentais
O framework foi avaliado em um conjunto de dados de 510 sequências de vídeo de cine RMC de 125 sujeitos, apresentando um desequilíbrio de classe de anormalidades de movimento de parede induzidas por cicatriz miocárdica.

• Desempenho de Classificação: O ShapeFuse superou consistentemente estratégias de fusão concorrentes (incluindo adição, concatenação, ponderada, bilinear e fusão de atenção padrão) através de múltiplos backbones de codificador de imagem (ResNet, EfficientNet, DenseNet, ViT) e redes de registro (VoxelMorph e TLRN). Por exemplo, com um backbone ResNet e registro VoxelMorph, o ShapeFuse alcançou uma acurácia de 0,888 e um F1-score de 0,902, superando o melhor baseline (fusão Ponderada) que pontuou 0,832/0,857.
• Interpretabilidade: Visualizações Grad-CAM mostraram que o ShapeFuse destacou consistentemente a região miocárdica ao longo dos pontos temporais, enquanto os métodos de baseline produziram ativações difusas ou inconsistentes.
• Análise de Atenção: Os mapas de atenção aprendidos revelaram que as características de deformação atenderam consistentemente aos quadros de textura da meia sístole, enquanto as representações de textura buscaram contexto geométrico alinhado à fase. A distribuição de gating adaptativo indicou que as representações de textura beneficiam-se significativamente do embasamento geométrico.

Significância
O artigo afirma que o ShapeFuse representa o primeiro framework a aprender conjuntamente a fusão de representações de forma deformável e textura em um espaço latente compartilhado para classificação de vídeo cardíaco. Ao substituir a fusão ingênua por atenção cross-modal dinâmica e gating adaptativo, o método captura informações fisiológicas complementares que abordagens estáticas perdem. Os autores afirmam que isso leva a um desempenho de classificação de estado da arte e melhor interpretabilidade, pois os mecanismos de atenção identificam com sucesso as fases cardíacas específicas e as contribuições de modalidade que são mais críticas para o diagnóstico. O trabalho futuro é proposto para estender isso para classificação de patologias de múltiplos rótulos e explorar o pré-treinamento auto-supervisionado para reduzir a dependência de dados rotulados.