Learning to Unify Deformable Shape and Texture Representations for Cardiac Video Classification

Resumen Técnico: Aprendizaje para la Unificación de Representaciones de Forma Deformable y Textura para la Clasificación de Videos Cardíacos

Planteamiento del Problema
La clasificación automatizada de videos de Resonancia Magnética Cardíaca (RMC) sigue siendo un desafío debido a la dependencia de los modelos recientes de aprendizaje profundo únicamente en las intensidades de la imagen bruta. Aunque estos modelos capturan dependencias temporales, a menudo pasan por alto las deformaciones miocárdicas subyacentes. Las condiciones patológicas, como la miocardiopatía y la miocarditis, se manifiestan como anomalías en el movimiento de la pared regional y patrones de deformación alterados, los cuales están codificados geométricamente en los campos de deformación. Las representaciones de forma deformable han demostrado ser complementos robustos de las características de textura en la clasificación de enfermedades neurodegenerativas, pero extender esto al análisis de videos cardíacos no es trivial. Los métodos existentes suelen combinar características de forma y textura mediante una simple concatenación o suma elemento a elemento. Estos enfoques no logran modelar las dependencias de características cross-modales, ignoran la importancia diagnóstica variable de diferentes fases cardíacas y aplican un peso uniforme a través de los puntos temporales, perdiendo así la interacción dinámica entre el movimiento miocárdico y la intensidad de la imagen.

Metodología: ShapeFuse
Los autores proponen ShapeFuse, un marco de trabajo que unifica las representaciones de forma deformable y de textura de imagen en un espacio latente compartido. La arquitectura consta de tres etapas primarias:

1. Extracción de Características:

   • Representación de Forma: Una red codificadora-decodificadora de forma ($\theta^E_S, \theta^D_S$) estima los campos de velocidad por cuadro ($v$) alineando un cuadro fuente ($I_0$) con los cuadros objetivo ($I_t$) utilizando principios de registro difórmico (Campos de Velocidad Estacionaria). Esto genera características de deformación geométrica latente ($z_{vt}$).
   • Representación de Textura: Un codificador de imagen ($\theta^E_I$) extrae características de textura latentes ($z_{ft}$) de los cuadros de RMC brutos.

2. Fusión de Características Sensible a la Forma en el Espacio Latente:

   • Atención Temporal Bidireccional Cross-Modal (BCTA): En lugar de una fusión estática, ShapeFuse emplea un mecanismo de atención bidireccional en el espacio latente. Cada modalidad (forma y textura) aprende sus propias proyecciones de consulta (query), clave (key) y valor (value). Esto permite que la secuencia de forma atienda a los cuadros de textura relevantes a través del tiempo y viceversa. El mecanismo parametriza explícitamente las dependencias de fase cruzada, permitiendo que cada modalidad se adapte a la otra de manera adactiva basándose en la correspondencia espacio-temporal.
   • Puerta Adaptativa (Adaptive Gating): Una puerta adaptativa por punto temporal ($g_t$) controla dinámicamente la contribución relativa de las características de forma y textura. Esta puerta, calculada mediante una función sigmoide sobre las características latentes concatenadas, permite que el modelo aprenda qué modalidad es más informativa en fases cardíacas específicas, en lugar de tratar ambas de forma simétrica.
   • Agrupación de Importancia Diagnóstica (Diagnostic Importance Pooling): Tras el mecanismo de puerta, una estrategia de agrupación temporal aprendida (basada en la Atención de Bahdanau) agrega la secuencia fusionada. Esto asigna pesos más altos a los puntos temporales críticamente diagnósticos (por ejemplo, la contracción sistólica máxima) en lugar de aplicar una agrupación temporal uniforme.

3. Estrategia de Entrenamiento:

   • El modelo se entrena en dos etapas. Primero, la red de forma se optimiza para minimizar una pérdida de registro (combinando la disimilitud de la imagen y la suavidad del campo de velocidad). Segundo, con el codificador de forma congelado, el codificador de imagen, los módulos de atención, el mecanismo de puerta, la estrategia de agrupación y el clasificador se optimizan conjuntamente utilizando una pérdida de entropía cruzada binaria.

Contribuciones Clave
El artículo afirma tres contribuciones primarias:

1. Atención Temporal Bidireccional Cross-Modal: Un mecanismo que aprende las dependencias mutuas entre las representaciones latentes de forma deformable y textura a lo largo del ciclo cardíaco, yendo más allá de la simple concatenación.
2. Fusión y Agrupación Adaptativa: Una estrategia de puerta que pondera dinámicamente las contribuciones de forma y textura en cada fase cardíaca, junto con una agrupación temporal aprendida que prioriza los puntos temporales más relevantes para el diagnóstico.
3. Desempeño de Vanguardia e Interpretabilidad: Demostración de un desempeño de clasificación superior en videos de RMC cine del mundo real, respaldado por mapas de atención que localizan las fases críticamente diagnósticas y cuantifican las contribuciones de las modalidades.

Resultados Experimentales
El marco fue evaluado en un conjunto de datos de 510 secuencias de video de RMC cine de 125 sujetos, que presentaba un desequilibrio de clases de anomalías de la pared inducidas por cicatrices miocárdicas.

• Desempeño de Clasificación: ShapeFuse superó consistentemente a las estrategias de fusión competidoras (incluyendo suma, concatenación, ponderación, bilineal y fusión de atención estándar) a través de múltiples backbones de codificadores de imagen (ResNet, EfficientNet, DenseNet, ViT) y redes de registro (VoxelMorph y TLRN). Por ejemplo, con un backbone ResNet y un registro VoxelMorph, ShapeFuse alcanzó una precisión de 0.888 y un F1-score de 0.902, superando al mejor baseline (fusión ponderada) que obtuvo 0.832/0.857.
• Interpretabilidad: Las visualizaciones de Grad-CAM mostraron que ShapeFuse resaltaba consistentemente la región miocárdica a través de los puntos temporales, mientras que los métodos base producían activaciones difusas o inconsistentes.
• Análisis de Atención: Los mapas de atención aprendidos revelaron que las características de deformación atendían consistentemente a los cuadros de textura de la sístole media, mientras que las representaciones de textura buscaban un contexto geométrico alineado con la fase. La distribución de la puerta adaptativa indicó que las representaciones de textura se benefician significamente del anclaje geométrico.

Significancia
El artículo afirma que ShapeFuse representa el primer marco que aprende conjuntamente la fusión de representaciones de forma deformable y textura en un espacio latente compartido para la clasificación de videos cardíacos. Al reemplazar la fusión ingenua con atención cross-modal dinámica y puertas adaptativas, el método captura información fisiológica complementaria que los enfoques estáticos omiten. Los autores afirman que esto conduce a un desempeño de clasificación de vanguardia y una mejor interpretabilidad, ya que los mecanismos de atención identifican con éxito las fases cardíacas específicas y las contribuciones de las modalidades que son más críticas para el diagnóstico. Se propone como trabajo futuro extender esto a la clasificación de patologías de etiquetas múltiples y explorar el preentrenamiento auto-supervisado para reducir la dependencia de datos etiquetados.