Point Tracking as a Temporal Cue for Robust Myocardial Segmentation in Echocardiography Videos

Resumen Técnico: El seguimiento de puntos como una clave temporal para una segmentación miocárdica robusta en videos de ecocardiografía

Planteamiento del problema
La segmentación del miocardio en videos de ecocardiografía (eco) es fundamental para evaluar la función sistólica, calcular la deformación miocárdica y detectar anomalías en el movimiento de la pared regional. Sin embargo, esta tarea se ve dificultada por el bajo contraste de la imagen, el ruido y la variabilidad anatómica significativa, particularmente en entornos de ecografía en el punto de atención (POCUS), donde los operadores no especialistas suelen adquirir clips de menor calidad.

Los enfoques de aprendizaje profundo existentes enfrentan limitaciones específicas:

• Modelos independientes de fotogramas (p. ej., UNet, SwinUNet) ignoran la información temporal, lo que conduce a una segmentación inconsistente a lo largo del ciclo cardíaco.
• Modelos basados en memoria (p. ej., MemSAM, MedSAM2) propagan características a través del tiempo, pero son susceptibles a la acumulación de errores cuando los fotogramas iniciales son ruidosos o están fuera de eje.
• Los métodos basados en flujo óptico dependen de la constancia de brillo y de supuestos de movimiento suave que se violan frecuentemente en la ecografía debido a la decorrelación de la textura (speckle) y al movimiento fuera del plano, lo que resulta en deformaciones temporalmente inestables o anatómicamente implausibles.
• Los modelos fundacionales (p. ej., SAM) a menudo requieren prompts interactivos, lo cual es poco práctico para flujos de trabajo en tiempo real con escasez de etiquetas.

Metodología: Point-Seg
Los autores proponen Point-Seg, un marco de segmentación basado en transformadores que integra el seguimiento de puntos como una clave temporal explícita para asegurar una segmentación miocárdica estable y consistente sin depender de la acumulación de características basadas en memoria.

• Arquitectura: El modelo consta de un codificador (backbone ResNet50 con capas de transformador de atención deformable), un decodificador de puntos, capas de fusión y un decodificador de máscara.
• Módulo de seguimiento de puntos: El sistema rastrea $N$ puntos distintos (incluyendo una cuadrícula densa y puntos manuales opcionales) a través de $T$ fotogramas. Utiliza un decodificador de puntos entrenado en el conjunto de datos sintético SynUS para estimar trayectorias ($L_i$) y secuencias de visibilidad ($V_i$). El decodificador emplea TAPTR (seguimiento de puntos basado en transformadores) ajustado para ecocardiografía.
• Mecanismo de fusión: El marco utiliza múltiples mecanismos de atención para integrar información espacial y de movimiento:
  • Atención cruzada Punto-a-Parche (Point-to-Patch Cross-Attention): Permite que los tokens de puntos atiendan a los tokens de parches, incorporando características espaciales.
  • Autoatención de puntos (Point Self-Attention): Permite que los puntos rastreados intercambien información dentro de un fotograma.
  • Autoatención temporal de puntos (Point Temporal Self-Attention): Modela el movimiento permitiendo que los tokens de puntos atiendan a sus propias trayectorias a través de los fotogramas.
  • Atención cruzada Parche-a-Punto (Patch-to-Point Cross-Attention): Integra claves de movimiento en las representaciones espaciales para el decodificador de máscara.
• Estrategia de entrenamiento: El entrenamiento se realiza en dos etapas. Primero, el decodificador de puntos se entrena utilizando una pérdida $\ell_1$ para la estimación de la trayectoria y una pérdida de entropía cruzada para la predicción de la visibilidad. Segundo, el decodificador de puntos se congela y el decodificador de máscara se entrena utilizando la pérdida de Dice y una pérdida de suavizado temporal. La pérdida de suavizado temporal impone una similitud de pares entre los valores de la máscara rastreados a través de los fotogramas para mejorar la consistencia.
• Inferencia: El modelo genera máscaras de segmentación e información de movimiento a nivel de píxel simultáneamente, sin requerir prompts manuales.

Contribuciones clave

1. Seguimiento de puntos ajustado para eco: Los autores adaptan y ajustan finamente TAPTR utilizando el conjunto de datos sintético SynUS para generar trayectorias miocárdicas robustas y densamente muestreadas que permanecen estables incluso cuando la calidad de la imagen fluctúa.
2. Segmentación condicionada por seguimiento: Un novedoso cabezal de segmentación por transformador ingiere las trayectorias rastreadas como prior de movimiento. Este enfoque impone consistencia temporal sin propagación de memoria, reduciendo eficazmente la deriva en clips de eco de baja calidad.
3. Información de movimiento a nivel de píxel: A diferencia de los métodos de segmentación estándar, Point-Seg genera información de movimiento miocárdico explícita, la cual es esencial para tareas posteriores como la medición de la deformación (strain) y la detección de anomalías en el movimiento de la pared.

Resultados experimentales
El método fue evaluado en el conjunto de datos público CAMUS y en un conjunto de datos privado que contiene 1,305 videos de entrenamiento, 181 de validación y 367 de prueba.

• Datos de alta calidad: En fotogramas de alta calidad de CAMUS, Point-Seg logra la paridad estadística (p ≥ 0.05) con modelos de última generación (p. ej., nnUNet, MedSAM2 con prompts de caja delimitadora) en términos de coeficiente de Dice medio (mDice) y distancia de Hausdorff (HD95).
• Datos de baja calidad: En clips de eco de mala calidad, Point-Seg demuestra un rendimiento superior. En el conjunto de prueba de CAMUS, logra un mDice significativamente mayor (86.7 frente a 84.0 para nnUNet) y un HD95 más bajo en comparación con las líneas base. En el conjunto de datos privado, también supera a las líneas base en escenarios de mala calidad.
• Estabilidad temporal: El análisis cualitativo (Figura 2) muestra que Point-Seg mantiene límites estables a lo largo del ciclo cardíaco, evitando el parpadeo visto en los modelos independientes de fotogramas y la deriva observada en los enfoques basados en memoria.
• Estudios de ablación: Los experimentos confirman que la inclusión de trayectorias de puntos, la atención cruzada punto-a-parche y, específicamente, la autoatención temporal mejoran significativamente la precisión y la estabilidad de la segmentación. El rastreador propuesto también supera a los rastreadores específicos de eco existentes (EchoTracker) y a los rastreadores generales (CoTracker) en el conjunto de datos SynUS.

Significado y afirmaciones
El artículo afirma que Point-Seg ofrece un enfoque fiable y generalizable para la segmentación del miocardio en ecocardiografía, particularmente en entornos desafiantes de POCUS. Al aprovechar el seguimiento de puntos como una clave temporal, el método elimina la necesidad de la acumulación de características basada en memoria y de prompts manuales, proporcionando además el beneficio adicional de los datos de movimiento a nivel de píxel. Los autores sostienen que este enfoque aborda las necesidades centrales del diagnóstico de insuficiencia cardíaca a la cabecera del paciente: una segmentación confiable y temporalmente consistente que permita mediciones accionables como la fracción de eyección y la deformación, incluso cuando la calidad de la imagen es subóptima. El código se pone a disposición para facilitar la investigación posterior.