Towards Real-Time Autonomous Navigation: Transformer-Based Catheter Tip Tracking in Fluoroscopy

Resumen Técnico: Hacia la Navegación Autónoma en Tiempo Real: Seguimiento de la Punta del Catéter Basado en Transformadores en Fluoroscopia

Planteamiento del Problema
La trombectomía mecánica (TM) es una intervención crítica para los accidentes cerebrovasculares por oclusión de grandes vasos, sin embargo, su eficacia es dependiente del tiempo y está limitada por la falta de acceso al tratamiento local. Si bien las plataformas robóticas endovasculares y la navegación autónoma basada en aprendizaje por refuerzo (RL) ofrecen soluciones potenciales, los enfoques actuales de RL requieren un seguimiento preciso y en tiempo real de las coordenadas de la punta del dispositivo (catéter y guía) para funcionar. Los métodos existentes de seguimiento de dispositivos luchan bajo condiciones clínicamente realistas caracterizadas por bajo contraste de imagen, ruido, desenfoque por movimiento y oclusión del dispositivo. Además, sigue sin estar claro si los modelos de aprendizaje profundo entrenados con datos sintéticos o de fantomas pueden generalizarse a la fluoroscopia clínica in vivo, particularmente cuando los dispositivos están parcialmente ocultos. La ausencia de pipelines de seguimiento robustos y en tiempo real capaces de operar a través de modalidades de imagen variables obstaculiza la transición de la navegación autónoma desde simulaciones in silico hacia la aplicación clínica.

Metodología
Los autores proponen un pipeline de seguimiento de punta de catéter y guía en tiempo real y multihilo diseñado para operar bajo condiciones fluoroscópicas desafiantes. El sistema integra cuatro etapas asíncronas:

1. Lector: Captura fotogramas de fluoroscopia o video crudos independientemente de la velocidad de inferencia para evitar fotogramas perdidos.
2. Preprocesador: Redimensiona, normaliza y convierte los fotogramas al formato de tensor.
3. Inferencia: Pasa los fotogramas a través de modelos de segmentación entrenados. Para imágenes grandes, se utiliza un enfoque de ventana deslizante con parches superpuestos para equilibrar la calidad y la memoria.
4. Postprocesador: Refina las máscaras de segmentación mediante fusión de componentes, eliminación de artefactos y esqueletización. Crucialmente, emplea un filtrado de componentes en dos pasos y una esqueletización medial de un píxel para identificar los puntos finales. Para estabilizar el seguimiento frente al desenfoque por movimiento y la oclusión, el sistema muestrea tres puntos a lo largo del esqueleto: la punta principal ($T_0$) y dos puntos aguas abajo ($T_1, T_2$) a 5 y 10 píxeles, respectivamente.

Arquitecturas de Modelo
Tres arquitecturas de segmentación de aprendizaje profundo fueron entrenadas y evaluadas utilizando el conjunto de datos CathAction (25.000 máscaras a nivel de píxel de fantomas in vitro y sujetos porcinos in vivo):

• U-Net Estándar: Una U-Net base modificada de 16 canales optimizada con AdamW para cumplir con las restricciones de memoria en tiempo real, diferenciándose de la implementación original de 64 canales con SGD en la literatura previa.
• U-Net + Transformer: Reemplaza el cuello de botella de la U-Net con un módulo transformador de autoatención de 16 capas y 16 cabezas para capturar un contexto más amplio.
• SegFormer: Utiliza un codificador Mix Transformer B5 con un decodificador U-Net simétrico, incorporando módulos de atención de compresión y excitación espacial y de canal (scSE).

El estudio evaluó tanto las formulaciones de dos clases (instrumento vs. fondo) como de tres clases (catéter vs. guía vs. fondo) para determinar su impacto en la precisión del seguimiento aguas abajo.

Contribuciones Clave

1. Pipeline de Seguimiento Novel: Introducción de un pipeline de esqueletización y muestreo multipunto que mejora la estabilidad de la localización en presencia de bajo contraste, oclusión parcial e instrumentos superpuestos.
2. Evaluación Integrada: Demostración de que las arquitecturas modernas de segmentación, cuando se incrustan dentro de un marco de seguimiento, superan los puntos de referencia existentes en el conjunto de datos CathAction, extendiendo la evaluación más allá de las métricas de segmentación independientes para incluir el error de localización de la punta.
3. Validación Transversal de Dominios: Validación del método a través de datos fluoroscópicos in vitro de fantomas, in vivo de animales y in vivo clínicos sin ajuste fino in vivo, evaluando la generalización a través de modalidades de imagen.

Resultados

• Punto de Referencia CathAction: El SegFormer de dos clases logró el mejor rendimiento (Dice: 0.809, IoU: 0.722), superando a U-Net y U-Net+Transformer. En la segmentación de tres clases, SegFormer también lideró con una puntuación Dice de 0.667, superando a los puntos de referencia anteriores (por ejemplo, U-Net en 0.517).
• RGB Offline In Vitro: SegFormer logró el menor Error Absoluto Medio (MAE) en el seguimiento de dos clases (0.47 mm). Sin embargo, en el seguimiento de tres clases, U-Net funcionó mejor (0.60 mm), mientras que SegFormer sufrió errores más altos (1.21 mm) debido a ramas del esqueleto inducidas por mala clasificación.
• Fluoroscopia In Vivo: En datos clínicos estratificados por complejidad, SegFormer (dos clases) demostró consistentemente la localización de punta más estable y precisa. En el grupo de "Complejidad Moderada" (G2), logró un error absoluto medio de 4.44 mm, superando a U-Net (4.60 mm) y U-Net+Transformer (6.20 mm). Los modelos de tres clases generalmente exhibieron errores más altos y más artefactos en fondos anatómicos complejos.
• Velocidad: El sistema mantuvo un rendimiento en tiempo real, con velocidades de inferencia que oscilan entre ~21 y ~30 FPS dependiendo del modelo y del conjunto de datos.

Significado y Afirmaciones
El artículo afirma que el marco de seguimiento multihilo propuesto mantiene un rendimiento estable bajo condiciones de imagen desafiantes, proporcionando una base confiable para la navegación de TM autónoma basada en RL. Los autores enfatizan que, si bien el sistema supera los puntos de referencia anteriores y demuestra la viabilidad del seguimiento en tiempo real, aún no alcanza una precisión submilimétrica de grado clínico (<1 mm) en entornos in vivo. Los errores observados (4–7 mm) se atribuyen a desplazamientos de dominio (contraste, ruido, movimiento), oclusión y la falta de datos de entrenamiento in vivo.

El estudio concluye que la segmentación de dos clases ofrece el compromiso más confiable entre velocidad, estabilidad y precisión de localización de la punta para las necesidades actuales de seguimiento. Sin embargo, la segmentación de tres clases sigue siendo valiosa para la navegación autónoma de RL, ya que permite el seguimiento simultáneo tanto del catéter como de la guía, proporcionando una entrada más rica para los agentes de toma de decisiones. El trabajo se posiciona como un paso hacia sistemas desplegable clínicamente, destacando que las futuras mejoras en la adaptación de dominio y la inclusión de diversos datos de entrenamiento in vivo son necesarias para cerrar la brecha entre el rendimiento en fantomas y la realidad clínica.