Point Tracking in Surgery--The 2025 Surgical Tattoos in Infrared Challenge (STIRC2025)

Resumen Técnico: Seguimiento de Puntos en Cirugía – El Desafío STIR 2025 (Surgical Tattoos in Infrared)

Planteamiento del Problema
El seguimiento preciso de puntos en entornos quirúrgicos es un requisito fundamental para tareas de visión computacional médica descendentes, incluyendo la segmentación, la reconstrucción 3D, el marcado de puntos de referencia de tejido virtual, el escaneo autónomo basado en sondas y la autonomía de subtareas. Si bien el conocimiento del movimiento y la ubicación del tejido es crítico para la destreza automatizada y el escaneo autónomo, los métodos existentes suelen tener dificultades con los desafíos específicos del video quirúrgico, como la deformación del tejido, la oclusión y las condiciones de iluminación variables. El Desafío STIR 2025 (STIRC2025) se organizó para abordar estas brechas mediante la evaluación y el avance de algoritmos para el seguimiento de puntos tanto en espacios 2D como 3D.

Metodología y Conjunto de Datos
El desafío utilizó el conjunto de datos STIR Challenge 2025 (STIRC2025), que consiste en 32 secuencias de video estéreo recolectadas utilizando un sistema da Vinci 5. El conjunto de datos incluye casos in vivo (sujetos porcinos) y ex vivo (tejido mixto).

• Protocolo de Anotación: Las etiquetas de verdad de campo (ground truth) fueron generadas tatuando el tejido con tinta de verde de indocianina (ICG). El endoscopio capturó imágenes infrarrojas (IR) al inicio y al final de una acción para definir las ubicaciones de los puntos, mientras que el video intermedio fue registrado en luz blanca.
• Formato de Datos: Cada secuencia incluye imágenes IR de inicio y fin, máscaras de segmentación binaria de la tinta IR y el video estéreo de luz blanca correspondiente (1280 × 1024 píxeles).
• Reconstrucción 3D: Las posiciones de verdad de campo 3D se calcularon mediante búsqueda epipolar usando correlación cruzada normalizada sobre los puntos segmentados, seguido de una retroproyección utilizando parámetros de cámara calibrados (línea de base, distancia focal y puntos principales).

Métricas de Evaluación
Los participantes fueron evaluados en dos componentes primarios:

1. Precisión: Medida utilizando la métrica resistente a valores atípicos $\delta_{avg}$ (introducida en TAP-Vid), que calcula el porcentaje de puntos rastreados que caen dentro de umbrales de distancia específicos ($l_i$) en el cuadro final.
   • Umbrales 2D: 4, 8, 16, 32 y 64 píxeles.
   • Umbrales 3D: 2, 4, 8, 16 y 32 milímetros.
   • Los puntos se emparejaron con su etiqueta de verdad de campo más cercana en el cuadro final.
2. Eficiencia: Medida por la latencia de inferencia. La evaluación se centró en los percentiles 95 y 99 de latencia, así como en la media, para capturar el rendimiento en el peor de los casos, crítico para aplicaciones quirúrgicas en tiempo real. Una entrega era elegible para el ranking de eficiencia solo si su precisión superaba el 90% del método con mejor desempeño.

Contribuciones Clave y Participaciones
Siete equipos participaron en el desafío, todos enviando soluciones 2D y dos equipos (NCT TSO y MFTIQProb) enviando soluciones 3D. El artículo detalla varios enfoques metodológicos distintos:

• Métodos de Referencia (Baselines): Incluyeron Control (movimiento cero), RAFT, CSRF, MFT (Seguimiento Multi-Marco) y un baseline 3D que combina RAFT con RAFT-Stereo.
• Innovaciones de los Participantes:
  • BlueJays: Propuso un método autosupervisado utilizando caminatas aleatorias contrastivas y emparejamiento global (GMFlow) con una estrategia de marco de referencia móvil para manejar la oclusión.
  • CCG DGIST: Desarrolló un marco híbrido que combina flujo óptico denso con seguimiento basado en puntos clave (SuperPoint, ALIKED, LightGlue, RoMA) para equilibrar la precisión local con la robustez a largo plazo.
  • MFTIQProb: Introdujo un pipeline de seguimiento de múltiples puntos probabilístico utilizando distribuciones gaussianas para puntos candidatos y actualizaciones bayesianas para el manejo de la visibilidad.
  • MoriLabNU: Adaptó MFT para el seguimiento laparoscópico utilizando Consolidación de Peso Elástico (EWC) para prevenir el olvido catastrófico mientras se ajustan los extractores de características a las texturas quirúrgicas.
  • NCT TSO: Construyó un pipeline sobre LiteTracker (derivado de CoTracker3), incorporando un filtro de Kalman para el modelado de movimiento y buffers de características de fotogramas clave para reducir la deriva (drift).
  • SRV: Reemplazó el componente de flujo óptico en MFT con WAFT (Transformaciones de Campo de Deformación de Arrastre) para evitar grandes volúmenes de costo.
  • UII VRI: Utilizó un rastreador de puntos denso de dominio general congelado (AllTracker) con atención temporal y suavizado de Kalman, evitando el ajuste fino al dominio quirúrgico.

Resultados

• Precisión 2D: El método con mejor desempeño general fue el baseline MFT ($\delta_{avg} = 83.50$). Entre las participaciones, CCG DGIST ocupó el primer lugar ($\delta_{avg} = 82.99$), seguido de MFTIQProb ($\delta_{avg} = 82.91$) y MoriLabNU ($\delta_{avg} = 82.74$).
• Precisión 3D: El Equipo NCT TSO logró la mayor precisión ($\delta_{avg} = 68.46$), superando a todos los baselines. MFTIQProb ocupó el segundo lugar ($\delta_{avg} = 57.09$). Los autores señalan que los mejores métodos 3D dependieron de combinaciones filtradas de seguimiento 2D y triangulación estéreo en lugar de arquitecturas nativas 3D.
• Eficiencia: El Equipo NCT Tso ganó la categoría de eficiencia con una latencia por cuadro de 26.25 ms (percentil 95), superando significativamente al siguiente competidor más rápido (UII VRI con 140.52 ms).

Significancia y Reivindicaciones
El artículo posiciona el desafío STIRC2025 y su conjunto de datos asociado como un recurso crítico para las comunidades de robótica quirúrgica y visión computacional. Los autores afirman que el desafío resalta la importancia de:

1. Validación Cruzada Robusta: El hecho de que un baseline (MFT) superara a muchas entregas especializadas subraya la dificultad de la generalización y el riesgo de sobreajuste (overfitting) a los conjuntos de prueba publicados.
2. Compromisos entre Eficiencia y Precisión: La categoría de eficiencia demuestra que una alta precisión no impide la viabilidad en tiempo real, con NCT TSO logrando tanto una precisión 3D de alto nivel como la latencia más baja.
3. Direcciones Futuras: Los autores sugieren modestamente que el trabajo futuro debería centrarse en el etiquetado pseudo (pseudo-labeling), el entrenamiento autosupervisado con características quirúrgicas y el desarrollo de modelos de baja latencia capaces de seguimiento a largo plazo y relocalización sin depender de arquitecturas nativas totalmente 3D, lo cual sigue siendo un desafío abierto.

El desafío sirve como un punto de referencia para probar, comparar e iterar algoritmos para el seguimiento de tejidos, con el objetivo final de apoyar aplicaciones en cirugía asistida por robot.