Temporally Consistent Label Interpolation for Robust Surgical Multi-Task Learning under Challenging Conditions

Resumen Técnico: Interpolación de Etiquetas con Consistencia Temporal para el Aprendizaje Multitarea Robusto en Cirugía bajo Condiciones Desafiantes

1. Planteamiento del Problema

El artículo aborda una barrera fundamental en el aprendizaje multitarea (MTL) unificado para entornos quirúrgicos: la disparidad en la granularidad de la anotación.

• Tareas Temporales: Las tareas relacionadas con el flujo de trabajo (reconocimiento de fases, reconocimiento de pasos, anticipación) suelen beneficiarse de una supervisión densa a nivel de fotograma disponible para casi cada cuadro de video.
• Tareas Espaciales: Las tareas a nivel de píxel (segmentación de instrumentos, reconocimiento de acciones) requieren una anotación experta laboriosa que involucra conocimientos clínicos especializados. En consecuencia, estas suelen estar anotadas de forma dispersa solo en fotogramas clave seleccionados debido a los prohibitivos costos de etiquetado.

Este desequilibrio crea una brecha de supervisión que socava el aprendizaje de representaciones compartidas. La optimización conjunta de tareas heterogéneas se ve limitada porque el modelo carece de pistas espaciales densas para fundamentar las predicciones temporales, mientras que el contexto temporal no logra regularizar eficazmente las predicciones espaciales dispersas. Además, la propagación directa de etiquetas dispersas en videos quirúrgicos es un desafío debido a las complejas condiciones intraoperatorias (oclusión, humo, desenfoque de movimiento, variación de iluminación), que causan que los métodos de propagación basados en la apariencia (como SAM2) fallen, resultando en pseudo-etiquetas temporalmente inconsistentes.

2. Metodología

Los autores proponen FAROS (Flow-guided Annotation for Robust Operating Scenes), un marco diseñado para generar pseudo-etiquetas densas y temporalmente consistentes a partir de anotaciones dispersas de fotogramas clave, seguido de una arquitectura de aprendizaje multitarea unificada.

A. FAROS: Interpolación de Etiquetas Guiada por Flujo
FAROS combina la propagación de máscaras basada en segmentación zero-shot con la estimación de flujo óptico para superar las limitaciones de los métodos basados en la apariencia en entornos quirúrgicos.

• Prompting Bidireccional de SAM2: En lugar de propagar unidireccionalmente desde un único fotograma clave, el sistema registra las máscaras de verdad de campo (ground-truth) de ambos fotogramas clave límite ($k_0$ y $k_1$) en el banco de memoria de SAM2. Esto permite al modelo hacer referencia a anclajes desde ambos extremos de un segmento, mejorando la estabilidad temporal.
• Detección de Anomalías Basada en la Consistencia de Flujo: Para detectar fallos de propagación (por ejemplo, debido a oclusiones o salida de instrumentos), el sistema utiliza la propiedad de consistencia hacia adelante y hacia atrás del flujo óptico (estimado mediante RAFT). Calcula un error de consistencia por píxel. Si el error supera un umbral ($\tau$) durante un número consecutivo de fotogramas ($n_{confirm}$), la propagación se marca como anómala.
• Reprompting Guiado por Flujo: Al detectar una anomalía, el sistema calcula el flujo hacia atrás desde el fotograma clave verificado más cercano hasta el fotograma actual. Deforma (warps) la máscara de verdad de campo de ese fotograma clave para generar un "prompt correctivo" con base geométrica. Este prompt se introduce de nuevo en el codificador de prompts de SAM2 para reinicializar la propagación, recuperando efectivamente la máscara donde la atención basada en la apariencia falló.

B. Marco de Aprendizaje Multitarea Unificado
Las pseudo-etiquetas densificadas se integran en un marco basado en Transformers que aprende conjuntamente cinco tareas: reconocimiento de fase quirúrgica, reconocimiento de pasos, anticipación, segmentación de instrumentos y reconocimiento de acciones.

• Arquitectura: El marco emplea una Red de Propuesta de Regiones (RPN) basada en Mask2Former como base para la segmentación de instrumentos. En la Etapa 1, la RPN se entrena con las máscaras de verdad de campo y las pseudo-máscaras para producir embeddings de región. En la Etapa 2, la RPN se congela y estos embeddings precomputados se reutilizan.
• Acoplamiento Espacio-Temporal: Un backbone MViT extrae características espacio-temporales. Se asignan tokens CLS dedicados a las tareas de nivel de fotograma (fase, paso).
• Condicionamiento entre Tareas: El marco modela explícitamente las dependencias entre tareas mediante módulos de condicionamiento ligeros:
  • Fase $\to$ Paso: Las características de la fase informan la predicción del paso.
  • Espacial $\to$ Temporal: Los embeddings de región agrupados (presencia/configuración de instrumentos) se inyectan en las cabezas de predicción de fase y paso, fundamentando el reconocimiento del flujo de trabajo en la comprensión de instrumentos a nivel de píxel.
• Optimización: El modelo utiliza una suma ponderada de pérdidas específicas de cada tarea, activándolas solo cuando hay anotaciones correspondientes (o pseudo-etiquetas) disponibles, lo que permite una optimización equilibrada entre señales de supervisión heterogéneas.

3. Contribuciones Clave

1. Identificación de la Disparidad en la Granularidad de la Anotación: El artículo identifica la disparidad entre la supervisión temporal densa y la espacial dispersa como una barrera crítica para el MTL quirúrgico unificado y propone FAROS para cerrar esta brecha.
2. Marco FAROS: Un novedoso método de interpolación de etiquetas guiado por flujo que aumenta la segmentación zero-shot (SAM2) con la guía de flujo óptico. Aborda específicamente los modos de fallo en condiciones quirúrgicas desafiantes (oclusión, humo, desenfoque de movimiento) utilizando prioris de movimiento geométrico para detectar anomalías y re-generar prompts para el modelo de segmentación.
3. MTL Espacio-Temporal Unificado: Un marco unificado basado en Transformers que modela conjuntamente tareas de nivel de flujo de trabajo y de nivel de región, aprovechando la supervisión espacial densificada para permitir un aprendizaje de representación cruzada equilibrado.
4. Validación Empírica: Experimentos extensos en los benchmarks GraSP, MISAW y AutoLaparo, junto con la validación en el conjunto de datos DAVIS 2017 bajo un protocolo de verdad de campo dispersa.

4. Resultados

• Validación en DAVIS 2017: Bajo un protocolo de verdad de campo dispersa (fotogramas clave cada 30 fotogramas), FAROS supera al baseline de SAM2 en similitud de región ($\mathcal{J}$) y precisión de contorno ($\mathcal{F}$), demostrando una propagación robusta incluso con intervalos largos entre fotogramas clave y movimientos desafiantes.
• Benchmark GraSP: El modelo completo con interpolación guiada por flujo ("All w/ inter") mejora significativamente las tareas de nivel de flujo de trabajo en comparación con los baselines de tarea única y los modelos multitarea sin interpolación. Notablemente, el reconocimiento de pasos muestra mejoras sólales. Aunque se observó un declive cuantitativo marginal en mIoU en comparación con el modelo multitarea no interpolado, el análisis cualitativo indicó una segmentación visualmente superior con menos falsos positivos y mejor consistencia temporal.
• Benchmark MISAW: El método propuesto logró los mejores resultados en casi todas las métricas, con mejoras particularmente fuertes en el reconocimiento de flujo de trabajo y la anticipación de pasos. La segmentación de instrumentos también se recuperó y superó a los baselines de tarea única.
• Benchmark AutoLaparo: Utilizado para aislar el efecto de la interpolación de etiquetas, los resultados mostraron que los modelos entrenados con pseudo-etiquetas interpoladas mejoraron consistentemente el rendimiento de la segmentación (IoU, mIoU) sobre los baselines sin interpolación, incluso sin entrenamiento multitarea conjunto.
• Eficiencia: El marco logra capacidad de tiempo real (aprox. 44 clips/s en una sola GPU) al desacoplar la generación de máscaras computacionalmente pesada (Etapa 1, congelada) de la inferencia multitarea (Etapa 2).

5. Significado y Reivindicaciones

El artículo sostiene que la interpolación de etiquetas guiada por flujo es esencial para alcanzar los beneficios del aprendizaje multitarea en la comprensión de escenas quirúrgicas. Sin la interpolación, el entrenamiento conjunto a menudo degrada el rendimiento respecto a los baselines de tarea única debido al desequilibrio de la anotación.

Los autores afirman que:

• Acoplamiento Espacio-Temporal: Las configuraciones espaciales de los instrumentos sirven como priors estructurados para el reconocimiento del flujo de trabajo. Al densificar la supervisión espacial, el marco proporciona pistas más ricas para las transiciones de fase y paso.
• Robustez: La combinación de segmentación basada en la apariencia y corrección de flujo basada en la geometría gestiona eficazmente las condiciones clínicamente desafiantes (por ejemplo, entrada/salida de instrumentos, humo, oclusión por sangre) donde los modelos de pura apariencia fallan.
• Generalizabilidad: El enfoque se valida en diversos dominios quirúrgicos (cirugía humana asistida por robot, entrenamiento de microcirugía, laparoscopia) y escenarios de video generales, lo que sugiere que el método es robusto ante variaciones en la densidad de anotación y la complejidad visual.

El trabajo se posiciona como una base para la comprensión holística de escenas quirúrgicas con eficiencia de anotación, demostrando que cerrar la brecha de supervisión permite un aprendizaje de optimización cruzada equilibrado que mejora el rendimiento en todas las tareas simultáneamente.