Resumen Técnico: SurgOnAir

Enunciado del Problema

Los sistemas actuales de IA quirúrgica luchan por proporcionar una comprensión en tiempo real y fundamentada temporalmente de los flujos de trabajo quirúrgicos. Aunque los Modelos de Lenguaje Multimodales Grandes (MLLM) han avanzado en la comprensión general de video, su dependencia de arquitecturas pesadas y paradigmas de procesamiento fuera de línea (que requieren acceso a toda la secuencia de video) impide una reacción inmediata ante la dinámica quirúrgica en evolución. En el quirófano, las decisiones críticas dependen de cambios sutiles, momento a momento, en el movimiento de los instrumentos y los estados de los tejidos; incluso pequeños retrasos perceptuales pueden comprometer la seguridad o limitar la asistencia. Además, los métodos existentes a menudo tratan los flujos de trabajo quirúrgicos como secuencias planas, pasando por alto la estructura jerárquica inherente (Fases $\rightarrow$ Pasos $\rightarrow$ Acciones) que es crucial para la fundamentación contextual y la reducción de alucinaciones. Existe una falta de modelos capaces de procesar video en streaming mientras generan simultáneamente narraciones multinivel conscientes de la jerarquía.

Metodología

1. Curación de Datos: SurgOnAir-11K

Los autores introducen SurgOnAir-11K, un conjunto de datos jerárquico curado diseñado para cerrar la brecha entre el video quirúrgico crudo y la narración estructurada. El pipeline de curación de datos implica:

• ASR Fundamentado Temporalmente: Uso de WhisperX-large para extraer transcripciones a nivel de palabra con marcas de tiempo precisas, creando tripletes de $\langle palabra, t_{inicio}, t_{fin} \rangle$.
• Corrección Consciente del Dominio: Las oraciones con baja confianza (probabilidad logarítmica < -0.15) se corrigen utilizando GPT-4o con restricciones estrictas para normalizar la terminología sin alterar el contenido.
• Filtrado Consciente de la Acción: Las oraciones se clasifican en ACCIÓN, EXPLICACIÓN e INTERACCIÓN. Solo las oraciones de ACCIÓN, que están estrictamente fundamentadas en el contenido visual, se retienen para la supervisión.
• Construcción Jerárquica: El conjunto de datos se estructura en una jerarquía de tres niveles: Fase $\rightarrow$ Paso $\rightarrow$ Palabra. Los pasos procedimentales de alto nivel se generan mediante LLM para garantizar particiones no superpuestas y temporalmente monótonas, las cuales se alinean luego con las fases definidas por metadatos.

2. Arquitectura del Modelo: SurgOnAir

SurgOnAir es un modelo de visión-lenguaje en streaming construido sobre la base LiveCC-7B-Base, diseñado para la generación de token a cuadro en tiempo real sin acceso al futuro.

• Interleaving Temporal Denso: El modelo adopta una estrategia de entrada en streaming donde los cuadros visuales ($\langle F \rangle$) y los tokens de texto ($\langle W \rangle$) se intercalan densamente: $[Con] \langle F_{t:t+k} \rangle \langle W_{t:t+k} \rangle \dots$. El salto $k$ se establece en 1 con una tasa de cuadros de 2 FPS para garantizar una alineación fina.
• Tokens de Estado Jerárquico: Para imponer una narración consciente de la jerarquía, el modelo utiliza tokens de transición especiales (por ejemplo, <Estado>Fase=P1, Paso=S1</Estado>). Estos tokens se insertan condicionalmente en el flujo de texto solo cuando ocurre una transición de estado, actuando como anclas discretas para el flujo de trabajo. Esto permite que el modelo funcione simultáneamente como un narrador continuo y un rastreador de estado estricto.
• Estrategia de Entrenamiento: El modelo emplea una estrategia de condicionamiento por etapas. En las dos primeras épocas, se condiciona sobre el texto ASR anterior para estabilizar el entrenamiento. En la última época, el contexto ASR se elimina (reteniendo solo el título del video), forzando al modelo a depender directamente de la evidencia visual.

Contribuciones Clave

1. Pipeline de Fundamentación Temporal Jerárquica: Un método novedoso para convertir videos quirúrgicos crudos y transcripciones ASR en un corpus video-lenguaje multinivel y alineado temporalmente (SurgOnAir-11K) que presenta supervisión explícita de Fase, Paso y Palabra.
2. Marco SurgOnAir: Un marco de streaming jerárquico que intercala tokens multimodales para el procesamiento en tiempo real. Aprovecha de manera única tokens de transición especializados para predecir explícitamente los cambios de estado, permitiendo la generación de narraciones conscientes de la jerarquía procedimental.
3. Rendimiento en Tiempo Real: La demostración de un único modelo de visión-lenguaje capaz de unificar el streaming a través de múltiples jerarquías del flujo de trabajo quirúrgico, superando tanto a las líneas base fuera de línea como a las existentes en streaming en la calidad de la narración en tiempo real.

Resultados Experimentales

El modelo se evaluó en una división 80/20 del conjunto de datos SurgOnAir-11K utilizando una tarea de elección pareada juzgada por GPT-4o, priorizando la corrección semántica y la fundamentación sobre la perfección sintáctica.

• Comparación con Líneas Base:
  • Modelos Fuera de Línea: Los Video-LLM fuera de línea (LLaVA-Video-7B, Qwen2.5-VL-7B) tuvieron un rendimiento pobre (tasas de victoria del 11.3% y 6.2% respectivamente), destacando su inadecuación para escenarios quirúrgicos en tiempo real.
  • Líneas Base de Streaming: El modelo genérico de streaming LiveCC-7B logró una tasa de victoria del 16.7%, superando a los modelos fuera de línea pero fallando en capturar matices quirúrgicos complejos.
  • Variantes de SurgOnAir: Una versión de narración plana entrenada con datos del dominio (SurgOnAir-base) logró una tasa de victoria del 60.4%. El modelo completo SurgOnAir, que incorpora modelado jerárquico, logró la tasa de victoria más alta del 66.1%.
• Estudios de Ablación:
  • Jerarquía: Eliminar la estructura jerárquica (SurgOnAir-base) redujo la tasa de victoria al 39.4% frente al modelo completo, confirmando la necesidad de una guía estructural.
  • Formulación de Estado: Una variante que forzaba la predicción de estado en cada token de palabra (SurgOnAir-v1) logró un 42.5%, en comparación con el 57.5% de la formulación propuesta consciente de transiciones, lo que indica que la generación redundante de estado perjudica la fluidez de la narración.
  • Corrección de Fase: Cuando el modelo predijo correctamente la fase quirúrgica, la tasa de victoria frente al modelo base saltó al 65.8%, demostrando que una fundamentación de fase precisa apoya directamente la narración alineada contextualmente.
• Resultados Cualitativos: El modelo transita coherentemente a través de los límites procedimentales (por ejemplo, de "Introducción de Malla" a "Fijación de Malla") y mantiene una alineación temporal a nivel micro, describiendo con precisión instrumentos y anatomía en el momento de la interacción.

Significado y Afirmaciones

El artículo afirma que SurgOnAir representa el primer marco de narración quirúrgica en tiempo real construido sobre modelado jerárquico. Su significado principal radica en avanzar en la comprensión quirúrgica en tiempo real más allá de la descripción de video convencional, produciendo descripciones que son tanto alineadas temporalmente como conscientes de la jerarquía. Los autores declaran que este trabajo sienta las bases para futuras automatización quirúrgica y sistemas inteligentes de enseñanza quirúrgica.

El artículo se mantiene modesto respecto a sus limitaciones, reconociendo que la escala actual del conjunto de datos es limitada y que el modelo aún no realiza predicción de acciones futuras, señalando estos como direcciones prometedoras para una exploración adicional.