Towards Actionable Surgical Team Dynamics: from Teamwork to Counterfactual Annotations

Resumen Técnico: Hacia una Dinámica de Equipo Quirúrgico Accionable

Declaración del Problema
El trabajo en equipo eficaz en entornos de alto riesgo como los quirófanos (OR) es crítico para la seguridad del paciente, dependiendo fuertemente de habilidades no técnicas como la comunicación, la coordinación y la conciencia situacional. Si bien los avances recientes en la ciencia de datos quirúrgicos han producido conjuntos de datos multimodales (p. ej., Cholec80, MM-OR), estos recursos se centran principalmente en la comprensión visual de la escena, el reconocimiento de fases procedimentales y la detección de acciones. Carecen de representaciones integradas de fenómenos a nivel de equipo, tales como estructuras conversacionales específicas de cada hablante, evaluaciones de habilidades no técnicas y la dinámica de las rupturas de interacción. Además, los conjuntos de datos existentes suelen estar fragmentados entre modalidades y esquemas de anotación, y rara vez proporcionan información explicativa sobre por qué el desempeño del trabajo en equipo se degrada. Los modelos computacionales actuales a menudo reducen el desempeño del equipo a una única puntuación, pasando por alto la compleja interrelación de procesos individuales, interpersonales y colectivos, y no logran proporcionar cuentas interpretables necesarias para la confianza e intervención en entornos clínicos.

Metodología
Los autores proponen una extensión integral del conjunto de datos MM-OR, disponible públicamente, que contiene grabaciones multimodales sincronizadas de procedimientos de reemplazo de rodilla robótico. La metodología involucra tres componentes técnicos primarios:

1. Pipeline de Enriquecimiento Multimodal:

   • Diarización de Hablantes: Refinamiento manual de los turnos de palabra para asegurar una alta precisión temporal en el ruidoso entorno del quirófano, permitiendo el análisis de la toma de turnos, las interrupciones y el equilibrio de participación.
   • Transcripción Bilingüe: Creación de transcripciones alineadas en alemán (original) e inglés para facilitar la revisión de las anotaciones y el modelado translingüe.
   • Estructura de Datos: El recurso mantiene modalidades sincronizadas por hardware, incluyendo 5 cámaras RGB-D, 3 cámaras RGB, 3 micrófonos, registros robóticos y seguimiento 3D, todo alineado a 1 FPS.

2. Marco de Anotación de Múltiples Niveles:
   Los autores introducen un esquema de anotación jerárquico que cubre 169 clips de video de seis minutos, anotados por tres expertos utilizando marcos establecidos:

   • Nivel de Equipo: Utilizando OTAS (Evaluación Observacional del Trabajo en Equipo para Cirugía) para calificar cinco constructos (Comunicación, Coordinación, Cooperación, Liderazgo, Monitoreo) en una escala Likert de 0 a 6.
   • Nivel de Interacción: Adaptando el marco HMT (Trabajo en Equipo Humano-Máquina) para equipos exclusivamente humanos para evaluar interacciones de pares a través de cinco macrocategorías (Comunicación, Procesamiento de Información Conjunta, Coordinación, Relación Interpersonal, Motivación).
   • Nivel Individual:
     • Dinámico: Utilizando NOTSS (Habilidades No Técnicas para Cirujanos) para evaluar Conciencia Situacional, Toma de Decisiones, Comunicación/Trabajo en Equipo y Liderazgo.
     • Estático/Estable: Integración de BFTQ (Big-Five-In-Teamwork), SYMLOG (comportamiento de liderazgo/interpersonal) y GLIS (Escala de Impresión de Liderazgo General) para capturar rasgos estables y liderazgo emergente.

3. Capa de Anotación Contrafactual:
   Una contribución novedosa donde los anotadores identifican eventos o comportamientos específicos que impactaron negativamente el trabajo en equipo dentro de un segmento. Estas anotaciones incluyen:

   • Intervalos Temporales: Duraciones cortas del evento desencadenante.
   • Atribución: Identificación del constructo de equipo afectado y el agente(s) responsable(s).
   • Calificaciones de Calidad: Cinco dimensiones evaluadas en una escala ordinal de 1 a 5: Criticidad (impacto en el desempeño), Plausibilidad (realismo de la alternativa), Confianza (certeza del anotador), Minimalidad (suficiencia del cambio) y Mejora Esperada (potencial ganancia de desempeño).
   • Racionales: Explicaciones textuales que describen el evento, las consecuencias y los comportamientos alternativos sugeridos.

Contribuciones Clave

• Conjunto de Datos Multimodal Enriquecido: El primer conjunto de datos público de quirófano que combina señales multimodales puras con representaciones conscientes del hablante y del lenguaje elaboradas a mano (diarización y transcripciones bilingües).
• Marco de Anotación de Múltiples Niveles: Un recurso unificado que proporciona evaluaciones simultáneas de nivel de equipo, nivel de interacción y nivel individual derivadas de múltiples marcos teóricos validados (OTAS, HMT, NOTSS, BFTQ, SYMLOG, GLIS).
• Protocolo de Anotación Contrafactual: Una capa novedosa que captura señales explicativas para la degradación del trabajo en equipo, yendo más allá de las puntuaciones descriptivas para identificar disparadores conductuales específicos y resultados alternativos plausibles.
• Tareas de Referencia (Benchmarks): El artículo establece el desempeño base para tres direcciones de investigación distintas:
  1. Enriquecimiento de Características: Evaluación empírica y cuantificación de la utilidad de las representaciones conscientes del hablante y basadas en transcripciones, demostrando que proporcionan información complementaria y mejoran la predicción del trabajo en equipo sobre las características de audio/video puras.
  2. Predicción de Múltiples Niveles: Demostración de que las arquitecturas relacionales temporales (específicamente TE-ReNN) superan a los modelos estáticos y puramente temporales en la predicción de constructos en todos los niveles de anotación.
  3. Detección Contrafactual: Prueba de que las señales multimodales contienen patrones predictivos para identificar eventos asociados con la degradación del trabajo en equipo, logrando un desempeño significativamente por encima del azar.

Resultados

• Distribución de Anotaciones: El conjunto de datos exhibe un desequilibrio de clases moderado, con la mayoría de las calificaciones concentradas en puntuaciones intermedias-positivas (p. ej., el 62.7% de los clips califican 4 o 5 en Comunicación en OTAS), lo que refleja un desempeño de equipo generalmente competente pero no excepcional en los procedimientos registrados.
• Perspectivas Contrafactuales: Aproximadamente el 70% de los eventos contrafactuales se relacionan con fallas de comunicación, monitoreo o cooperación. La mayoría de los eventos se atribuyen a actores únicos (media de 1.3 actores), y las puntuaciones de criticidad y confianza son generalmente de bajas a moderadas, lo que sugiere que los anotadores los consideraron como ineficiencias moderadas en lugar de fallas catastróficas.
• Desempeño del Modelo:
  • Impacto de las Características: Los modelos que utilizan diarización y transcripciones superaron consistentemente a aquellos que utilizan solo características de audio y visión computacional puras.
  • Arquitectura: TE-ReNN (Redes Neuronales Temporales-Relacionales) alcanzó los puntajes F1-macro más altos en todas las tareas (p. ej., 74.2% para OTAS, 76.7% para BFTQ), confirmando que el modelado conjunto de la evolución temporal y las dependencias interpersonales es esencial para el análisis del trabajo en equipo quirúrgico.
  • Detección Contrafactual: A pesar de la escasez de eventos, los modelos alcanzaron puntajes F1-macro significativamente por encima del azar, validando la capacidad de aprendizaje de estas señales explicativas.

Significancia y Reivindicaciones
El artículo afirma cambiar el paradigma de la ciencia de datos quirúrgica de un modelado de flujo de trabajo puramente descriptivo hacia un modelado integrado, multimodal y explicable de la dinámica de equipo. Al proporcionar un recurso unificado que vincula los datos de los sensores con constructos sociales de alto nivel y explicaciones contrafactuales, este trabajo permite:

• El estudio de cómo las acciones individuales y los patrones de interacción contribuyen conjuntamente a los resultados del equipo.
• El desarrollo de sistemas colaborativos asistidos por IA capaces de identificar rupturas en el trabajo en equipo y sugerir mejoras.
• Una base para el modelado predictivo y el análisis conductual en dominios de alto riesgo.

Los autores reconocen modestamente que las anotaciones contrafactuales representan juicios de expertos sobre alternativas plausibles en lugar de mecanismos causales validados experimentalmente. También señalan que la dependencia de la anotación manual limita la escalabilidad, sugiriendo que trabajos futuros podrían explorar pipelines semiautomáticos. No obstante, el recurso se posiciona como un paso crítico hacia una IA interpretable y centrada en el humano para los equipos quirúrgicos.