Action-grounded tissue affordance enables anticipatory auto-framing that lowers surgeon cognitive workload during laparoscopic surgery

Resumen Técnico: Afordancia de Tejido Basada en la Acción para el Encuadre Automático Anticipatorio en Cirugía Laparoscópica

Planteamiento del Problema

La cirugía laparoscópica presenta desafíos cognitivos significativos debido a la disociación entre los ejes visual y motor, las vistas restringidas en dos dimensiones y la necesidad de un asistente de cámara que interprete la intención del cirujano. Aunque los modelos de atención computacional podrían aliviar esta carga mediante la predicción de regiones de interés (ROI), su despliegue en cirugía se ve obstaculizado por el "cuello de botella del etiquetado". A diferencia de las imágenes naturales, las ROI quirúrgicas no son estructuras anatómicas estáticas, sino objetivos dinámicos dictados por la intención funcional. La identificación de estos objetivos requiere un conocimiento procedimental especializado que es intrínsecamente tácito; los expertos convergen en los loci de interacción, pero no pueden articular las reglas explícitas que rigen su selección. En consecuencia, la generación de anotaciones densas por fotograma para entrenar modelos de aprendizaje profundo depende de un grupo escaso de cirujanos expertos, lo que hace que la supervisión manual sea prohibitivamente costosa y poco escalable. Además, los enfoques existentes suelen depender del seguimiento reactivo de instrumentos, lo cual falla al no anticipar la intención del ciruja antes de que la herramienta llegue al objetivo.

Metodología

Los autores proponen un marco que deriva la supervisión de la acción en lugar de la anotación manual, pasando de la identificación de puntos de referencia estáticos a una interpretación de la intención quirúrgica basada en la acción. La metodología consta de tres componentes principales:

1. DiffeoAfford (Afordancia Difeomórfica):

   • Concepto: Un flujo de trabajo orientado a la retrospectiva que deduce retrospectivamente los loci de interacción quirúrgica (Puntos Calientes de Afordancia o AH, por sus siglas en inglés) a partir de procedimientos completados.
   • Mecanismo: El sistema utiliza el Segment Anything Model 2 (SAM2) para segmentar instrumentos y extraer las puntas. Para abordar la deformación no rígida de los tejidos blandos, que invalida las transformaciones globales simples, DiffeoAfford emplea un seguimiento con restricciones deomorfismo. Esto combina transformaciones globales (para el movimiento de la cámara) con campos de deformación deforma local para establecer correspondencias densas píxel a píxel a través de los fotogramas.
   • Generación de Etiquetas: Los puntos de la punta del instrumento se agregan en un fotograma de consulta y se propagan a todos los demás fotogramas mediante campos de desplazamiento. Estos puntos se filtran y se ajustan a una distribución Gaussiana 2D para generar "etiquetas suaves" (mapas de calor) continuas que representan la afordancia del tejido.
   • Refinamiento Temporal: El flujo de trabajo segmenta automáticamente los clips de video basados en la longitud del instrumento y la visibilidad de los AH, asegurando que las etiquetas correspondan a demostraciones de acción única coherentes.

2. Predicción de Afordancia en Tiempo Real:

   • Un modelo de aprendizaje profundo (SegFormer) se entrena sobre el conjunto de datos de AH generado automáticamente.
   • Este modelo predice puntos calientes de afordancia en tiempo real desde la escena quirúrgica sin requerir etiquetas manuales durante la inferencia.
   • El centroide predicho del mapa de calor sirve como el objetivo para el control de la vista.

3. Aplicación de AffordView:

   • Un sistema de encuadre automático anticipatorio que recorta y aumenta dinámicamente el video original para centrar el locus de interacción predicho.
   • A diferencia de los sistemas reactivos o de los asistentes de cámara humanos que infieren la intención a partir de la imagen actual, AffordView alinea proactivamente el campo de visión (FoV) con el objetivo quirúrgico predicho, aprovechando el sesgo de fijación natural del cirujano hacia el centro en los monitores.

Contribuciones Clave

• Supervisión Basada en la Acción: El artículo introduce un método novedoso para generar etiquetas de afordancia densas por fotograma sin anotación manual, aprovechando las propias trayectorias de los instrumentos del cirujano como una verdad de terreno retrospectiva.
• Flujo de Trabajo DiffeoAfford: El desarrollo de un marco de seguimiento que integra deformaciones deomorficas para manejar la dinámica de los tejidos blandos, superando a las líneas de base de transformación global (similitud y homografía) en precisión de localización.
• Anticipatorio vs. Reactivo: La demostración de que la predicción de la afordancia basada en la acción puede anticipar la mirada del cirujano y el movimiento de cámara subsiguiente de manera más efectiva que el seguimiento reactivo de instrumentos o los asistentes de cámara humanos.
  �* Validación Clínica: Una evaluación exhaustiva de la aplicación AffordView utilizando cuestionarios de carga de trabajo subjetiva, electroencefalografía (EEG), pupilometría y seguimiento ocular en un estudio intraoperatorio emparejado.

Resultados

• Precisión de la Fundamentación: En el conjunto de datos público Cholec80, las etiquetas generadas por DiffeoAfford alcanzaron una precisión de anotación estadísticamente equivalente a la de anotadores noveles provistos de contexto procedimental completo y coincidieron estrechamente con el consenso de cirujanos experimentados. En el conjunto de datos privado LCET, las etiquetas fundamentadas se alinearon con la mirada intraoperatoria del cirujano sin diferencias significativas en comparación con los anotadores junior con contexto.
• Rendimiento de la Predicción:
  • Alineación Temporal: En el conjunto de datos LCET, el modelo de predicción de AH mostró retrasos de centroide significativamente más cortos respecto a la mirada del cirujano en comparación con la mirada del asistente de cámara (p. ej., -0.033s frente a 0.185s durante la disección del triángulo de Calot).
  • Alineación Espacial: Las predicciones de AH estuvieron significativamente más cerca de la mirada del cirujano que tanto la mirada del asistente de cámara como el centro de la imagen.
  • Pronóstico del Movimiento de la Cámara: En el conjunto de datos AutoLaparo (histerectomía), el modelo logró una consistencia direccional del 95.16% con el movimiento de cámara subsiguiente inmediatamente antes de que ocurriera el movimiento. A diferencia de las líneas de base de seguimiento de instrumentos, que se degradan rápidamente a medida que el intervalo temporal aumenta, la predicción de AH mantuvo una estabilidad de precisión en horizontes más largos.
• Experiencia del Usuario y Carga Cognitiva:
  • Preferencia: En una encuesta multicéntrica (28 cirujanos), el AffordView impulsado por AH fue significativamente preferido sobre las vistas sin ajuste (77.1% de preferencia) y las líneas de base de seguimiento de instrumentos (75.4% de preferencia) en cuanto a la precisión del FoV.
  • Métricas Fisiológicas: En un estudio intraoperatorio emparejado (12 pares de colecistectomías), el grupo experimental que utilizó AffordView mostró reducciones significativas en los marcadores de carga de trabajo cognitivo:
    • EEG: Disminución de la relación theta/alfa (TAR) y del poder alfa occipital durante las fases objetivo.
    • Pupilometría: Reducción del Índice de Actividad Pupilar (IPA).
    • Conductual: Una reducción significativa en el número de instrucciones verbales emitidas a los asistentes de cámara.
  • Métricas Subjetivas: Los cirujanos reportaron demandas mentales y físicas significativamente menores en la escala SURG-TLX.

Significancia y Reivindicaciones

El artículo sostiene que derivar la supervisión de la acción en lugar de la anotación ofrece una vía escalable hacia la asistencia anticipatoria en el quirófano. Al fundamentar la afordancia del tejido retrospectivamente, el sistema cierra la brecha entre los datos sensoriales brutos y el razonamiento cognitivo de alto nivel sin depender del conocimiento tácito de los expertos para el etiquetado.

Los autores enfatizan que su enfoque no se limita a rastrear instrumentos, sino que predice dónde se espera que ocurra la interacción, alineando la interfaz digital con las restricciones visuales y motoras humanas (específicamente el sesgo central y las estrategias de "ojo tranquilo" o quiet eye). Esta alineación reduce el costo neural de la rotación mental compensatoria y la carga cognitiva extraña. El estudio concluye que, si bien el sistema no reemplaza al cirujano, actúa como una herramienta de inteligencia aumentada que amplifica las capacidades humanas al gestionar proactivamente el campo visual, mitigando así la sobrecarga cognitiva inherente a la cirugía laparoscópica. Los autores mantienen la modestia, señalando que el sistema actualmente carece de razonamiento semántico (por ejemplo, distinguir tejido maligno) y que los beneficios cognitivos observados no implican necesariamente la preservación de la vigilancia periférica, la cual no fue medida.