A generalizable foundation model for intraoperative understanding across surgical procedures

Resumen Técnico: ZEN, un Modelo Fundamental para Cirugía Mínimamente Invasiva

1. El Problema

La cirugía mínimamente invasiva (MIS) depende críticamente de la interpretación visual en tiempo real para la toma de decisiones clínicas. Sin embargo, la percepción intraoperatoria varía significativamente entre cirujanos y procedimientos, lo que limita la evaluación consistente, la formación y el desarrollo de sistemas de inteligencia artificial (IA) fiables.

• Limitaciones actuales: La mayoría de los modelos de IA quirúrgica existentes están diseñados para tareas estrechamente definidas (ej. reconocimiento de fases en un solo tipo de cirugía) y no generalizan bien a través de diferentes procedimientos, anatomías o instituciones.
• Barreras de escalabilidad: El desarrollo de estos modelos suele depender de grandes conjuntos de datos anotados manualmente, lo cual es costoso y difícil de escalar, especialmente para video.
• Falta de unificación: No existe un modelo fundamental (Foundation Model) que abarque simultáneamente la comprensión del flujo de trabajo quirúrgico, la percepción espacial densa (segmentación, profundidad) y la comprensión visión-lenguaje.

2. Metodología

Los autores presentan ZEN, un modelo fundamental generalizable diseñado para el análisis de video quirúrgico. La metodología se basa en tres pilares principales:

• Construcción de un Dataset Masivo y Diverso:

  • Se curó un conjunto de datos de preentrenamiento a gran escala con 4,316,410 cuadros extraídos de más de 4,780 videos.
  • Cubre 21+ procedimientos quirúrgicos y 10 órganos diferentes, incluyendo tanto datos públicos como internos (del Samsung Medical Center).
  • Incluye procedimientos abdominales, ginecológicos, urológicos y de cirugía general.

• Estrategia de Preentrenamiento y Arquitectura:

  • Comparación de Estrategias: Primero, se evaluaron sistemáticamente múltiples estrategias de aprendizaje auto-supervisado (SSL) como MAE, MoCoV3, MSN y SimDINOv2. Se identificó que SimDINOv2 ofrecía el mejor rendimiento general.
  • MIS-DINOv2: Se escaló SimDINOv2 a una arquitectura ViT-Large para crear un experto visual potente llamado MIS-DINOv2.
  • Distilación Multi-Profesor (Multi-Teacher Distillation): Para unificar las fortalezas de diferentes enfoques, se introdujo ZEN mediante una estrategia de distilación de características.
    • Profesores: Se utilizaron dos modelos expertos congelados:
      1. MIS-DINOv2 (ViT-Large): Experto en representaciones espaciales de alta fidelidad.
      2. PeskaVLP (ResNet50): Experto en alineación visión-lenguaje (entrenado con pares video-narración).
    • Estudiante: ZEN, un modelo ViT-Base más ligero.
    • Mecanismo: Se emplearon adaptadores (adaptors) para alinear las representaciones de características de los profesores con las del estudiante, utilizando una función de pérdida que combina similitud coseno y pérdida smooth-L1. Se aplicó "teacher dropping" estocástico para evitar el sesgo hacia un solo profesor.

• Evaluación Unificada:

  • Se estableció un benchmark clínico con 20 tareas divididas en tres dominios:
    1. Comprensión del flujo de trabajo: Reconocimiento de fases, tripletes de acción (Instrumento-Verbo-Objetivo) y evaluación de habilidades (Criterio de Seguridad Crítica).
    2. Comprensión espacial densa: Segmentación semántica, segmentación de instancias y estimación de profundidad monoculares.
    3. Comprensión visión-lenguaje: Preguntas y respuestas visuales (VQA) cerradas y abiertas, recuperación cruzada de modalidades y reconocimiento de fases zero-shot.

3. Contribuciones Clave

1. ZEN (Modelo Fundamental): Un modelo único que supera a los modelos existentes en una amplia gama de tareas quirúrgicas, logrando un equilibrio entre la comprensión espacial y la capacidad de razonamiento visión-lenguaje.
2. Estrategia de Distilación Multi-Profesor: Demostración de que es posible transferir conocimientos de modelos grandes y especializados (visión pura y visión-lenguaje) a un modelo más compacto, preservando tanto la precisión espacial como la capacidad de alineación semántica con el texto.
3. Benchmark Exhaustivo: La creación de la evaluación más completa hasta la fecha para modelos fundamentales quirúrgicos, cubriendo 20 tareas en 9 procedimientos diferentes, incluyendo escenarios de few-shot (pocos datos) y zero-shot.
4. Generalización Robusta: Evidencia de que el modelo preentrenado mantiene un alto rendimiento incluso cuando la columna vertebral (backbone) está congelada, lo que indica que ha aprendido representaciones ricas y transferibles.

4. Resultados

ZEN demostró un rendimiento superior en comparación con los modelos fundamentales quirúrgicos existentes (como EndoFM, GSViT, EndoViT, SurgeNet, PeskaVLP) y modelos generales (ImageNet):

• Rendimiento General: En el escenario de columna vertebral congelada (frozen-backbone), ZEN obtuvo la puntuación promedio más alta (0.579) y el mejor rango medio (1.0), superando al siguiente mejor modelo (SurgeNet). En el ajuste fino completo (full fine-tuning), ZEN también lideró con un puntaje de 0.603.
• Flujo de Trabajo Quirúrgico:
  • Superó consistentemente a otros modelos en el reconocimiento de fases en tres conjuntos de datos (Cholec80, MultiBypass140, AutoLaparo).
  • Logró el mejor rendimiento en el reconocimiento de tripletes de acción (IVT) en datasets de colecistectomía y hepatectomía.
  • En la evaluación de habilidades (Criterio de Seguridad Crítica), ZEN igualó o superó a modelos totalmente ajustados, incluso con su backbone congelado.
• Comprensión Espacial:
  • Obtuvo los mejores puntajes de Dice en segmentación semántica y de instancias en datasets externos (GraSP, DSAD).
  • Mostró una estimación de profundidad superior, especialmente en el dataset Hamlyn, con errores relativos absolutos (Abs-Rel) significativamente menores.
• Comprensión Visión-Lenguaje:
  • En tareas de VQA (cerrada y abierta), ZEN superó a los modelos de visión pura y se acercó o superó a PeskaVLP (el profesor de visión-lenguaje), a pesar de no tener supervisión directa de lenguaje durante su entrenamiento principal.
  • Logró un rendimiento notable en tareas zero-shot (recuperación cruzada y reconocimiento de fases sin entrenamiento específico), demostrando una fuerte capacidad de generalización semántica.
• Eficiencia de Datos (Few-Shot): ZEN mostró un rendimiento excepcional en escenarios con datos limitados (1-5 videos de entrenamiento), superando a modelos que requieren grandes cantidades de datos etiquetados.

5. Significado e Impacto

• Hacia una Representación Unificada: El trabajo sugiere que es posible desarrollar un único modelo fundamental que capture tanto la geometría y la anatomía como el contexto semántico y lingüístico de la cirugía, superando la fragmentación actual de los modelos quirúrgicos.
• Viabilidad Clínica: La capacidad de ZEN para generalizar a procedimientos no vistos durante el preentrenamiento (ej. cirugía de hipófisis, aunque el entrenamiento fue mayoritariamente abdominal) es crucial para la implementación en el mundo real, donde los sistemas de IA deben adaptarse a nuevas instituciones y técnicas.
• Reducción de la Dependencia de Anotaciones: El fuerte rendimiento en configuraciones frozen-backbone y few-shot indica que ZEN puede ser una herramienta poderosa en entornos clínicos donde las anotaciones de video son escasas o costosas.
• Futuro de la IA Quirúrgica: ZEN proporciona una base sólida para aplicaciones futuras como asistencia intraoperatoria en tiempo real, evaluación objetiva de habilidades quirúrgicas y sistemas de interfaz hombre-máquina más interactivos y comprensivos.

En conclusión, ZEN representa un avance significativo hacia la democratización y estandarización de la inteligencia artificial en cirugía, ofreciendo un modelo robusto, generalizable y eficiente que aborda las complejidades visuales y cognitivas de los procedimientos mínimamente invasivos.