Seeing Through Smoke: Surgical Desmoking for Improved Visual Perception

1. El Problema

La cirugía mínimamente invasiva y asistida por robot depende críticamente de la imagen endoscópica. Sin embargo, el uso de instrumentos de alta energía (como electrocauterios y selladores de vasos) genera humo quirúrgico (vapor de agua y subproductos de proteínas/lípidos). Este humo degrada severamente la percepción visual, oscureciendo detalles finos de los tejidos, lo que puede prolongar el tiempo quirúrgico y aumentar el riesgo de errores. Además, el humo afecta negativamente a las funciones de asistencia por computadora, como la segmentación de instrumentos, el seguimiento de herramientas y la reconstrucción 3D.

Los métodos actuales de evacuación física (succión) tienen limitaciones, como la alteración de la presión intraabdominal o la introducción de aire ambiente. La eliminación digital del humo es una alternativa atractiva, pero enfrenta dos grandes desafíos:

• Escasez de datos: La falta de pares de imágenes "con humo" y "sin humo" (ground truth) en escenarios reales (in vivo).
• Complejidad física: El humo quirúrgico varía en densidad y movimiento, y su dispersión no uniforme puede confundirse con texturas anatómicas, diferenciándose del neblina atmosférica tradicional.

2. Metodología

Los autores proponen un enfoque integral que abarca el modelo de red neuronal, la generación de datos sintéticos y la creación de un nuevo conjunto de datos de referencia.

A. Modelo de Deshumo Basado en Transformadores

El modelo es una arquitectura end-to-end que combina:

• Backbone: Un Vision Transformer (ViT-Base) preentrenado con pesos de un Masked Autoencoder (MAE) en un corpus grande de imágenes quirúrgicas.
• Decodificador: Bloques DPT (Dense Prediction Transformer) para fusionar representaciones latentes de múltiples escalas.
• Cabeza de Deshumo (Physics-Inspired Head): Inspirada en modelos de dispersión atmosférica, predice simultáneamente la imagen libre de humo ($J$) y un mapa de humo ($S$).
  • Utiliza la ecuación de dispersión atmosférica: $I = Jt + A(1-t)$.
  • En lugar de estimar parámetros físicos directamente, la red regresa un tensor 4D $O = [K, B]$ para reconstruir la imagen limpia mediante la relación $J = KI - B + I$, donde $K$ y $B$ son derivados de la transmisión y la luz ambiental.
  • El mapa de humo se predice como una función del término de "luz aérea" ($A(1-t)$).

B. Generación de Datos Sintéticos

Para superar la falta de datos reales emparejados, desarrollaron una tubería de generación sintética:

• Utilizaron 10,000 imágenes endoscópicas reales libres de humo.
• Generaron mapas de humo sintéticos con diversas densidades y patrones espaciales.
• Fusionaron los mapas con las imágenes reales usando alpha blending con corrección de canales RGB y mejora de iluminación.
• Aplicaron randomización de dominio (color, transparencia, coeficientes de mezcla) para reducir la brecha sim-to-real.
• Resultado: Un conjunto de entrenamiento de 80,000 pares de imágenes (512x640).

C. Nuevo Conjunto de Datos de Referencia (Benchmark)

Los autores curaron, hasta donde se sabe, el mayor conjunto de datos emparejado de humo quirúrgico disponible públicamente:

• Fuente: Capturado con el sistema quirúrgico robótico da Vinci de Intuitive Surgical.
• Estrategia: Tejidos de cerdo en una cámara sellada. Se utilizó una estrategia de captura bidireccional (ocultamiento progresivo con humo y limpieza progresiva con succión) para obtener pares de imágenes idénticas en un espectro continuo de densidades de humo.
• Especificaciones: 5,817 pares de imágenes estereoscópicas de alta resolución (1024x1280), incluyendo mapas de profundidad y etiquetas de segmentación de herramientas.

3. Resultados Principales

Las evaluaciones se realizaron en el conjunto de datos público De-Smoking y en el nuevo conjunto de datos de referencia de los autores.

• Reconstrucción de Imagen:

  • El método propuesto superó a 8 métodos de referencia (incluyendo enfoques basados en CNN, transformadores y modelos de difusión) en métricas de SSIM y PSNR.
  • En el conjunto de datos de referencia (alta resolución), el modelo alcanzó un SSIM promedio de 0.73 y un PSNR de 20.61, demostrando una recuperación superior del contenido de la escena con mínima distorsión de color y pocos artefactos.
  • El modelo corre a 52 FPS en una GPU NVIDIA RTX 6000, lo que lo hace viable para tiempo real.

• Impacto en Tareas de Visión por Computadora (Downstream):

  • Segmentación de Instrumentos: El deshumo mejoró significativamente la precisión (IoU) en la segmentación de instrumentos, ya que aumenta el contraste local y aclara los bordes. El modelo propuesto logró el 81.81% de IoU (tras fine-tuning), superando a la imagen sin procesar.
  • Estimación de Profundidad Estéreo: Curiosamente, el deshumo no mejoró consistentemente la estimación de profundidad. De hecho, el modelo base sin deshumo (None) a veces rindió mejor. Los autores sugieren que los modelos fundacionales (como FoundationStereo) son robustos al humo, y que el proceso de deshumo puede alterar las estadísticas de la imagen, rompiendo la consistencia de características izquierda-derecha crítica para el emparejamiento estéreo.

4. Contribuciones Clave

1. Arquitectura Híbrida: Desarrollo de un modelo basado en ViT con una cabeza de deshumo inspirada en la física que predice conjuntamente la imagen limpia y el mapa de humo.
2. Pipeline de Datos Sintéticos: Creación de una tubería eficiente para generar 80k pares de entrenamiento, abordando la escasez crítica de datos reales emparejados.
3. Nuevo Benchmark: Publicación del conjunto de datos más grande y de mayor resolución (5,817 pares estereoscópicos) para la eliminación de humo quirúrgico, incluyendo anotaciones para tareas posteriores.
4. Evaluación Holística: Análisis exhaustivo que no solo mide la calidad de la imagen, sino también el impacto en algoritmos de visión por computadora downstream, revelando matices importantes sobre cuándo el deshumo es beneficioso.

5. Significado e Impacto

Este trabajo representa un paso importante hacia la cirugía robótica asistida por computadora. Al demostrar que la eliminación digital del humo puede restaurar la visibilidad anatómica y mejorar tareas críticas como la segmentación de instrumentos, se valida su utilidad clínica.

Sin embargo, el estudio también ofrece una advertencia importante: la eliminación de humo no es una solución universal para todos los algoritmos de visión (como la profundidad estéreo), lo que subraya la necesidad de integrar estas técnicas de manera inteligente en los pipelines quirúrgicos. El enfoque propuesto sienta las bases para futuras implementaciones en tiempo real y una integración más estrecha con intervenciones quirúrgicas asistidas por computadora, reduciendo la dependencia de hardware especializado y aumentando la autonomía del cirujano.