Towards Comprehensive Real-Time Scene Understanding in Ophthalmic Surgery through Multimodal Image Fusion

Título: Hacia una Comprensión Integral de la Escena en Tiempo Real en Cirugía Oftálmica mediante Fusión de Imágenes Multimodales

1. Problema

La cirugía vitreorretiniana es uno de los procedimientos quirúrgicos mínimamente invasivos más complejos, donde la manipulación precisa de tejidos oculares delicados es crucial para evitar daños irreversibles en la retina.

• Limitaciones actuales: Los cirujanos dependen principalmente del microscopio operatorio (OPMI), que ofrece una visión de gran angular pero carece de resolución micrométrica para estructuras sub-superficiales y no permite una estimación precisa de la distancia entre el instrumento y la anatomía ocular.
• Oportunidad y desafío: Aunque la Tomografía de Coherencia Óptica intraoperatoria (iOCT) proporciona imágenes de cortes transversales con resolución axial micrométrica, la mayoría de los métodos existentes se limitan a entradas de una sola modalidad. No existen arquitecturas unificadas que puedan razonar sobre los flujos de datos complementarios (OPMI + iOCT) para lograr una comprensión holística de la escena quirúrgica, especialmente en tiempo real y considerando la coherencia temporal.

2. Metodología

Los autores proponen una arquitectura de red neuronal multimodal, temporal y capaz de funcionar en tiempo real, diseñada para realizar tres tareas simultáneas: detección de instrumentos, localización de puntos clave y estimación de la distancia instrumento-tejido.

• Arquitectura General:
  • Flujo OPMI: Utiliza una base YOLO-NAS-m para procesar los fotogramas del microscopio, generando pirámides de características multiescala.
  • Flujo iOCT: Emplea un codificador ResNet-18 modificado con una capa de agrupación adaptativa para extraer descriptores de columnas que representan los perfiles de profundidad (escaneos A) manteniendo la correspondencia espacial.
  • Módulo de Fusión por Atención Cruzada (Cross-Attention): Es el núcleo de la integración. Dado que OPMI es una vista de superficie y iOCT es un corte transversal ortogonal, la alineación píxel a píxel es problemática. El módulo trata las características de OPMI como queries y las características de iOCT como keys/values. Esto permite que la red inyecte selectivamente pistas de profundidad de iOCT en los mapas de características de OPMI basándose en la relevancia semántica, en lugar de una correspondencia espacial fija.
  • Módulo Recurrente (RMM): Para mejorar la coherencia temporal y la robustez ante corrupción de datos, se añade una unidad recurrente (GRU o LSTM) que procesa secuencias de descriptores regionales. Se entrena con una pérdida de contraste coseno para mantener la similitud de características incluso cuando los datos de iOCT están corruptos.
  • Cabezas de Predicción:
    • Detección y puntos clave: Basadas en la arquitectura estándar de YOLO-NAS.
    • Estimación de distancia: Se utiliza una formulación de regresión distribucional. En lugar de predecir un valor escalar, la cabeza predice una distribución de probabilidad sobre "bins" de distancia. Esto permite calcular un puntuación de certeza derivada de la nitidez de la distribución, lo cual es vital para la seguridad.

3. Contribuciones Clave

• Primera Fusión Temporal Multimodal: Presentan el primer marco de trabajo (MM y RMM) para la fusión de características temporales de OPMI e iOCT en cirugía oftálmica.
• Diseño de Fusión Adaptativa: Desarrollo de un módulo de atención cruzada que resuelve el problema de la alineación geométrica entre vistas de superficie (OPMI) y cortes transversales (iOCT) sin requerir registro rígido.
• Estimación de Distancia con Certeza: Introducción de una cabeza de regresión distribucional que no solo estima la distancia, sino que proporciona una medida de confianza/calibración, permitiendo al sistema identificar cuándo sus predicciones son fiables.
• Validación en Tiempo Real: Demostración de que la fusión multimodal puede lograrse a tasas de procesamiento de tiempo real (~22.5 ms por fotograma).

4. Resultados

Los experimentos se realizaron en un conjunto de datos sintético fotorrealista y completamente anotado (20 videos, 69,134 fotogramas) debido a la falta de datos clínicos multimodales sincronizados disponibles comercialmente.

• Precisión de Detección: El modelo multimodal (MM) alcanzó un mAP50 del 95.79%, superando significativamente al modelo de una sola modalidad (SM) que obtuvo un 94.27%.
• Estimación de Distancia (El hallazgo más importante):
  • La incorporación de iOCT redujo el error absoluto medio (dMAE) general de 480.93 µm (solo OPMI) a 128.32 µm (multimodal).
  • Interacción a corta distancia (<1 mm): La precisión mejoró drásticamente, reduciendo el error de 284 µm (solo OPMI) a apenas 33 µm (multimodal), una reducción del 88%.
• Robustez Temporal: El modelo recurrente (RMM) mantuvo un buen rendimiento de detección incluso con datos de iOCT corruptos, aunque mostró cierta dependencia excesiva de la modalidad iOCT para la percepción de profundidad cuando esta falla persistentemente (colapso de modalidad).
• Certeza: La métrica de certeza derivada de la distribución se correlacionó fuertemente con la precisión; las predicciones de alta certeza (>90%) en el modelo multimodal tuvieron un error de solo 54 µm.

5. Significado e Impacto

• Seguridad Quirúrgica: La capacidad de estimar la distancia al tejido con una precisión de micras (especialmente <1 mm) es fundamental para prevenir daños en la retina durante procedimientos delicados.
• Paradigma de Fusión: Este trabajo establece que la fusión de modalidades complementarias (apariencia + profundidad) es superior al procesamiento de una sola modalidad para la comprensión de escenas quirúrgicas, superando las limitaciones inherentes de cada sensor por separado.
• Hacia la Cirugía Guiada por Imagen: Aunque se utilizó datos sintéticos debido a las limitaciones actuales de los dispositivos comerciales, el marco demuestra la viabilidad técnica de sistemas de guía quirúrgica autónomos o de asistencia que sean conscientes de la profundidad y funcionen en tiempo real.
• Desafíos Futuros: El estudio subraya la necesidad de desarrollar mecanismos de fusión adaptativos que puedan equilibrar dinámicamente la contribución de cada modalidad cuando la calidad de los datos varía, un paso necesario para la implementación clínica robusta.