NeRFscopy: Neural Radiance Fields for in-vivo Time-Varying Tissues from Endoscopy

El artículo presenta NeRFscopy, una pipeline auto-supervisada que utiliza Campos de Radiación Neuronal (NeRF) para lograr la síntesis de vistas nuevas y la reconstrucción 3D precisa de tejidos endoscópicos deformables a partir de videos monoculares, superando a los métodos existentes en escenarios clínicos desafiantes.

Lo esencial

Imagina que el interior de tu cuerpo es como una habitación oscura y llena de muebles que cambian de forma constantemente (como un colchón de agua que se mueve). Los médicos usan un "endoscopio" (una pequeña cámara en un tubo) para ver dentro, pero esa cámara solo tiene un ojo (es monoculada) y la imagen que devuelve es plana, como una fotografía 2D.

El problema es que, si quieres entender la forma real de un órgano o planear una cirugía, necesitas ver ese "móvil de agua" en 3D, sabiendo cómo se mueve y deforma en tiempo real. Hacer esto manualmente es como intentar adivinar la forma de una goma elástica estirada solo mirando una foto borrosa de ella.

Aquí es donde entra NeRFscopy.

¿Qué es NeRFscopy? (La analogía del "Escultor Digital")

Imagina que tienes un bloque de arcilla digital invisible. NeRFscopy es un sistema inteligente que toma un video normal (2D) de una cirugía y, en lugar de solo guardar las imágenes, aprende a esculpir ese bloque de arcilla para que se parezca exactamente a lo que está viendo el médico.

Pero hay un truco: la arcilla no es rígida; es como masa de pan que se estira y se dobla.

1. El "Modelo Canónico" (La forma original): El sistema primero imagina cómo se vería el tejido en su estado "perfecto" o de reposo. Es como tener la foto de un globo desinflado.
2. El "Campo de Deformación" (El mago del movimiento): Aquí está la magia. El sistema usa una herramienta matemática llamada SE(3) (suena complicado, pero piensa en ella como un "control remoto de movimiento"). En lugar de empujar cada punto de la arcilla individualmente (lo cual sería lento y caótico), este control remoto le dice a todo el tejido: "Gira un poco aquí, estira un poco allá, y rota en esa dirección".
   • Analogía: Es como si en lugar de mover cada hoja de un árbol con la mano, pudieras controlar el viento que mueve todo el árbol de forma coherente.

¿Cómo aprende sin un profesor? (Aprendizaje Autodidacta)

Normalmente, para enseñar a una computadora a ver en 3D, necesitas mostrarle miles de ejemplos con las respuestas correctas (como un libro de soluciones). NeRFscopy es autodidacta.

• El truco: Le das el video y el sistema dice: "Voy a intentar crear un mundo 3D. Si lo muevo y lo veo desde otro ángulo, ¿se parece a lo que veo en el video real?".
• Si la imagen que genera el sistema no coincide con la realidad, el sistema se "corrige a sí mismo" (como cuando intentas armar un rompecabezas y ves que una pieza no encaja, así que la giras hasta que sí).
• Además, usa un "ayudante" (un algoritmo de profundidad) que le da una pista inicial de qué tan lejos están las cosas, para no empezar desde cero.

¿Por qué es tan bueno? (La prueba de fuego)

Los autores probaron su sistema en situaciones muy difíciles:

• Tejidos que se mueven: Corazones latiendo, pulmones respirando.
• Luz extraña: Reflejos brillantes, sangre, herramientas quirúrgicas que tapan la vista.
• Cámaras inestables: El médico mueve la cámara de forma brusca.

El resultado: NeRFscopy logró reconstruir escenas 3D tan precisas que, si le pides al sistema que genere una vista desde un ángulo que nunca grabó la cámara (como mirar el corazón desde atrás cuando la cámara estaba enfrente), el resultado es increíblemente realista y físicamente posible.

En resumen

Piensa en NeRFscopy como un traductor mágico que convierte un video plano y borroso de una cirugía en una escultura 3D interactiva y viva.

• Sin NeRFscopy: El médico ve una pantalla 2D y tiene que imaginar en su cabeza cómo se ve el órgano por detrás o cómo se deforma.
• Con NeRFscopy: El médico puede rotar el órgano en 3D, ver cómo se movía hace unos segundos, o incluso "viajar" a un ángulo nuevo para ver mejor un nódulo, todo generado automáticamente por la inteligencia artificial.

Es como pasar de mirar un mapa de papel plano a tener un globo terráqueo holográfico que puedes girar, estirar y explorar en tiempo real, ayudando a los médicos a tomar decisiones más seguras y precisas.

Resumen técnico

Resumen Técnico: NeRFscopy

1. Planteamiento del Problema

La endoscopia es una herramienta fundamental en el diagnóstico y tratamiento médico, pero la mayoría de los procedimientos utilizan endoscopios monoculares. Recuperar información 3D dinámica de tejidos biológicos in vivo a partir de videos monoculares presenta desafíos significativos debido a:

• Deformabilidad no rígida: Los tejidos internos cambian de forma constantemente.
• Condiciones visuales adversas: Cambios de iluminación, oclusiones (por fluidos o el propio endoscopio), falta de textura y desenfoque por movimiento.
• Trayectorias de cámara desconocidas: Es difícil distinguir entre el movimiento de la cámara y la deformación del tejido.
• Limitaciones de métodos existentes: Las técnicas tradicionales (SfM, fotogrametría) y los métodos recientes basados en NeRF o Gaussian Splatting suelen estar diseñados para objetos rígidos o requieren calibración de cámara y geometría inicial conocida, lo cual no es viable en endoscopia genérica.

El objetivo es desarrollar un método genérico, auto-supervisado y universal capaz de realizar síntesis de nuevas vistas y reconstrucción 3D de tejidos deformables sin depender de conocimientos previos (como plantillas o modelos pre-entrenados).

2. Metodología: NeRFscopy

Los autores proponen NeRFscopy, un pipeline basado en Campos de Radiación Neurales (NeRF) adaptado para escenas dinámicas y deformables. La arquitectura se compone de los siguientes elementos clave:

• Representación Implícita: Se utiliza una red neuronal (MLP) para representar el campo de radiancia canónico ($F_\Theta$) y un campo de deformación dependiente del tiempo ($G_\Phi$).
• Campo de Deformación SE(3): A diferencia de métodos anteriores que usan campos de desplazamiento simples, NeRFscopy emplea un campo de deformación denso parametrizado por transformaciones SE(3) (rotación y traslación rígida).
  • Esto permite capturar rotaciones complejas y simultáneas en diferentes regiones del tejido con menos parámetros que un campo de desplazamiento puro.
  • La deformación mapea puntos del espacio temporal al espacio canónico mediante un eje de tornillo ($S$) y una transformación homogénea ($Q$).
• Muestreo Guiado por Profundidad: Para adaptarse a entradas monoculares, el sistema utiliza algoritmos de estimación de profundidad pre-entrenados (como DPT o Depth-Anything) para obtener mapas de profundidad relativos. Esto guía el muestreo de rayos cerca de la superficie estimada del tejido, eliminando la necesidad de muestreo jerárquico (coarse-to-fine).
• Función de Pérdida (Loss Function): El modelo se entrena de forma auto-supervisada minimizando una función de pérdida compuesta que incluye:
  1. Pérdida Fotométrica ($L_C$): Diferencia entre píxeles renderizados y observados.
  2. Pérdida de Profundidad ($L_D$): Penaliza la desviación entre el mapa de profundidad predicho y el estimado.
  3. Regularización de Deformación Local ($L_J$): Penaliza la desviación de los valores singulares de la matriz Jacobiana de la deformación para evitar deformaciones no físicas.
  4. Regularización de Gradiente de Profundidad ($L_g$): Asegura que las discontinuidades en la profundidad estimada sean nítidas y coincidan con las del input.
  5. Suavizado de Profundidad ($L_s$): Utiliza gradientes de segundo orden para suavizar regiones planas, ponderado por la intensidad de color.
  6. Variación Temporal Total ($L_{tv}$): Enforce la coherencia temporal entre frames consecutivos para evitar cambios abruptos en la deformación.

3. Contribuciones Clave

• Enfoque Auto-supervisado Genérico: No requiere plantillas, modelos pre-entrenados específicos ni segmentación de movimiento previa. Aprende únicamente de los datos del video.
• Modelado SE(3) para Tejidos: Introduce un campo de deformación basado en transformaciones rígidas (SE(3)) en lugar de desplazamientos simples, lo que mejora la capacidad de modelar rotaciones complejas en tejidos blandos.
• Integración de Profundidad Monocular: Combina exitosamente estimadores de profundidad pre-entrenados con NeRF para abordar la falta de información de profundidad en cámaras monoculares.
• Pipeline Unificado: Propone un modelo único (un solo MLP) en lugar de modelos gruesos y finos, gracias al muestreo guiado por profundidad, lo que simplifica la arquitectura.

4. Resultados Experimentales

Los autores evaluaron NeRFscopy en cuatro videos reales de endoscopia (cirugías TECAB, lobectomía pulmonar y broncoscopia) y en el dataset público EndoNeRF.

• Métricas Cuantitativas:
  • NeRFscopy superó consistentemente al estado del arte (EndoNeRF, EndoSurf, LerPlane-32k, EndoGaussian) en métricas de PSNR y LPIPS en la mayoría de los escenarios.
  • En el dataset EndoNeRF, logró un PSNR de 37.204 (vs. 36.429 de EndoGaussian) y un LPIPS de 0.054 (mejor que todos los competidores), demostrando una mayor fidelidad visual y perceptual.
  • La ablación mostró que la combinación de términos de gradiente y suavizado mejoró el rendimiento base, aunque el término de variación temporal total a veces degradó los resultados en escenas con alto ruido o detalles de alta frecuencia.
• Evaluación Cualitativa:
  • La síntesis de nuevas vistas generó imágenes visualmente convincentes y físicamente plausibles.
  • La reconstrucción 3D capturó correctamente la topología y las deformaciones de los tejidos, permitiendo visualizar estructuras desde ángulos no presentes en el video original.
• Eficiencia: Actualmente no es en tiempo real (0.14 FPS), priorizando la precisión sobre la velocidad, aunque se planea optimizar el coste computacional en trabajos futuros.

5. Significado e Impacto

El trabajo NeRFscopy representa un avance significativo en la comprensión 3D de la visión por computadora aplicada a la medicina:

• Mejora Diagnóstica y Quirúrgica: Permite a los cirujanos visualizar estructuras anatómicas en 3D y obtener nuevas vistas de tejidos después de la intervención, facilitando la planificación de tratamientos y la toma de decisiones.
• Seguimiento de Enfermedades: Al permitir la comparación de mediciones geométricas a lo largo del tiempo, ayuda a determinar la progresión de patologías.
• Generalización: Al ser un método genérico que funciona en diversos tipos de endoscopia (gastroscopia, laparoscopia, broncoscopia) sin necesidad de reentrenamiento específico para cada tipo de tejido, ofrece una solución escalable para la comunidad médica.
• Avance en Visión No Rígida: Demuestra que los NeRF pueden adaptarse eficazmente a entornos dinámicos y desafiantes como el cuerpo humano, superando las limitaciones de los métodos tradicionales de reconstrucción 3D.