ExtraGS: Enhancing Endoscopic View Extrapolation via Diffusion-Guided 3D Gaussian Splatting

Resumen Técnico: ExtraGS

Planteamiento del Problema
La cirugía mínimamente invasiva (MIS) asistida por robot depende en gran medida de la percepción endoscópica; sin embargo, los endoscopios convencionales sufren de un campo de visión (FOV) restringido debido a las limitaciones del hardware y a los espacios anatómicos estrechos. Esta limitación crea puntos ciegos visuales, lo que puede provocar diagnósticos erróneos y obliga a los cirujanos a depender de la memoria espacial. Si bien las técnicas recientes de renderizado neuronal como los Campos de Radiancia Neuronal (NeRF) y el Splatting de Gaussianas 3D (3DGS) permiten la síntesis de vistas novedosas a partir de videos endoscópicos, presentan dificultades significativas durante la extrapolación de vistas. Cuando una cámara virtual se aleja de la trayectoria de entrenamiento hacia regiones anatómicas no observadas, la falta de entradas de imagen reales impide que las pérdidas fotométricas estándar y los sesgos geométricos proporcionen una supervisión efectiva. En consecuencia, estos métodos producen distorsiones geométricas severas, artefactos caóticos e incompletitud estructural, lo que hace que las vistas extrapoladas sean clínicamente poco fiables.

Metodología: Marco de Trabajo ExtraGS
Los autores proponen ExtraGS, un marco de trabajo que mejora la extrapolación de vistas endoscópicas integrando el splatting de Gaussianas 3D guiado por difusión. El proceso consta de cuatro etapas primarias:

1. Inicialización de la Escena y Estimación de la Región Factible:
   El proceso comienza optimizando una representación de Gaussianas 3D gruesa ($G_c$) utilizando las imágenes RGB y de profundidad endoscópicas dispersas de entrada. A partir de esta reconstrucción, se extrae una malla de superficie para definir un volumen delimitador. Luego, se construye una cuadrícula de ocupación para distinguir entre las regiones anatómicas ocupadas y el espacio libre, restringiendo la exploración de la cámara virtual subsiguiente a áreas factibles y no observadas dentro de la escena.

2. Muestreo de Cámara Virtual Guiado por la Incertidumbre:
   Para explorar activamente los puntos ciegos y maximizar la ganancia de información, el método emplea una novedosa estrategia de muestreo de cámara virtual dentro de la región factible. Esta estrategia está adaptada a las escenas endoscópicas e incorpora:

   • Exploración consciente de la iluminación: Prioriza direcciones alineadas con las regiones más oscuras de la imagen actual, ya que estas áreas suelen estar sub-parametrizadas y son propensas a errores de reconstrucción.
   • Control de pose consciente de los pliegues: Penaliza los cambios abruptos de punto de vista para asegurar un movimiento de cámara suave, evitando la inestabilidad en estructuras anatómicas complejas y plegadas.
   • Ganancia de cobertura: Rastrea el número de pares dirección-Gaussianas recién observados para asegurar una cobertura exhaustiva de la escena.

3. Mejora de Vista Guiada por Difusión:
   Los renderizados iniciales de los puntos de vista virtuales muestreados suelen contener artefactos (por ejemplo, huecos, "floaters", desenfoque). En lugar de depender únicamente de la interpolación, el marco utiliza un modelo de difusión de video 2D como un sesgo (prior) para refinar estas imágenes. El modelo de difusión toma el renderizado grueso y la vista de entrada real más cercana (como un ancla visual) para generar pseudo-observaciones de alta fidelidad. Este paso efectivamente "alucina" estructuras anatómicas plausibles para las regiones no observadas, preservando al mismo tiempo pistas confiables de los datos reales.

4. Ajuste Fino Conjunto Ponderado por Confianza:
   Para evitar que las pseudo-observaciones generadas degraden las regiones ya bien reconstruidas, los autores introducen una estrategia de optimización ponderada por confianza. Esto implica dos niveles de ponderación:

   • Confianza a nivel de imagen: Basada en la Intersección sobre Unión de Gaussianas (G-IoU), que mide el solapamiento entre las Gaussianas visibles en la vista virtual frente a la vista de referencia. Un menor solapamiento genera un mayor peso, enfatizando la información complementaria.
   • Confianza a nivel de píxel: Basada en las diferencias perceptuales (LPIPS) entre el renderizado grueso y la imagen mejorada por difusión, centrando el refinamiento en los píxeles donde el modelo de difusión realizó correcciones significativas.
     El modelo 3DGS se ajusta conjuntamente utilizando tanto las observaciones reales originales como las pseudo-observaciones ponderadas por confianza.

Contribuciones Clave

• Marco de Trabajo ExtraGS: Una novedosa integración de sesgos de difusión 2D en 3DGS endoscópico para resolver problemas severos de artefactos durante la extrapolación de vistas de base amplia.
• Muestreo Guiado por la Incertidumbre: Un mecanismo que apunta activamente a los puntos ciegos anatómicos utilizando estrategias conscientes de la iluminación y los pliegues para maximizar la ganancia de información.
• Ajuste Fino Ponderado por Confianza: Una estrategia de ponderación de doble nivel que incorpora contenido generado por difusión para llenar áreas no observadas mientras preserva la integridad de las estructuras 3D reconstruidas con precisión.
• Rendimiento de Estado del Arte: Evaluaciones exhaustivas que demuestran un rendimiento superior tanto en la síntesis de vistas novedosas como en tareas de extrapolación de base amplia en comparación con métodos existentes.

Resultados Experimentales
El método fue evaluado en el conjunto de datos C3VDv2, un conjunto de datos de colonoscopia caracterizado por estructuras tubulares estrechas, pliegues repetitivos y oclusiones propias. Los autores compararon ExtraGS contra 3DGS estándar, GaussianPancakes y UCNeRF bajo dos configuraciones desafiantes: disponibilidad de vistas dispersas (Cecum t1) y trayectorias distanciadas/complejas (Ascending t2).

• Rendimiento Cuantitativo: ExtraGS logró la relación señal-ruido de pico (PSNR) y el índice de similitud estructural (SSIM) más altos en ambos escenarios. Por ejemplo, en el escenario de vistas dispersas Cecum t1, ExtraGS alcanzó un PSNR de 20.23 dB y un SSIM de 0.769, superando a UCNeRF (19.22 dB, 0.541) y al 3DGS estándar (18.74 dB, 0.673). En el escenario distanciado Ascending t2, mantuvo un robusto PSNR de 18.75 dB y un SSIM de 0.857, mientras que GaussianPancakes sufrió una caída severa a 10.39 dB.
• Rendimiento Cualitativo: Las comparaciones visuales mostraron que, mientras los métodos de base exhibían artefactos ruidosos, sobre-suavizado o desenfoque catastrófico, ExtraGS reconstruyó con éxito topologías de tejido complejas, redes vasculares finas y reflejos especulares con alta fidelidad.
• Estudios de Ablación: Eliminar los componentes conscientes de la iluminación y los pliegues resultó en una ligera degradación del rendimiento, confirmando la utilidad de estas elecciones de diseño específicas para entornos endoscópicos.

Significancia y Reivindicaciones
El artículo afirma que ExtraGS reduce significativamente los artefactos de extrapolación y logra un rendimiento de estado del arte en la síntesis de vistas novedosas endoscópicas. Al aprovechar los sesgos generativos para proporcionar supervisión en áreas no observadas, el marco expande efectivamente el campo de visión utilizable y mejora la fiabilidad de la reconstrucción. Los autores sugieren que esta capacidad tiene un valor potencial para la planificación preoperatoria, la navegación intraoperatoria y el diagnóstico retrospectivo en la cirugía mínimamente invasiva asistida por robot.

Sin embargo, los autores mantienen la modestia respecto al alcance actual del trabajo. Declaran explícamente que el marco asume escenas relativamente estáticas y aún no ha sido validado para la ejecución en tiempo real, iluminación dinámica, oclusión de instrumentos o deformación de tejidos. Por lo tanto, los resultados actuales demuestran el potencial del enfoque en lugar de una fiabilidad intraoperatoria validada, siendo necesario el trabajo futuro para abordar estos factores dinámicos para una reconstrucción 4D robusta.