Resumen Técnico: Trazado de Rayos Foveado Híbrido con Gaussianos Periféricos para Anatomía Inmersiva

Declaración del Problema

La visualización de la anatomía médica a partir de datos volumétricos (TC, RM) es fundamental para la educación, el diagnóstico y la planificación. Sin embargo, los flujos de trabajo tradicionales dependen de cortes transversales en 2D, lo que obliga a los usuarios a reconstruir mentalmente las relaciones espaciales 3D, una tarea cognitivamente exigente. Si bien la Realidad Virtual (RV) inmersiva y el trazado de rayos volumétrico de alta fidelidad ofrecen una percepción de profundidad y realismo superiores, enfrentan barreras computacionales significativas. El trazado de rayos directo a las altas resoluciones y tasas de refresco requeridas para una RV cómoda es prohibitivamente costoso. Por el contrario, las representaciones intermedias precomputadas, como el Splatting de Gaussianos 3D (3DGS), ofrecen velocidades de renderizado elevadas pero suelen requerir un preprocesamiento exhaustivo, carecen de interactividad total (por ejemplo, cambios en la función de transferencia dinámica) y sacrifican el detalle anatómico fino en comparación con el renderizado directo. Además, las estrategias de renderizado foveado existentes suelen depender de geometrías proxy estáticas o presentan dificultades con la latencia y las oclusiones de salida al escalar a pantallas de alta resolución. Existe una brecha para lograr un sistema que equilibre la alta fidelidad visual, la interactividad en tiempo real y un bajo costo computacional para dispositivos de RV móviles o autónomos.

Metodología

Los autores proponen un flujo de trabajo de renderizado híbrido que integra un trazado de rayos foveado transmitido por streaming para la visión central (fóvea) con un modelo de Splatting de Gaussianos 3D (3DGS) generado rápidamente y refinado continuamente para la visión periférica. El sistema opera bajo una arquitectura de renderizado dividido, separando las tareas computacionalmente intensivas del visor ligero en tiempo real.

Componentes del Sistema

1. Trazador de Rayos Volumétrico:

   • Genera imágenes foveadas de alta calidad y datos de profundidad basados en la pose de la cabeza del usuario.
   • Utiliza un trazador de rayos limitado (máximo 4 rebotes) con recuentos de muestras que oscilan entre 8 y 32 SPP (muestras por píxel).
   • Emplea NVIDIA OptiX para la reducción de ruido (denoising), utilizando acumulación temporal con vectores de movimiento y buffers de albedo para fotogramas interactivos.
   • Genera una nube de puntos inicial mediante el lanzamiento de rayos para encontrar el primer impacto significativo en las superficies del volumen, coloreados con la misma lógica de trazado de rayos.

2. Entrenamiento del Modelo Periférico (3DGS):

   • Inicialización: Crea un modelo periférico inicial en menos de un segundo utilizando un pequeño conjunto de imágenes con pose definida (por ejemplo, 12 vistas a 8 SPP). Adapta Mini-Splatting2 para una reconstrucción rápida, omitiendo pasos de densificación y aplicando simplificación de forma temprana para evitar artefactos de tipo "flotante" (floaters).
   • Refinamiento Continuo: A medida que el usuario interactúa, se alimentan nuevas imágenes foveadas al subsistema de entrenamiento. Un heurístico filtra las vistas basadas en umbrales de posición y ángulo para evitar datos redundantes. El modelo se optimiza periódicamente (recargando los Gaussianos existentes como inicialización) para incorporar nuevos detalles, lo que permite que el modelo periférico mejore su calidad con el tiempo sin un preprocesamiento extensivo.
   • Optimización: El sistema utiliza entrenamiento de alfa y fondos aleatorios para gestionar mejor las estructuras médicas semitransparentes.

3. Visor en Tiempo Real:

   • Se ejecuta en hardware de consumo o visores de RV autónomos (por ejemplo, Meta Quest 3).
   • Reproyección Guiada por Profundidad: Para enmascarar la latencia entre el trazador de rayos y el visor, el sistema proyecta la imagen foveada sobre una malla deformada por los datos de profundidad provenientes de los puntos de primer impacto del trazador de rayos. Esto desacopla la velocidad de renderizado de la tasa de refresco de la pantalla.
   • Composición: La imagen foveada trazada por rayos se compone con la nube de Gaussianos 3D periférica. Se aplica un recorte en forma de frustum al modelo 3DGS en la región foveal para evitar artefactos de mezcla con áreas transparentes.
   • Mezcla (Blending): Se aplican ajustes al tamaño y la opacidad de los splats para compensar la subestimación de estructuras pequeñas (como vasos sanguíneos) durante el entrenamiento de baja resolución.

Contribuciones Clave

El artículo identifica tres contribuciones principales:

1. Flujo de Trabajo de Renderizado Híbrido: Un novedoso sistema que integra el trazado de rayos foveado transmitido por streaming con una nube periférica de 3DGS regenerativa, permitiendo una visualización anatómica de alta fidelidad que es tanto interactiva como computacionalmente eficiente.
2. Reproyección Guiada por Profundidad: Un método para ocultar la latencia y desacoplar la velocidad de renderizado de las tasas de refresco de la pantalla mediante el uso de datos de profundidad del trazador de rayos para guiar la reproyección de las imágenes foveadas, mejorando la robustez ante el movimiento de la cabeza.
3. Evaluación de la Generación Interactiva: Un estudio empírico que demuestra que el modelo periférico puede regenerarse en menos de un segundo y refinarse continuamente, ofreciendo un compromiso entre el tiempo de configuración y la fidelidad visual que supera al trazado de rayos independiente y al 3DGS precomputado.

Resultados

El sistema fue evaluado en volúmenes médicos ("Fullbody" y "Leg") utilizando métricas perceptuales (LPIPS, PSNR enmascarado, SSIM) y pruebas de rendimiento.

• Velocidad de Inicialización: Un modelo perifrico inicial puede generarse en aproximadamente 300–400 ms, completando la reconstrucción total en menos de un segundo. Esto es significativamente más rápido que el tiempo de 1 a 2 minutos requerido para la configuración estándar de 3DGS en entornos comparables.
• Calidad Visual:
  • Región Foveal: El enfoque híbrico ofrece una calidad visual superior en la región foveal en comparación con el trazado de rayos en tiempo real en tiempos de fotograma similares, particularmente en métricas perceptuales (LPIPS).
  • Región Periférica: El método supera al trazado de rayos en tiempo real independiente en la periferia y ofrece una calidad competitiva respecto al 3DGS precomputado, pero con una fracción de su tiempo de configuración.
  • Refinamiento Continuo: A medida que el modelo se refina con vistas adicionales (hasta 512 vistas), la calidad visual mejora, con el recuento de Gaussianos creciendo de ~10k a ~50k. Sin embargo, las ganancias marginales disminuyen después de ~2000 iteraciones.
• Rendimiento: El sistema logra >72 FPS en un Meta Quest 3. El renderizado del modelo periférico por parte del visor toma menos de 0.5 ms (limitado por CPU en escritorio), mientras que el trazado de rayos y la reducción de ruido ocurren en una GPU remota de alta potencia.
• Gestión de Latencia: La reproyección guiada por profundidad enmascara eficazmente la latencia, permitiendo un renderizado de alta tasa de refresco estable incluso cuando la tasa de actualización foveal es inferior a la de la pantalla.

Significado y Reivindicaciones

Los autores afirman que este trabajo cierra la brecha entre la alta fidelidad del trazado de rayos y el rendimiento en tiempo real de las representaciones precomputadas. Al aprovechar la agudeza no uniforme del ojo humano, el sistema concentra los recursos computacionales donde más importan (la fóvea) mientras proporciona una aproximación visualmente plausible y de rápida generación para la periferia.

La importancia radica en permitir la visualización médica interactiva y de alta calidad en dispositivos de RV móviles sin los tiempos de preprocesamiento extensos de la 3DGS tradicional o los costos computacionales prohibitivos del trazado de rayos de escena completa. El enfoque permite operaciones dinámicas como cambios en la función de transferencia y planos de corte mediante la regeneración del modelo periférico en segundos, preservando la capacidad de mostrar detalles anatómicos finos que podrían perderse en la precomputación estática. El artículo concluye que esta estrategia híbrida abre nuevas opciones para la visualización médica interactiva, particularmente para escenarios que requieren la exploración inmediata y de alta fidelidad de patologías complejas.