A Query-Efficient Stochastic Volume Rendering Framework for Time-Varying Implicit Neural Volumes

Imagina que eres un científico intentando observar la película de un evento complejo, como una tormenta arremolinada o un corazón latiendo, pero la película no está hecha de fotogramas. En su lugar, es una receta mágica y continua que puede describir la escena en cualquier momento, incluso en las milésimas de segundo entre los fotogramas. Este es el mundo de las Representaciones Neurales Implícitas (INR, por sus siglas en inglés). Piensa en ellas no como una pila de fotos, sino como una red neuronal compacta y superinteligente que conoce la forma y el color de un objeto en cualquier coordenada $(x, y, z)$ y en cualquier momento $(t)$. El problema es que, para ver cómo es el objeto, tienes que hacerle una pregunta a esta red neuronal: "¿De qué color es esto aquí?". La red tiene entonces que realizar muchísima matemática mental pesada para responder. En el pasado, preguntar esto por cada píxel en una pantalla era tan lento y costoso que ver estas películas en tiempo real era imposible. Los científicos se quedaban atrapados con vistas borrosas de baja calidad o tenían que esperar minutos para que apareciera un solo fotograma.

Este artículo presenta una nueva y astuta forma de observar estas "películas neurales" en tiempo real, logrando entre 30 y 40 fotogramas por segundo en una potente computadora de videojuegos. Los autores, Alper Sahistan y su equipo, se dieron cuenta de que la forma antigua de observar estos volúmenes —revisando cada punto a lo largo de un rayo de luz como un caminante metódico y lento— es demasiado ineficiente cuando el "caminante" tiene que detenerse a pedir ayuda a una red neuronal en cada paso. En su lugar, construyeron un marco de renderizado volumétrico estocástico de consulta eficiente. Tratan el proceso de renderizado como un juego de "adivinar y comprobar" utilizando una técnica llamada rastreo delta (delta tracking). Imagina que caminas por un bosque brumoso donde la densidad de la niebla cambia. En lugar de dar pasos pequeños e iguales y comprobar la niebla en cada pulgada, das saltos grandes y aleatorios. Si aterrizas en una zona espesa, te detienes y pintas; si aterrizas en una zona delgada, sigues saltando. Al hacer esto, le hacen muchas menos preguntas a la red neuronal.

Para hacer esto aún más rápido, dividieron el trabajo entre dos tipos diferentes de cerebros de computadora en la tarjeta gráfica. La parte de "trayectoria" (decidir dónde saltar) utiliza núcleos de trazado de rayos (ray tracing cores) especializados, mientras que la parte de "evaluación" (preguntar a la red neuronal) utiliza núcleos tensoriales (tensor cores) diseñados para matemáticas pesadas. También añadieron estrategias inteligentes para saltarse preguntas por completo en áreas que parecen iguales (poda de homogeneidad) y para volver a comprobar solo los píxeles que están cambiando (presupuesto de rayos adaptativo). El resultado es un sistema capaz de renderizar un objeto deformante y variable en el tiempo a una resolución de 1024² con sombras de trazado de rayos, actualizando el paso de tiempo en solo 1 a 2 milisegundos. El artículo sugiere que este enfoque permite a los científicos explorar el tiempo continuo directamente, sin necesidad de reentrenar la red neuronal o almacenar bases de datos masivas para cada momento, haciendo que lo invisible sea visible de una manera que se siente verdaderamente interactiva.

La magia del rayo que "salta"

Para entender cómo funciona esto, imaginemos un rayo de luz como un explorador curioso que intenta encontrar el color de un objeto misterioso e invisible. En los viejos tiempos, este explorador daba pasos diminutos y de bebé a lo largo de una línea recta, deteniéndose en cada paso para preguntarle a un bibliotecario (la red neuronal): "¿De qué color es esto aquí?". Si el objeto es enorme y los pasos son diminutos, el explorador le hace preguntas a la biblioteca millones de veces. Como el bibliotecario está ocupado haciendo cálculos complejos, el explorador se queda atascado esperando, y la película se congela.

El nuevo método de los autores, el rastreo delta, cambia la estrategia del explorador. En lugar de pasos de bebé, el explorador da grandes saltos aleatorios. Tienen una regla: "Sé que la niebla no puede ser más espesa que este límite máximo". Así que saltan una distancia que sería segura si la niebla estuviera en ese límite máximo. Cuando aterrizan, le preguntan al bibliotecario: "¿Es la niebla realmente así de espesa aquí?".

• Si la respuesta es "Sí, es espesa", se detienen y pintan el color.
• Si la respuesta es "No, en realidad es delgada", ignoran el lugar de aterrizaje y dan otro gran salto.

Esto es como jugar un juego donde solo te detienes a revisar el marcador si aterrizas en una casilla "especial". La mayor parte del tiempo, simplemente sigues volando por el aire. Debido a que la red neuronal es la parte lenta, saltarse las preguntas donde la respuesta es "nada especial" ahorra una cantidad masiva de tiempo.

El equipo de los dos cerebros

El artículo destaca una visión crucial: la forma en que las computadoras manejan el "caminar" (trayectoria) y las "matemáticas" (inferencia neural) es muy diferente. Caminar es como una sola persona revisando un mapa paso a paso, mientras que hacer matemáticas complejas es como un coro cantando en perfecta armonía. Si intentas hacer que el coro cante una nota a la vez, es ineficiente.

Los autores construyeron un pipeline de cuatro etapas que actúa como una fábrica bien organizada:

1. Inicialización del rayo: La fábrica prepara a los exploradores (rayos) para la cámara.
2. Trayectoria (Los núcleos RT): Los expertos en "caminar" (núcleos de Ray Tracing) toman a los exploradores y los hacen saltar a través del espacio virtual. Encuentran los lugares de aterrizaje pero aún no le preguntan al bibliotecario. Solo anotan las direcciones.
3. Evaluación (Los núcleos Tensor): Los expertos en "matemáticas" (núcleos Tensor) toman una gran lista de direcciones a la vez y le piden al bibliotecario todas las respuestas simultáneamente. Aquí es donde ocurre la magia; la red neuronal recibe un lote de preguntas y las responde todas de una vez, usando todo su poder.
4. Finalización: Los resultados se traen de vuelta y los exploradores deciden si se detienen o saltan de nuevo.

Este enfoque de "frente de onda" (wavefront) asegura que el cerebro de la computadora nunca esté ocioso. Mientras un grupo camina, el otro hace matemáticas. El artículo muestra que este método es aproximadamente 125 veces más rápido que un enfoque ingenuo que intenta hacer todo uno por uno, y más de 2 veces más rápido que usar métodos antiguos que no utilizan el hardware especializado de trazado de rayos.

Saltos inteligentes: No preguntar cada pregunta

Incluso con el método de saltar y comprobar, preguntar al bibliotecario sigue siendo costoso. Los autores añadieron dos funciones de "salto inteligente" para hacerlo aún más rápido:

1. El salto de la "Zona Aburrida" (Poda de consultas basada en la homogeneidad):
   Imagina que el explorador aterriza en una habitación que se ve perfectamente blanca y vacía. Si se sabe que la habitación es uniforme (todos del mismo color), ¿por qué preguntarle al bibliotecario? El sistema comprueba si el área es "aburrida" (uniforme). Si lo es, simplemente supone el color promedio y sigue avanzando. Esto ahorra una pregunta. Sin embargo, el artículo señala que si uno supone de forma demasiado agresiva, podría perder detalles pequeños, por lo que utilizan una "caída estocástica" (stochastic falloff) para ser cuidadosos cerca de los bordes de estas zonas aburridas.

2. El salto de "Solo cambiar lo que se mueve" (Presupuesto de rayos adaptativo):
   Imagina que estás viendo un video. Si el fondo es una pared estática, no necesitas redibujarla cada segundo. Solo necesitas redibujar las partes donde vuela un pájaro. El sistema mira el fotograma anterior y pregunta: "¿Cambió este píxel?".

• Si el píxel es estable (la pared), el sistema se salta el dibujo y simplemente usa el color anterior.
• Si el píxel está cambiando (el pájaro), gasta su "presupuesto" para dibujarlo de nuevo.
  Probaron tres formas de decidir qué dibujar: una que observa cuánto cambió el color (Histograma de Residuos), una que utiliza un patrón aleatorio pero estético (STBN), y una mezcla de ambas. Encontraron que mezclar el patrón aleatorio con la "detección de cambios" daba los mejores resultados, manteniendo la imagen con un aspecto suave y natural incluso al saltarse muchos píxeles.

Los Resultados: Ciencia fluida en tiempo real

El equipo probó su sistema en seis conjuntos de datos diferentes, incluyendo escaneos de rayos X de objetos deformables y simulaciones de flujo de fluidos. Ejecutaron todo en una GPU NVIDIA RTX 4090 a una resolución de 1024².

• Velocidad: El sistema logra de 30 a 40 fotogramas por segundo (FPS) para el renderizado estándar y alrededor de 30 FPS incluso al añadir sombras complejas. Esto es lo suficientemente rápido para una experiencia interactiva y fluida.
• Capacidad de respuesta: Cuando el usuario cambia el tiempo (la "t" en la receta), el sistema se actualiza en aproximadamente 1 a 2 milisegundos. Esto significa que puedes arrastrar un control deslizante y ver el objeto deformarse instantáneamente, sin esperar.
• Memoria: El sistema es sorprendentemente eficiente. La red neuronal en sí es diminuta (solo 1–2 MB), e incluso con todas las estructuras adicionales necesarias para el renderizado, el uso total de memoria se mantiene alrededor de los 600 MB, lo cual es mucho menor que los sistemas de visualización científica tradicionales.

El artículo descarta explícitamente la idea de que sea necesario reentrenar la red neuronal o convertir los datos en una rejilla de vóxeles (pequeños píxeles 3D) para que sean renderizables. Demuestran que pueden renderizar la red directamente tal como fue entrenada. También argumentan que, si bien el almacenamiento en caché (guardar respuestas para después) funciona para imágenes estáticas, falla para datos variables en el tiempo porque las respuestas se vuelven incorrectas tan pronto como el tiempo avanza. Su método evita esto calculando las respuestas sobre la marcha, pero de manera eficiente.

Por qué esto es importante

Para los científicos que estudian cosas como cómo late un corazón, cómo se arremolina una tormenta o cómo se deforman los materiales bajo estrés, poder ver los datos en tiempo real es un cambio radical. Antes de esto, podrían haber tenido que esperar minutos por un solo fotograma o conformarse con una vista de baja calidad. Ahora, pueden interactuar con los datos, girarlos y observar cómo evolucionan continuamente. Los autores sugieren que este marco de trabajo abre la puerta al uso de estas representaciones neurales compactas para la visualización científica interactiva, permitiendo a los investigadores explorar el "tiempo continuo" de sus datos sin quedar estancados en la pesada matemática requerida para verlos.

El artículo concluye que, aunque todavía existen algunas limitaciones —como la necesidad de una configuración cuidadosa de los umbrales de la "zona aburrida" o el hecho de que el sistema actualmente depende de hardware específico de NVIDIA—, el enfoque logra cerrar la brecha entre la compacidad de las representaciones neurales y la necesidad de una visualización interactiva y de alta calidad. Demuestra que no es necesario sacrificar la naturaleza "neural" de los datos para hacerlos rápidos; solo hace falta hacer las preguntas correctas, en el orden correcto, y saltarse las que no se necesitan.