💻 computer science

Eulerian Gaussian Splatting using Hashed Probability Pyramids

Este artículo presenta Eulerian Gaussian Splatting, un marco de campo de radiación probabilístico que reemplaza la manipulación heurística de gaussianos con la optimización basada en gradientes de una densidad de probabilidad volumétrica aprendible mediante pirámides de probabilidad con hash, logrando así una calidad de reconstrucción de vanguardia en mip-NeRF 360 mientras mantiene una velocidad de renderizado a nivel de 3DGS.

Autores originales: Mia Gaia Polansky, George Kopanas, Stephan Garbin, Todd Zickler, Dor Verbin

Publicado 2026-05-29

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Mia Gaia Polansky, George Kopanas, Stephan Garbin, Todd Zickler, Dor Verbin

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando recrear una escena 3D (como una habitación o un jardín) utilizando millones de pequeñas bolas brillantes y difusas (Gaussianas). Esto es lo que hace una tecnología popular llamada 3D Gaussian Splatting. Es increíblemente rápida y se ve genial, pero tiene un defecto: gestiona estas bolas mediante un conjunto de reglas rígidas y escritas a mano. Si una bola está en el lugar incorrecto, la computadora debe adivinar si moverla, dividirla en dos o eliminarla. A veces, estas reglas se confunden, lo que lleva a una reconstrucción desordenada.

Este artículo introduce un nuevo método llamado Eulerian Gaussian Splatting (EGS). En lugar de mover manualmente las bolas alrededor, los autores tratan todo el espacio 3D como un mapa meteorológico.

Aquí está el desglose de su enfoque utilizando analogías simples:

1. El Mapa Meteorológico vs. Los Camiones en Movimiento

La Vieja Forma (Lagrangiana): Imagina que tienes una flota de camiones de reparto (las bolas) conduciendo por una ciudad. Si un paquete necesita ir a un nuevo lugar, debes decirle a un camión específico que conduzca allí, o decirle a un camión que se divida en dos. Esto requiere un controlador de tráfico complejo (heurísticas) para decidir qué camión hace qué cosa.
La Nueva Forma (Euleriana): En lugar de mover camiones, imagina que tienes un mapa meteorológico que muestra dónde es "probable que llueva". No mueves la lluvia; solo cambias el mapa. Si el mapa dice "lluvia fuerte" en un lugar específico, generas automáticamente una gota de lluvia allí. Si dice "seco", no aparece ninguna gota de lluvia.
- En este artículo, el "mapa meteorológico" es una densidad de probabilidad aprendible. La computadora no mueve las bolas; aprende un mapa que le indica dónde generar nuevas bolas y dónde dejar de generarlas, basándose puramente en lo bien que se ve la imagen.

2. La "Pirámide de Probabilidad Hash" (El Mapa Inteligente)

Crear un mapa meteorológico para toda una ciudad a nivel microscópico requeriría demasiada memoria de computadora. Para resolver esto, los autores construyeron una Pirámide de Probabilidad Hash.

La Analogía: Piensa en un mapa que comienza como una cuadrícula de baja resolución (como una imagen pixelada). A medida que haces zoom, el mapa se vuelve más detallado. Sin embargo, en lugar de almacenar los datos de cada píxel individual, el mapa utiliza un truco inteligente de "hash" (como un código secreto) para reutilizar información en áreas vacías.
Por qué ayuda: Permite que la computadora tenga un mapa superdetallado de la escena sin quedarse sin memoria. Puede concentrar su "poder cerebral" en las partes complejas de la escena (como un árbol con muchas hojas) mientras mantiene el cielo vacío simple.

3. El "Control Variado" (El Cancelador de Ruido)

Cuando la computadora intenta aprender este mapa, debe adivinar dónde poner las bolas, observar el resultado y luego ajustar el mapa. Como está adivinando al azar, la "retroalimentación" (gradientes) que recibe es muy ruidosa, como intentar escuchar un susurro en un concierto ruidoso. Esto generalmente hace que el aprendizaje sea lento e inestable.

La Innovación: Los autores inventaron un truco matemático especial llamado Control Variado.
La Analogía: Imagina que estás tratando de juzgar cuánto contribuye un solo cantante al sonido de un coro. Si escuchas a todo el coro, es difícil decirlo. Pero si imaginas al coro sin ese cantante, puedes escuchar fácilmente la diferencia.
El truco matemático de los autores calcula exactamente cuánto contribuyó cada bola individual a la imagen final comparando la imagen completa con la imagen sin esa bola específica. Esto cancela el ruido de fondo, proporcionando a la computadora una señal muy clara y estable sobre cómo mejorar el mapa.

4. El Resultado: Un Jardín Autoorganizado

Al combinar estas ideas, el sistema funciona como un jardín que se organiza a sí mismo:

Comienza con un lienzo en blanco y un "mapa de probabilidad".
Brota aleatoriamente "semillas" (bolas gaussianas) basándose en el mapa.
Observa la imagen. Si una parte del jardín se ve borrosa o incorrecta, el mapa aumenta automáticamente la "probabilidad" de que las semillas crezcan allí. Si una parte se ve demasiado abarrotada o incorrecta, el mapa reduce la probabilidad.
No se necesitan reglas humanas para decirle a la computadora que "divida esta bola" o "borre esa bola". Las matemáticas mueven naturalmente la "masa" de la probabilidad hacia donde se necesita.

La Conclusión

El artículo afirma que este método logra una calidad de vanguardia (se ve mejor que los métodos anteriores) en escenas 3D complejas, manteniendo la velocidad de renderizado tan rápida como el 3D Gaussian Splatting original.

Crucialmente, lo hace sin necesitar un escaneo previo de la escena (como un escaneo láser 3D) para comenzar. Puede partir de una suposición completamente aleatoria y deducir la forma del mundo simplemente mirando las fotos, gracias a su capacidad para aprender el "mapa de probabilidad" directamente mediante descenso de gradiente. Cierra la brecha entre la estabilidad de las matemáticas continuas (como NeRFs) y la velocidad de los objetos discretos (como 3DGS).

Resumen Técnico: Splatting Gaussiano Euleriano utilizando Pirmides de Probabilidad Hash

Enunciado del Problema
Los métodos actuales de Splatting Gaussiano 3D (3DGS) logran renderizado en tiempo real representando escenas con primitivas gaussianas discretas. Sin embargo, la optimización de estas escenas depende del "Control Adaptativo de Densidad" (ADC), un conjunto de heurísticas ajustadas manualmente (por ejemplo, división, clonación, eliminación) para añadir o eliminar primitivas durante el entrenamiento. Estas heurísticas pueden ser frágiles y pueden conducir a mínimos locales subóptimos. Por el contrario, los Campos Radiantes Neuronales (NeRF) optimizan densidades volumétricas continuas mediante descenso de gradiente, ofreciendo mayor estabilidad pero sufriendo velocidades de renderizado lentas. El artículo aborda la necesidad de un marco que mantenga la eficiencia de renderizado del 3DGS mientras adopta la optimización basada en gradientes y fundamentada de los campos continuos, eliminando la necesidad de manipulación heurística de primitivas.

Metodología
Los autores proponen el Splatting Gaussiano Euleriano (EGS), un marco probabilístico que cambia de una visión Lagrangiana (mover explícitamente primitivas) a una visión Euleriana (optimizar una función de densidad de probabilidad sobre el volumen de la escena).

Modelo de Renderizado Probabilístico:
En lugar de optimizar posiciones individuales de gaussianas, el EGS define una función de densidad de probabilidad volumétrica $p_\theta(\mu)$ sobre el espacio 3D. En cada iteración de entrenamiento, se muestrea un conjunto discreto de $N$ centros gaussianos $\mu_i$ de esta distribución. Estos centros muestreados se renderizan luego utilizando el rasterizado estándar de 3DGS. La pérdida se minimiza optimizando los parámetros de la distribución de probabilidad subyacente $\theta$ y los atributos gaussianos $\phi$ (color, escala, rotación, opacidad).
Pirámide de Probabilidad Hash:
Para representar la densidad de probabilidad $p_\theta(\mu)$ de manera eficiente a altas resoluciones sin un crecimiento de memoria inviable, los autores introducen una Pirámide de Probabilidad Hash.
- Estructura: Es una cuadrícula jerárquica multiescala donde la densidad de probabilidad se parametriza como un producto de funciones constantes por tramos a través de $L$ niveles.
- Eficiencia de Memoria: Para evitar el crecimiento cúbico de los parámetros, el método utiliza codificación hash. En cada nivel, la cuadrícula se mosaica con un presupuesto limitado ( $B$ ) de bloques de $2\times2\times2$ . Una función hash mapea los índices de la cuadrícula a estos bloques, permitiendo la representación de una distribución de alta resolución (por ejemplo, $4096^3$ ) utilizando un conjunto compacto de parámetros (aproximadamente 86 millones de parámetros para una cuadrícula de $4096^3$ , requiriendo solo 0.33 GB).
- Muestreo: El muestreo se realiza de manera eficiente recorriendo la jerarquía desde niveles gruesos a finos. El proceso se vuelve diferenciable de extremo a extremo vinculando muestras aleatorias a través de niveles mediante funciones deterministas de parte fraccionaria.
Estimación de Gradientes y Reducción de Varianza:
Optimizar una distribución mediante descenso de gradiente estocástico introduce una alta varianza. Se encuentra que el estimador de trayectoria estándar (utilizando diferenciación automática a través del proceso de muestreo) es inestable.
- Variables de Control: Los autores derivan un estimador de gradiente no sesgado basado en la función de puntuación, potenciado con variables de control.
- Insight Clave: La contribución del gradiente de una muestra específica se pondera por su impacto individual en la imagen renderizada. Específicamente, se utiliza la diferencia entre la imagen completa $I$ y la imagen renderizada sin la $i$ -ésima gaussiana ( $I_{-i}$ ).
- Eficiencia: Crucialmente, el artículo demuestra que $(I - I_{-i})$ puede calcularse directamente a partir de la opacidad $o_i$ y el gradiente de la pérdida con respecto a la opacidad ( $\partial I / \partial o_i$ ) durante la pasada de retroceso estándar. Esto evita el costo computacional de renderizar $M$ imágenes separadas mientras reduce significativamente la varianza del gradiente.
Estrategias de Entrenamiento:
- Muestreo Defensivo: Se añade ruido gaussiano a un subconjunto de muestras al inicio del entrenamiento para evitar que la densidad de probabilidad colapse a cero en regiones que podrían volverse importantes más adelante.
- Redondeo de Muestras: Las posiciones de las muestras se redondean al centro de su bin de cuadrícula más fino para reducir la varianza causada por pequeños desplazamientos posicionales.
- Eliminación de Duplicados: Las muestras duplicadas (que surgen del redondeo) se eliminan antes del renderizado, podando naturalmente el número de gaussianas a medida que el modelo se optimiza.
- Refinamiento: Después de optimizar las cuadrículas de probabilidad y atributos, se ejecuta un paso final de refinamiento que realiza una optimización basada en gradientes estándar sobre el conjunto discreto de gaussianas muestreadas durante 5,000 iteraciones.

Contribuciones Clave

Formulación Euleriana: Un enfoque novedoso que une NeRF y 3DGS optimizando un campo de probabilidad continuo para gobernar la colocación de gaussianas discretas, eliminando la necesidad de control de densidad heurístico.
Pirámide de Probabilidad Hash: Una representación multiescala, normalizada globalmente y eficiente en memoria para densidades de probabilidad 3D que permite optimización de alta resolución en una sola GPU.
Estimador de Gradiente de Baja Varianza: Un estimador basado en variables de control que aísla la contribución de cada gaussiana a la imagen renderizada, permitiendo un entrenamiento estable de la distribución de probabilidad sin la alta varianza de los estimadores de trayectoria estándar.
Entrenamiento Libre de Heurísticas: El método logra resultados de vanguardia comenzando desde una inicialización aleatoria uniforme, sin depender de puntos de Estructura a partir del Movimiento (SfM) ni de reglas de división/eliminación ajustadas manualmente.

Resultados
El método se evaluó en los conjuntos de datos mip-NeRF 360, Tanks & Temples y Deep Blending.

Rendimiento: EGS logra una calidad de reconstrucción de vanguardia entre modelos inicializados aleatoriamente, superando a líneas base como 3DGS-MCMC y Taming-3DGS en PSNR general.
Comparación con Métodos Basados en SfM: Aunque los modelos inicializados con puntos COLMAP generalmente funcionan ligeramente mejor, EGS comenzando desde una inicialización aleatoria cierra gran parte de esta brecha, demostrando robustez.
Estudios de Ablación: El estimador de gradiente personalizado se identifica como el componente más crítico; sin él, el entrenamiento se vuelve inestable y converge a resultados pobres. La regularización de opacidad y el muestreo defensivo también proporcionan beneficios significativos de estabilidad.
Eficiencia: Aunque el proceso de entrenamiento es más lento y consume más memoria que el 3DGS estándar debido al gran número de muestras y consultas de cuadrícula hash, la velocidad de renderizado final sigue siendo comparable a la del 3DGS.

Significado
El artículo afirma que EGS ofrece un "puente fundamentado" entre la optimización de campos continuos y el renderizado gaussiano discreto. Al reemplazar heurísticas frágiles con una distribución de probabilidad aprendible, el marco permite que la geometría de la escena emerja puramente a partir de señales de gradiente. Esto habilita un procedimiento de entrenamiento simple y de extremo a extremo que se generaliza a través de escenas diversas sin requerir inicialización geométrica previa (SfM) ni intervención manual, demostrando que las formulaciones basadas en muestreo pueden lograr reconstrucciones de alta calidad manteniendo la eficiencia del renderizado basado en splatting.