AdaGScale: Viewpoint-Adaptive Gaussian Scaling in 3D Gaussian Splatting to Reduce Gaussian-Tile Pairs

Resumen Técnico: AdaGScale

1. El Problema

El 3D Gaussian Splatting (3D-GS) ha surgido como una técnica prometedora para la síntesis de nuevas vistas, superando a los campos de radiación neuronal (NeRF) en velocidad de renderizado gracias a su representación explícita y paralelización masiva en GPU. Sin embargo, aún enfrenta desafíos para alcanzar el rendimiento en tiempo real (90-120 FPS) requerido por aplicaciones de Realidad Aumentada/Virtual (AR/VR), especialmente en resoluciones altas (ej. 4K).

El cuello de botella principal no es la inferencia neuronal, sino el proceso de renderizado basado en teselas (tiles). Este proceso implica:

1. Generación de pares Gaussiano-Tesela: Determinar qué teselas de la pantalla intersectan con cada gaussiana proyectada.
2. Ordenamiento y Rasterización: Procesar estos pares en orden de profundidad.

Las investigaciones anteriores han intentado reducir el número de pares eliminando aquellos con contribución cero (usando cajas delimitadoras o elipses precisas). No obstante, no han considerado la variación en la importancia de los pares que sí tienen una contribución no nula. El análisis de los autores revela que las teselas ubicadas en las regiones periféricas de una gaussiana (lejos de su centro) contribuyen de manera insignificante a la acumulación de color del píxel, pero aún así se procesan, desperdiciando recursos computacionales.

2. Metodología: AdaGScale

Los autores proponen AdaGScale, una técnica de escalado de gaussianas adaptativa al punto de vista que reduce el número de pares Gaussiano-Tesela sin reentrenar el modelo. La metodología se basa en tres pilares:

A. Definición de la "Puntuación Periférica" (Peripheral Score)
Se define una métrica que cuantifica la contribución de color de una gaussiana en su región periférica (donde el valor alfa $\alpha$ es bajo, pero mayor que el umbral de corte estándar $\tau = 1/255$).

• La idea es que si la suma de contribuciones en la periferia es baja, se puede aumentar el umbral $\alpha$ para esa gaussiana específica, reduciendo así su área de cobertura efectiva durante la prueba de intersección con teselas.

B. Estimación Eficiente en la Fase de Preprocesamiento
Calcular la puntuación periférica exacta durante el preprocesamiento es costoso porque requiere conocer el orden de profundidad y la transmitancia acumulada ($T_i$), lo cual solo se sabe después de ordenar. Para resolver esto, AdaGScale utiliza una estrategia de aproximación en tres etapas:

1. Aproximación de Transmitancia: Se observa que $T_i$ puede aproximarse por un valor constante máximo por gaussiana ($max(T_i)$) con una pérdida de calidad mínima.
2. Límite Superior Basado en Profundidad: Dado que la transmitancia está correlacionada con la profundidad (objetos más lejanos tienden a estar más ocultos), se utiliza una función de límite superior por tramos, $T_{Upper}^i(depth)$, precalculada offline.
3. Cálculo en Forma Cerrada (Riemann Sum): Se aproxima la suma discreta de contribuciones sobre píxeles mediante una integral continua (suma de Riemann) en coordenadas polares. Esto permite derivar una fórmula analítica para el nuevo umbral $\alpha$ ($Th_i$) que depende solo de parámetros disponibles en el preprocesamiento: profundidad, covarianza 2D proyectada y un parámetro de pérdida aceptable ($K$).

C. Estrategia de "Dual-Size" (Tamaño Dual)
Este es el núcleo de la propuesta para mantener la fidelidad visual:

• Fase de Generación de Pares: Se utiliza el umbral ajustado $Th_i$ (que es mayor que el original) para realizar la prueba de intersección con teselas. Esto reduce el número de teselas intersectadas y, por tanto, el número de pares generados.
• Fase de Rasterización (Acumulación de Color): Una vez que se han generado los pares reducidos, se utiliza el tamaño original y el umbral $\alpha$ original ($\tau = 1/255$) para calcular el color final del píxel.
• Resultado: Se eliminan computaciones costosas en las etapas de ordenamiento y rasterización para pares de baja importancia, pero si un par sobrevive, su contribución de color se calcula con precisión total.

3. Contribuciones Clave

1. Método de Aproximación: Un enfoque eficiente para estimar la puntuación periférica durante el preprocesamiento sin necesidad de calcular la transmitancia exacta ni reordenar los datos.
2. Técnica de Escalado Adaptativo: La introducción de AdaGScale, que ajusta dinámicamente el tamaño de las gaussianas basado en el punto de vista para eliminar pares de baja importancia.
3. Integración sin Reentrenamiento: El método se integra directamente en las tuberías existentes de 3D-GS (como FlashGS o Scaffold-GS) sin necesidad de reentrenar los modelos ni ajustar hiperparámetros complejos durante la inferencia.
4. Estrategia de Precisión: La separación entre el umbral de intersección (reducido) y el umbral de acumulación (original) garantiza que la reducción de pares no degrade la calidad visual más allá de lo esperado.

4. Resultados Experimentales

Los experimentos se realizaron en una GPU NVIDIA A6000 utilizando diversos conjuntos de datos (indoor, outdoor, escala de ciudad) y modelos de gaussianas (3D-GS original, GaussianSpa, CityGaussian, Scaffold-GS).

• Velocidad de Renderizado:
  • En modelos estándar (3D-GS original), se logró una aceleración geométrica media de 5.46x con una degradación de PSNR de solo 0.5 dB.
  • En escenarios de escala de ciudad (CityGaussian), la aceleración alcanzó un 13.8x sobre el 3D-GS original.
  • En modelos basados en MLP (Scaffold-GS), se logró una aceleración de 1.26x global, y de 1.65x si se considera solo la etapa de renderizado.
• Reducción de Pares:
  • Se logró una reducción de hasta un 43.07% en el número de pares Gaussiano-Tesela en comparación con métodos anteriores como FlashGS.
• Calidad de Imagen:
  • La degradación de calidad (PSNR) se mantuvo dentro de los límites definidos por el usuario (ej. < 0.5 dB), lo cual es imperceptible visualmente en la mayoría de las aplicaciones.

5. Significado e Impacto

El trabajo de AdaGScale es significativo porque aborda el problema de rendimiento desde una perspectiva de importancia relativa en lugar de solo precisión geométrica.

• Viabilidad para AR/VR: Al lograr aceleraciones de hasta 13x, el método acerca el 3D-GS a los requisitos de 90-120 FPS necesarios para dispositivos como Apple Vision Pro, incluso en resoluciones 4K.
• Eficiencia Computacional: Demuestra que es posible sacrificar cálculos redundantes en las regiones periféricas de las gaussianas sin sacrificar la fidelidad visual, optimizando el uso de la memoria y la ancho de banda de la GPU.
• Versatilidad: Al no requerir reentrenamiento, es una solución práctica que puede aplicarse inmediatamente a modelos existentes y futuros, mejorando el estado del arte en síntesis de vistas nuevas.

En conclusión, AdaGScale representa un avance crucial hacia el renderizado en tiempo real de escenas 3D complejas mediante una optimización inteligente y adaptativa del proceso de rasterización.