Resumen Técnico: GETA-3DGS

Enunciado del Problema

La Splatting Gaussiana 3D (3DGS) se ha consolidado como un método de vanguardia para la síntesis de nuevas vistas en tiempo real y fotorrealista, ofreciendo velocidades de renderizado una orden de magnitud más rápidas que los Campos de Radiación Neuronal (NeRF). Sin embargo, las escenas 3DGS de alta fidelidad suelen requerir desde cientos de megabytes hasta varios gigabytes de almacenamiento, creando un cuello de botella para la implementación en plataformas móviles, inmersivas y de video volumétrico que exigen huellas de apenas decenas de megabytes.

Las estrategias de compresión existentes para 3DGS generalmente adolecen de tres limitaciones estructurales:

1. Aislamiento de Técnicas: La poda, la cuantización y la codificación entrópica a menudo se tratan como etapas separadas, lo que impide un compromiso conjunto entre tasa y distorsión.
2. Dependencia de Heurísticas: Los métodos dependen de umbrales ajustados manualmente (por ejemplo, opacidad, escala u orden armónico esférico) que requieren ajuste manual por escena, limitando la generalización.
3. Falta de Control del Usuario: Los usuarios no pueden especificar directamente objetivos rígidos para el tamaño de almacenamiento o límites garantizados de calidad de renderizado.

Además, aplicar marcos existentes de poda-cuantización conjunta (como GETA para redes profundas) a 3DGS no es trivial, ya que 3DGS carece de un grafo computacional jerárquico, consta de primitivas geométricas desordenadas con atributos heterogéneos y utiliza una pérdida de rasterización diferenciable en lugar de un paso estándar de alimentación directa.

Metodología: GETA-3DGS

Los autores proponen GETA-3DGS, el primer marco automático de extremo a extremo para la poda estructurada conjunta y la cuantización de precisión mixta adaptado específicamente a 3DGS. El método reformula la escena 3DGS como un problema de optimización restringida sobre un espacio de parámetros heterogéneo, resuelto mediante un optimizador de caja blanca.

1. Grafo de Dependencia Consciente de la Cuantización (QADG) Adaptado a 3DGS

Para adaptar el marco GETA a 3DGS, los autores construyen un grafo de dependencias de tres niveles:

• Nivel 1 (Grupos Podaables): Cada primitiva gaussiana se trata como un único grupo podaable. Podar un grupo elimina toda la fila de atributos (posición, escala, rotación, opacidad, coeficientes SH) para dicha primitiva.
• Nivel 2 (Subnodos de Atributos): A cada una de las cinco clases de atributos ($\mu, s, q, \alpha, c$) se le asigna un cuantizador independiente. Esto reconoce que los atributos tienen sensibilidades diferentes (por ejemplo, la posición requiere alta precisión para evitar el temblor, mientras que la opacidad está acotada por una sigmoide).
• Nivel 3 (Subnodos de Grado SH): Los coeficientes Armónicos Esféricos (SH) se dividen en un término DC (albedo difuso) y términos AC (residuos dependientes de la vista), permitiendo anchos de bits distintos para las bandas de frecuencia.
• Aristas de Orden de Renderizado: El grafo incluye aristas ponderadas por la transmitancia esperada para capturar el orden de mezcla-$\alpha$ dependiente de los datos, lo cual es crucial para el cálculo de la saliencia.

2. Saliencia Consciente del Renderizado

La saliencia de Taylor de primer orden estándar utilizada en el aprendizaje profundo es poco fiable para 3DGS porque puede asignar una alta importancia a primitivas ocluidas o fuera de pantalla debido a "gradientes fantasma" del rasterizador. GETA-3DGS reemplaza esto con una saliencia consciente del renderizado que fusiona tres señales en el espacio de pantalla:

• Contribución ponderada por transmitancia: La contribución real de luminancia de la gaussiana a la imagen renderizada.
• Gradiente en el espacio de pantalla: La magnitud del gradiente con respecto al color renderizado, proyectado a través del operador de renderizado.
• Cobertura de píxeles: El número de píxeles que toca la gaussiana, penalizando primitivas pequeñas y distantes que ofrecen un beneficio bajo en tasa-distorsión.
  Estos componentes se combinan de forma convexa para producir una puntuación de importancia robusta para las decisiones de poda.

3. Cuantización de Precisión Mixta Heterogénea por Atributo

En lugar de un ancho de bits uniforme, el marco asigna rangos de bits independientes a cada atributo y grado SH. El ancho de bits se controla mediante parámetros aprendibles ($q_m, t, d$) optimizados mediante un descenso Parcialmente Guiado por Saliencia Proyectada (PPSG). Esto asegura que la dirección de optimización permanezca como una dirección de descenso incluso después de proyectar sobre el conjunto factible disperso y cuantizado.

• Justificación Teórica de la Información: Los autores derivan un análisis de inversión de llenado de agua (reverse-water-filling) que muestra que la asignación óptima de bits depende del producto de la varianza del atributo y su sensibilidad de renderizado. Los resultados empíricos muestran que las asignaciones de bits aprendidas coinciden estrechamente con este óptimo teórico.

4. Programa de Entrenamiento de Cuatro Etapas

Para garantizar la estabilidad, el entrenamiento sigue un programa de cuatro etapas:

1. Calentamiento: Entrenamiento estándar de 3DGS para establecer una escena sobredeterminada de alta fidelidad.
2. Proyección: Se habilita el cuantizador heterogéneo y los límites superiores del ancho de bits se contraen linealmente hacia los objetivos.
3. Conjunto: La poda estructural y el ajuste fino del ancho de bits ocurren simultáneamente. Se impone una restricción de suelo PSNR rígida; si podar una gaussiana hace que el PSNR caiga por debajo de un umbral $\tau$ especificado por el usuario, la poda se relaja para preservar la calidad.
4. Enfriamiento: La estructura y los anchos de bits se congelan, y solo los atributos cuantizados se ajustan finamente para recuperar la distorsión residual.

Contribuciones Clave

1. Marco Automático: GETA-3DGS es la primera tubería automática de extremo a extremo para poda y cuantización conjunta en 3DGS, eliminando la necesidad de ajuste manual por escena de umbrales de opacidad, escala o grado SH.
2. Arquitectura Consciente de 3DGS: La introducción del QADG y la saliencia consciente del renderizado aborda específicamente la naturaleza geométrica y guiada por el renderizado de 3DGS, superando las limitaciones de aplicar técnicas de compresión de aprendizaje profundo directamente.
3. Cuantización Heterogénea: El documento demuestra que la asignación de bits heterogénea por atributo es la palanca dominante para el rendimiento de tasa-distorsión. Forzar un límite uniforme de 6 bits resulta en una pérdida significativa de calidad (hasta -6.74 dB en escenas dependientes de la vista) en comparación con la asignación heterogénea propuesta.
4. Complementariedad: Los autores posicionan su trabajo como una columna vertebral (ejes de poda y cuantización) que es complementaria a los codificadores entrópicos posteriores (eje de codificación), en lugar de una solución competitiva.

Resultados Experimentales

Evaluado en Mip-NeRF 360, Tanks and Temples y Deep Blending:

• Reducción de Almacenamiento: GETA-3DGS logra aproximadamente una reducción de almacenamiento de 5$\times$ sobre 3DGS Vanilla (por ejemplo, reduciendo escenas de Mip-NeRF 360 de ~20 MB a ~4.86 MB).
• Calidad frente a Líneas Base:
  • Supera a una línea base secuencial ingenua de "podar luego cuantizar" en +4.24 dB a +8.35 dB en tamaños de almacenamiento coincidentes.
  • Aunque el PSNR absoluto de GETA-3DGS es inferior al de códecs codificados entrópicamente como HAC++ (que operan en un eje diferente), el documento argumenta que GETA-3DGS proporciona la columna vertebral automática necesaria sobre la cual se pueden apilar dichos códecs.
• Estudios de Ablación: El estudio confirma que la política de ancho de bits (heterogénea frente a uniforme) es el componente más crítico. Eliminar la heterogeneidad y forzar una cuadrícula uniforme de 6 bits causa una caída promedio de -2.18 dB, con penalizaciones severas en escenas dependientes de la vista.

Significado y Afirmaciones

El documento afirma que GETA-3DGS establece un nuevo paradigma para la compresión de 3DGS al cambiar de un ajuste heurístico y manual a un proceso de optimización automático y controlado por el usuario.

• Control del Usuario: Los usuarios pueden especificar un presupuesto de almacenamiento objetivo o un suelo mínimo de PSNR, y el sistema traza automáticamente la curva de tasa-distorsión para encontrar el punto de operación óptimo.
• Modularidad: El marco está diseñado para ser un "eje complementario" para los códecs existentes. Maneja la dispersión estructural y la cuantización de precisión mixta, dejando la codificación entrópica a módulos posteriores.
• Valor de Ingeniería: Al abstraer el problema de compresión en una topología QADG, el marco reduce el costo de ingeniería de adaptar la compresión a nuevas variantes de 3DGS (por ejemplo, 3DGS dinámica o jerárquica) de semanas de ajuste de hiperparámetros a un esfuerzo de integración mínimo.

Los autores reconocen modestamente que su prototipo actual utiliza un cuantizador simétrico genérico sin modelado de contexto basado en anclajes, lo cual explica la brecha restante de PSNR en comparación con los métodos codificados entrópicamente más avanzados. Proponen que el trabajo futuro que integre modelos de contexto basados en anclajes y codificación entrópica de cuadrícula hash sobre la columna vertebral de GETA-3DGS podría cerrar esta brecha.