3DGS$^2$-TR: Scalable Second-Order Trust-Region Method for 3D Gaussian Splatting

Resumen Técnico: 3DGS2-TR

Planteamiento del Problema
Si bien el 3D Gaussian Splatting (3DGS) se ha consolidado como el estado del arte para la síntesis de vistas novedosas en tiempo real, el proceso de entrenamiento sigue siendo un cuello de botella significativo. El 3DGS estándar depende del optimizador de primer orden ADAM, que a menudo sufre de una convergencia lenta en los espacios de parámetros altamente no convexos e mal condicionados característicos del 3DGS. El paisaje de optimización es particularmente desafiante debido al fuerte acoplamiento entre los parámetros de geometría (posición, rotación, escala) y apariencia (opacidad, color), así como la no linealidad y la continuidad por tramos del proceso de rasterización (causada por el ordenamiento basado en profundidad).

Los enfoques de segundo orden existentes (por ejemplo, 3DGS-LM, 3DGS2) buscan acelerar la convergencia utilizando información de curvatura, pero enfrentan problemas críticos de escalabilidad. Típicamente dependen de representaciones de curvatura explícitas o densas, lo que conduce a una sobrecarga de memoria elevada ($O(n^2)$ o peor) y costos costosos por iteración. Esto los hace inadecuados para escenas a gran escala o entornos de entrenamiento distribuido. Además, las discontinuidades en la función de pérdida de 3DGS violan los supuestos de suavidad requeridos por los métodos clásicos de segundo orden, lo que a menudo resulta en inestabilidad.

Metodología: 3DGS2-TR
Los autores proponen 3DGS2-TR, un optimizador de región de confianza de segundo orden escalable diseñado para acelerar el entrenamiento de 3DGS manteniendo la eficiencia computacional y de memoria de los métodos de primer orden. El método se basa en tres principios fundamentales: computación económica por iteración, escalabilidad de memoria lineal respecto a los parámetros y restricciones de región de confianza.

1. Aproximación de la Hessiana Diagonal (Libre de Matrices):
   En lugar de calcular matrices Hessianas completas, 3DGS2-TR aproxima la curvatura utilizando únicamente la diagonal de la matriz de Gauss-Newton ($J^T J$). Esta se estima eficientemente mediante el método de Hutchinson, el cual utiliza vectores de Rademacher aleatorios para calcular productos Hessiano-vector. Este enfoque asegura que tanto la complejidad de computación como la de memoria permanezcan en $O(n)$, igualando la complejidad de ADAM. Para estabilizar las estimaciones de curvatura, el método emplea una Media Móvil Exponencial (EMA) de las estimaciones diagonales, actualizada periódicamente (por ejemplo, cada 10 iteraciones) en lugar de en cada paso.

2. Región de Confianza por Parámetro mediante la Distancia de Hellinger al Cuadrado:
   Para abordar la fuerte no linealidad y las discontinuidades inherentes a la rasterización de 3DGS, los autores introducen una técnica de región de confianza por parámetro. A diferencia de las restricciones globales o de nivel de grupo, este método limita el paso de actualización para cada parámetro individual de la Gaussiana.

   • Métrica: La restricción se basa en la distancia de Hellinger al cuadrado entre la distribución Gaussiana antes y después de una actualización. Esta métrica se elige porque proporciona una solución de forma cerrada para Gaussianas no normalizadas y mide intuitivamente la discrepancia en la apariencia renderizada.
   • Normalización: Para tener en cuenta el hecho de que la masa aparente de una Gaussiana puede cambiar arbitrariamente con la distancia de visión, la distancia de Hellinger se normaliza mediante el determinante de la matriz de escala ($\det(S)^{-1}$).
   • Mecanismo: Para cada parámetro, se calcula un radio de región de confianza $\eta$ tal que la distancia de Hellinger al cuadrado normalizada permanezca por debajo de un umbral $\epsilon$. El paso de actualización propuesto se recorta entonces a este radio ($\Delta x \cdot \text{clip}(-\eta, +\eta)$), asegurando que las actualizaciones no causen cambios abruptos e inválidos en la geometría o opacidad de la Gaussiana.

3. Pipeline de Optimización:
   El algoritmo sigue una formulación de Gauss-Newton estocástica. Calcula un gradiente estocástico y una estimación de la Hessiana diagonal (vía el método de Hutchinson), calcula un paso de actualización de segundo orden ($\Delta x = -\hat{D}^{-1} \hat{g}$), aplica el recorte de la región de confianza por parámetro y actualiza los parámetros. El método requiere solo una sobrecarga modesta (aproximadamente un 10% más que ADAM) debido al muestreo periódico para la estimación de la Hessiana.

Contribuciones Clave

• Optimización de Segundo Orden Escalable: El artículo presenta el primer optimizador de segundo orden para 3DGS que logra una complejidad de $O(n)$ tanto en computación como en memoria, lo que lo hace escalable a escenas muy grandes y potencialmente a entornos de entrenamiento distribuido.
• Estimación de la Hessiana Diagonal: Al adaptar el marco ligero de Sophia (Liu et al., 2023) al 3DGS, el método utiliza estimaciones de la Hessiana diagonal para dar cuenta de la curvatura de la superficie de pérdida sin los costos prohibitivos de las operaciones de matrices completas.
• Región de Confianza de Distancia de Hellinger: Los autores proponen una restricción de región de confianza por parámetro basada en la distancia de Hellinger al cuadrado. Esto proporciona una forma fundamentada de limitar los cambios geométricos en las primitivas Gaussianas, abordando la inestabilidad causada por la naturaleza no suave de la rasterización de 3DGS.

Resultados
Bajo una inicialización de parámetros idéntica y sin el uso de estrategias de densificación, 3DGS2-TR demuestra un rendimiento superior comparado con el optimizador ADAM estándar:

• Velocidad de Convergencia: Logra una mejor calidad de reconstrucción en conjuntos de datos estándar utilizando un 50% menos de iteraciones de entrenamiento que ADAM.
• Eficiencia de Memoria: El método incurre en menos de 1 GB de sobrecarga de memoria de GPU pico (aproximadamente un 17% más que ADAM). En contraste, los métodos de segundo orden existentes como 3DGS-LM incurren en aproximadamente un 85% más de sobrecarga de memoria, resaltando la ventaja de escalabilidad de 3DGS2-TR.

Significado
El artículo afirma que 3DGS2-TR cierra la brecha entre los beneficios de convergencia de los métodos de segundo orden y los requisitos de escalabilidad para la creación de contenido 3D a gran escala. Al evitar las representaciones de curvatura densas e introducir un mecanismo de estabilidad adaptado a las discontinuidades específicas del splatting de Gaussianas, el método permite tiempos de entrenamiento más rápidos sin sacrificar la calidad de la reconstrucción o la eficiencia de memoria. Este avance aborda un cuello de botella primario en el pipeline de 3DGS, facilitando potencialmente una adopción más amplia en aplicaciones que requieren reconstrucción rápida de escenas, como la realidad virtual, la realidad aumentada y la robótica.