Loss-Guided Density Control and Efficient Backward Optimisation for Compact Gaussian Splatting

Imagina intentar construir un modelo tridimensional perfecto de una escena del mundo real, como una bulliciosa plaza de la ciudad o un bosque tranquilo, utilizando solo un puñado de fotografías. Durante años, los científicos han luchado por hacer que estos modelos parezcan realistas manteniendo al mismo tiempo su tamaño lo suficientemente pequeño como para cargarse rápidamente en un ordenador. El objetivo es crear un gemelo digital en el que puedas caminar, observándolo desde cualquier ángulo, sin que la imagen se desenfoque o el ordenador se ralentice excesivamente. Un avance reciente llamado 3D Gaussian Splatting cambió las reglas del juego al representar una escena no como una malla sólida, sino como una nube de millones de diminutos elipsoides difusos. Piensa en estos elipsoides como nubes suaves y brillantes de color que se superponen para formar la imagen final. Si bien este método produce imágenes impresionantes de forma instantánea, el proceso de enseñar al ordenador cómo disponer estas nubes es a menudo lento y costoso. El ordenador tiende a crear demasiadas nubes en lugares donde la imagen ya es clara, y no suficientes donde faltan detalles, lo que genera un modelo inflado que tarda mucho tiempo en entrenarse.

Investigadores de la Universidad de Tecnología de Chengdu y de la empresa Shenzhen Sensing Data Technology han propuesto una nueva forma de entrenar estos modelos que es más rápida y eficiente. Su enfoque se centra en tres mejoras principales: evitar que el ordenador cree nubes innecesarias, eliminar las que no ayudan y acelerar los cálculos internos. En lugar de añadir ciegamente más nubes cada vez que la imagen se ve ligeramente borrosa, su nuevo método analiza los errores reales en la imagen a lo largo de un periodo de tiempo. Si un área específica de la imagen se ha reconstruido bien durante varias rondas, el sistema sabe que debe dejar de añadir nubes allí. Solo permite que se formen nuevas nubes en los puntos que todavía tienen dificultades para verse correctamente. Esto evita que el modelo se congestione con piezas redundantes que no hacen más que ralentizar las cosas.

Una vez que el modelo ha añadido nuevas nubes, los investigadores también introdujeron una forma de limpiar el desorden. Desarrollaron una prueba para identificar nubes que son demasiado tenues para ser vistas o que se tambalean demasiado para ser útiles. Estas nubes inestables o invisibles son podadas, dejando tras de sí un conjunto de formas más esbelto y eficaz. Para que todo el proceso sea aún más rápido, el equipo reescribió el código informático subyacente que realiza el trabajo pesado. Al organizar los datos de manera que el procesador gráfico del ordenador pueda leerlos con mayor fluidez, redujeron el tiempo necesario para calcular cómo debería cambiar la imagen. Esto es similar a cómo un bibliotecario podría organizar los libros en un estante para que un usuario pueda tomar el siguiente sin tener que caminar de un lado a otro de la habitación; los libros son los mismos, pero el camino para obtenerlos es mucho más corto.

Los resultados de este trabajo son significativos. Cuando se probó en conjuntos de datos complejos que contenían escenas como una bicicleta en un jardín o un tanque en un templo, el nuevo método redujo el tiempo total de entrenamiento en un margen considerable en comparación con técnicas anteriores. En una prueba específica de una escena de una bicicleta, el tiempo de entrenamiento cayó de más de 224 segundos a solo 190 segundos, mientras que el número final de nubes utilizadas para construir la escena se redujo casi a la mitad, de más de 947.000 a aproximadamente 570.000. A pesar de utilizar menos nubes y terminar más rápido, la calidad de las imágenes finales se mantuvo alta, manteniéndose la nitidez visual y la precisión del color muy cerca de los métodos originales más lentos. Los investigadores descubrieron que, al ser más inteligentes sobre cuándo añadir detalles y cuándo eliminarlos, podían crear modelos 3D compactos y de alta calidad sin sacrificar la fidelidad visual que hace que estas escenas sean tan cautivadoras. Esto sugiere que el futuro de la creación de mundos digitales puede no residir solo en añadir más datos, sino en gestionarlos con mayor precisión.