💻 computer science

VkSplat: High-Performance 3DGS Training in Vulkan Compute

El artículo presenta VkSplat, la primera pipeline de entrenamiento de 3D Gaussian Splatting completamente basada en Vulkan que logra un rendimiento de vanguardia con una aceleración de 3,3 veces y una reducción del 33 % en la VRAM en comparación con las líneas base de CUDA+PyTorch, al tiempo que garantiza la compatibilidad de GPU entre diferentes fabricantes.

Autores originales: Jingxiang Chen, Mohamed Ibrahim, Yang Liu

Publicado 2026-05-04

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Jingxiang Chen, Mohamed Ibrahim, Yang Liu

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando construir un mundo 3D impresionante y fotorrealista usando millones de globos diminutos, brillantes y borrosos (llamados "Gaussianos"). Esto es lo que hace 3D Gaussian Splatting (3DGS). Es una forma popular de crear escenas 3D a partir de fotografías, pero hasta ahora, construir estos mundos ha sido como intentar pintar una obra maestra con un pincel lento y pesado que solo funciona en una marca específica de computadora (NVIDIA).

El artículo presenta VkSplat, una nueva herramienta que actúa como un pincel de alta velocidad y uso universal. Construye estos mundos 3D mucho más rápido, utiliza menos memoria y funciona en casi cualquier tarjeta gráfica, no solo en las de NVIDIA.

Así es como lo hicieron, explicado con analogías cotidianas:

1. El Problema: El "Embotellamiento" y el "Club Exclusivo"

El Embotellamiento: En la antigua forma de construir estas escenas 3D, la computadora tenía que verificar cada píxel individual contra cada globo individual para ver si se tocaban. Esto creaba un embotellamiento masivo donde miles de trabajadores (hilos de la computadora) intentaban escribir todos a la vez en la misma libreta, obligándolos a esperar unos a otros.
El Club Exclusivo: Las mejores herramientas para este trabajo estaban escritas en un lenguaje (CUDA) que solo funciona en tarjetas gráficas NVIDIA. Si tenías una tarjeta AMD o Intel, quedabas excluido o tenías que usar una versión mucho más lenta y torpe.

2. La Solución: El "Kit Universal" de VkSplat

Los autores construyeron VkSplat utilizando Vulkan, un lenguaje universal que se comunica con casi todas las tarjetas gráficas (NVIDIA, AMD, Intel, etc.) por igual. No solo tradujeron el código antiguo; reconstruyeron el motor desde cero para que fuera increíblemente eficiente.

3. Los Ingredientes Secretos (Las Optimizaciones)

A. El "Mapa Perfecto" (Eliminación de Teselas)

Antigua Forma: Imagina a un repartidor revisando cada casa en una calle para ver si tiene un paquete, incluso si la casa está claramente al otro lado de la ciudad. Esto desperdicia tiempo.
Forma VkSplat: Utilizan un método de "línea de exploración". Es como dibujar una caja perfecta y ajustada alrededor del globo y solo revisar las casas que la caja toca realmente. Calculan esto matemáticamente para que no haya errores (no revisan casas que no existen, y no se saltan casas que sí existen). Esto detiene el embotellamiento antes de que comience.

B. El "Líder de Equipo Inteligente" (Programación Adaptativa)

Antigua Forma: Imagina una fábrica donde cada trabajador recibe asignado un número fijo de tareas, independientemente de cuántas tareas haya realmente esperando. Algunos trabajadores permanecen ociosos mientras otros están abrumados.
Forma VkSplat: Utilizan un "líder de equipo inteligente" que vigila la fila de trabajo. Si un área específica tiene muchos globos, el líder asigna más trabajadores a ese punto. Si hay pocos, asigna menos. Incluso tienen una "estrategia de jugador" (muestreo de Thompson) que prueba diferentes horarios de trabajo durante el entrenamiento para encontrar la forma absolutamente más rápida de hacer el trabajo para esa escena específica.

C. La "Tienda de Todo en Uno" (Operaciones Fusionadas)

Antigua Forma: Imagina a un chef que pica verduras, las pone en un tazón, camina al refrigerador para obtener especias, regresa, las mezcla y luego camina hacia la estufa. Esto implica mucho caminar (mover datos dentro y fuera de la memoria).
Forma VkSplat: Construyeron una cocina donde picar, mezclar y cocinar ocurren en un solo movimiento. Combinan la "matemática de la cámara" (proyección) y el "paso de aprendizaje" (optimizador) en un solo paso. Esto significa que los datos nunca tienen que salir de la "encimera de la cocina" (memoria), ahorrando enormes cantidades de tiempo y espacio.

D. El "Clasificado Inteligente" (Ordenamiento de 32 bits)

Antigua Forma: Ordenar millones de elementos generalmente requiere escribir direcciones muy largas y detalladas (números de 64 bits) para cada elemento.
Forma VkSplat: Se dieron cuenta de que podían usar direcciones más cortas e inteligentes (números de 32 bits) que aún mantienen todo en el orden correcto. Es como usar un código postal en lugar de una dirección completa para clasificar el correo: es más rápido y ocupa menos espacio, sin pérdida de precisión.

4. Los Resultados: Más Rápido, Más Ligero y Universal

El artículo probó esta nueva herramienta contra el estándar de oro actual (GSplat) en una tarjeta NVIDIA RTX 3090:

Velocidad: Fue 3.3 veces más rápida. Si la antigua forma tomaba 23 minutos, VkSplat tomó unos 7 minutos.
Memoria: Utilizó 33% menos memoria de video (VRAM). Esto es como meter un camión de mudanzas masivo en un automóvil compacto.
Calidad: Las imágenes 3D finales se veían exactamente igual que el estándar de alta calidad.
Compatibilidad: Lo probaron en una tarjeta AMD (Radeon RX 7800 XT). ¡Funcionó! Aunque fue más lenta que en NVIDIA (debido a diferencias de hardware en cómo se mueven los datos), demostró que la herramienta funciona entre diferentes marcas, rompiendo la barrera de "solo NVIDIA".

Resumen

VkSplat es un nuevo motor altamente optimizado para crear mundos 3D. Reemplaza los métodos lentos, exclusivos y hambrientos de memoria del pasado con un sistema rápido, universal y eficiente. Es como pasar de un carruaje tirado por caballos que solo funciona en adoquines a un tren de alta velocidad que corre sobre cualquier vía, llevándote a tu destino tres veces más rápido mientras llevas menos equipaje.

A continuación se presenta un resumen técnico detallado del artículo "VkSplat: Entrenamiento de 3DGS de alto rendimiento en Vulkan Compute".

1. Planteamiento del Problema

A pesar de la rápida adopción de la Splatting Gaussiana 3D (3DGS) para la síntesis de nuevas vistas de alta calidad, su implementación práctica se ve obstaculizada por dos limitaciones principales:

Cuellos de botella de rendimiento: Las pipelines de entrenamiento existentes suelen ser subóptimas en velocidad y uso de memoria, especialmente para escenas grandes. Los cuellos de botella clave incluyen intersecciones de baldosas falsas positivas durante la clasificación, contención atómica durante la rasterización hacia atrás y una gestión de memoria ineficiente en los optimizadores (por ejemplo, Adam de PyTorch).
Bloqueo de hardware: La mayoría de las implementaciones más avanzadas dependen en gran medida del ecosistema CUDA y de PyTorch, restringiendo el entrenamiento a GPUs de NVIDIA. Esto limita la accesibilidad para usuarios con GPUs de AMD, Intel o móviles.
Fragmentación: Los intentos previos de utilizar APIs multi-proveedor (como Vulkan) solo han abordado la rasterización (no el entrenamiento de extremo a extremo) o han dependido de PyTorch para el bucle de entrenamiento, fallando en eliminar las dependencias de CUDA por completo.

2. Metodología

Los autores presentan VkSplat, una pipeline de entrenamiento 3DGS completamente de extremo a extremo implementada íntegramente en Vulkan Compute. El sistema se basa en el lenguaje de sombreado Slang (dirigido a Vulkan) para garantizar la compatibilidad multi-proveedor manteniendo un alto rendimiento.

La metodología central implica una reescritura completa de la pipeline 3DGS con cambios arquitectónicos específicos:

Vulkan Compute completo: Toda la pipeline, desde la inicialización y densificación hasta la optimización, se ejecuta en la GPU sin intervención del lado de la CPU ni dependencias de PyTorch.
Backend Slang: El aprovechamiento de Slang permite que el código se dirija a múltiples backends, aunque la implementación actual se centra en Vulkan.

3. Contribuciones Técnicas Clave

El artículo detalla cinco optimizaciones técnicas mayores que permiten a VkSplat superar a las líneas base basadas en CUDA:

A. Eliminación completa de baldosas mediante intersección de línea de escaneo

Problema: Los métodos existentes (por ejemplo, [KKLD23], [RSP∗24]) generan intersecciones de baldosas falsas positivas (comprobando baldosas que no se superponen realmente con el Gaussiano), desperdiciando tiempo de clasificación y rasterización.
Solución: VkSplat utiliza una formulación de línea de escaneo para calcular intersecciones exactas. Al tratar el Gaussiano como una elipse y calcular intervalos de forma cerrada para las filas/columnas que intersectan, el sistema genera una lista precisa de pares baldosa-profundidad.
Impacto: Elimina los falsos positivos sin requerir un paso de eliminación separado, reduciendo el uso de VRAM y la sobrecarga de clasificación.

B. Rasterización hacia atrás adaptativa

Problema: Los pasos hacia atrás estándar por píxel causan una alta contención atómica al actualizar los gradientes del Gaussiano.
Solución: Los autores implementan dos estrategias y utilizan un programador de muestreo de Thompson para seleccionar dinámicamente la más rápida según la escena:
1. Paralelismo por baldosa: Un bloque de hilos por baldosa con tamaños de lote de Gaussianos ajustados dinámicamente (optimizados a $S = \sqrt{NP}$ ) para minimizar la latencia.
2. Optimización de memoria compartida: Un enfoque de dos pasos (el paso hacia adelante calcula la transmitancia en memoria compartida; el paso hacia atrás acumula gradientes por Gaussiano) para minimizar la divergencia de hilos.
Impacto: Reduce significativamente la contención atómica y mejora la utilización de los hilos.

C. Proyección hacia atrás y optimizador fusionados

Problema: Las implementaciones estándar almacenan los gradientes por separado y utilizan Adam de PyTorch, lo que genera huellas de memoria innecesarias y lanzamientos de kernels.
Solución: El paso de proyección hacia atrás y el optimizador Adam se fusionan en un solo kernel.
- Los valores y gradientes para escalas y opacidades se transforman directamente entre el espacio log/logit dentro del kernel.
- Los coeficientes de Armónicos Esféricos (SH) se almacenan en un formato basado en columnas alineado con los tamaños de subgrupos (valores de 128 bits) para mejorar la coalescencia de memoria.
Impacto: Elimina el almacenamiento intermedio de memoria para gradientes y reduce la sobrecarga de lanzamiento de kernels.

D. Clasificación de profundidad de baldosas de 32 bits

Problema: La clasificación nativa de Vulkan suele ser más lenta que las funciones integradas optimizadas de CUDA.
Solución: En lugar de utilizar claves de 64 bits (ID de baldosa de 32 bits + profundidad de 32 bits), los autores utilizan claves de 32 bits. Mapean la profundidad $z$ a un rango donde solo varían los 23 bits de mantisa inferiores de un float FP32, empaquetando el ID de la baldosa en los bits superiores.
Impacto: Habilita una clasificación eficiente de 32 bits en hardware Vulkan sin sacrificar la precisión de la profundidad ni la calidad de la imagen.

E. Evaluación de gradientes de pérdida totalmente fusionada

Solución: Un solo kernel calcula la suma ponderada de las pérdidas L1 y SSIM y sus gradientes directamente.
Optimización: Las imágenes de referencia se almacenan como UINT8 RGBA (evitando la conversión a FP32) y el enmascaramiento alpha se maneja con una sobrecarga cercana a cero.
Impacto: Elimina los pasos de reducción intermedios y las conversiones de diseño de memoria (de canal al final a canal al principio).

4. Resultados

Los autores evaluaron VkSplat en 7 escenas del conjunto de datos Mip-NeRF 360 frente a la línea base GSplat (una implementación líder CUDA+PyTorch) en una NVIDIA RTX 3090.

Rendimiento:
- Velocidad: Logró una aceleración de 3.3× sobre la línea base GSplat (por ejemplo, 412 s frente a 1384 s para la densificación predeterminada).
- VRAM: Redujo el uso de memoria en un 33% (3.01 GiB frente a 4.56 GiB).
- Granularidad: VkSplat fue más rápido en cada etapa individual de la pipeline (Proyección, Baldosado, Rasterización, Pérdida, Optimizador).
Calidad:
- Las métricas de calidad de imagen (PSNR, SSIM, LPIPS) fueron idénticas a la línea base, confirmando que las optimizaciones no comprometieron la fidelidad.
Compatibilidad multi-proveedor:
- Entrenó con éxito en una AMD Radeon RX 7800 XT.
- Aunque AMD fue más lenta en general (1201 s frente a 575 s en NVIDIA), produjo métricas de calidad y uso de VRAM consistentes. La brecha de rendimiento se atribuyó principalmente a transferencias de memoria más lentas de host a dispositivo en AMD, lo que sugiere margen para un ajuste específico de hardware adicional.

5. Significado

Primera 3DGS Vulkan de extremo a extremo: Esta es la primera pipeline de entrenamiento 3DGS basada completamente en Vulkan que logra un rendimiento de vanguardia, rompiendo el monopolio de CUDA.
Agnosticismo de hardware: Al eliminar las dependencias de PyTorch y CUDA, VkSplat habilita el entrenamiento 3DGS en GPUs de AMD, Intel y móviles, democratizando el acceso a la reconstrucción 3D de alta calidad.
Liderazgo en rendimiento: Contra intuitivamente, la implementación Vulkan supera a la línea base CUDA altamente optimizada, demostrando que una optimización cuidadosa de bajo nivel de GPU (kernels fusionados, eliminación precisa, programación adaptativa) puede generar ganancias incluso en hardware no NVIDIA.
Extensibilidad: El uso de Slang sugiere que la pipeline puede portarse fácilmente a otros backends como Metal, DirectX o WebGPU, ampliando aún más el ecosistema.

Limitaciones: La implementación actual carece de algunas características "listas para producción" que se encuentran en entrenadores maduros, como corrección de exposición, supervisión de profundidad, agrupación en lotes (batching) y entrenamiento multi-GPU. Sin embargo, la arquitectura central está diseñada para acomodar estas características.