💻 computer science

VkSplat: High-Performance 3DGS Training in Vulkan Compute

Le papier présente VkSplat, le premier pipeline d'entraînement de 3D Gaussian Splatting entièrement basé sur Vulkan, qui atteint des performances de pointe avec une accélération de 3,3× et une réduction de 33 % de la VRAM par rapport aux références CUDA+PyTorch tout en assurant la compatibilité des GPU entre différents fabricants.

Auteurs originaux : Jingxiang Chen, Mohamed Ibrahim, Yang Liu

Publié 2026-05-04

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Jingxiang Chen, Mohamed Ibrahim, Yang Liu

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de construire un monde 3D époustouflant et photoréaliste en utilisant des millions de petits ballons lumineux et flous (appelés « Gaussiennes »). C'est ce que fait le 3D Gaussian Splatting (3DGS). C'est une méthode populaire pour créer des scènes 3D à partir de photos, mais jusqu'à présent, construire ces mondes revenait à essayer de peindre un chef-d'œuvre avec un pinceau lent et lourd qui ne fonctionne que sur une marque spécifique d'ordinateur (NVIDIA).

L'article présente VkSplat, un nouvel outil qui agit comme un pinceau universel et haute vitesse. Il construit ces mondes 3D beaucoup plus rapidement, utilise moins de mémoire et fonctionne sur presque n'importe quelle carte graphique, pas seulement celles de NVIDIA.

Voici comment ils ont procédé, expliqué avec des analogies du quotidien :

1. Le Problème : L'« Embouteillage » et le « Club Exclusif »

L'Embouteillage : Dans l'ancienne méthode de construction de ces scènes 3D, l'ordinateur devait vérifier chaque pixel unique contre chaque ballon unique pour voir s'ils se touchaient. Cela créait un embouteillage massif où des milliers d'ouvriers (threads informatiques) essayaient tous d'écrire sur le même presse-papiers en même temps, les obligeant à s'attendre les uns les autres.
Le Club Exclusif : Les meilleurs outils pour ce travail étaient écrits dans un langage (CUDA) qui ne fonctionne que sur les cartes graphiques NVIDIA. Si vous aviez une carte AMD ou Intel, vous étiez exclu ou deviez utiliser une version beaucoup plus lente et lourde.

2. La Solution : La « Boîte à Outils Universelle » de VkSplat

Les auteurs ont construit VkSplat en utilisant Vulkan, un langage universel qui parle aussi bien à presque toutes les cartes graphiques (NVIDIA, AMD, Intel, etc.). Ils n'ont pas simplement traduit l'ancien code ; ils ont reconstruit le moteur de zéro pour qu'il soit incroyablement efficace.

3. Les Ingrédients Secrets (Les Optimisations)

A. La « Carte Parfaite » (Élimination par Tuiles)

Ancienne Méthode : Imaginez un livreur vérifiant chaque maison d'une rue pour voir s'il a un colis, même si la maison est clairement de l'autre côté de la ville. Cela perd du temps.
Méthode VkSplat : Ils utilisent une méthode de « ligne de balayage ». C'est comme dessiner une boîte parfaite et serrée autour du ballon et ne vérifier que les maisons que la boîte touche réellement. Ils calculent cela mathématiquement pour qu'il n'y ait aucune erreur (pas de vérification de maisons qui ne sont pas là, et pas de maisons manquées qui sont là). Cela arrête l'embouteillage avant qu'il ne commence.

B. Le « Chef d'Équipe Intelligent » (Ordonnancement Adaptatif)

Ancienne Méthode : Imaginez une usine où chaque travailleur se voit attribuer un nombre fixe de tâches, indépendamment du nombre de tâches réellement en attente. Certains travailleurs restent inactifs tandis que d'autres sont submergés.
Méthode VkSplat : Ils utilisent un « chef d'équipe intelligent » qui surveille la file d'attente des travaux. Si une zone spécifique a beaucoup de ballons, le chef attribue plus de travailleurs à cet endroit. S'il y en a peu, il en attribue moins. Ils ont même une « stratégie de joueur » (échantillonnage de Thompson) qui teste différents horaires de travail pendant l'entraînement pour trouver le moyen absolument le plus rapide de faire le travail pour cette scène spécifique.

C. Le « Guichet Unique » (Opérations Fusionnées)

Ancienne Méthode : Imaginez un chef qui hache des légumes, les met dans un bol, marche jusqu'au réfrigérateur pour prendre des épices, revient, les mélange, puis marche jusqu'au poêle. Cela implique beaucoup de marche (déplacement des données vers et depuis la mémoire).
Méthode VkSplat : Ils ont construit une cuisine où le hachage, le mélange et la cuisson se produisent en un seul mouvement. Ils combinent les « mathématiques de la caméra » (projection) et l'« étape d'apprentissage » (optimiseur) en une seule étape. Cela signifie que les données n'ont jamais à quitter le « comptoir de la cuisine » (mémoire), économisant d'énormes quantités de temps et d'espace.

D. Le « Tri Intelligent » (Tri sur 32 bits)

Ancienne Méthode : Trier des millions d'éléments nécessite généralement d'écrire des adresses très longues et détaillées (nombres sur 64 bits) pour chaque élément.
Méthode VkSplat : Ils ont réalisé qu'ils pouvaient utiliser des adresses plus courtes et plus intelligentes (nombres sur 32 bits) qui maintiennent tout dans le bon ordre. C'est comme utiliser un code postal au lieu d'une adresse complète pour trier le courrier : c'est plus rapide et prend moins de place, sans perte de précision.

4. Les Résultats : Plus Rapide, Plus Léger et Universel

L'article a testé cet nouvel outil contre la référence actuelle (GSplat) sur une carte NVIDIA RTX 3090 :

Vitesse : Il était 3,3 fois plus rapide. Si l'ancienne méthode prenait 23 minutes, VkSplat a pris environ 7 minutes.
Mémoire : Il a utilisé 33 % de mémoire vidéo (VRAM) en moins. C'est comme faire tenir un camion de déménagement massif dans une voiture compacte.
Qualité : Les images 3D finales ressemblaient exactement à la norme de haute qualité.
Compatibilité : Ils l'ont testé sur une carte AMD (Radeon RX 7800 XT). Cela a fonctionné ! Bien que plus lent que sur NVIDIA (en raison des différences matérielles dans la façon dont les données sont déplacées), cela a prouvé que l'outil fonctionne sur différentes marques, brisant la barrière « NVIDIA uniquement ».

Résumé

VkSplat est un nouveau moteur hautement optimisé pour créer des mondes 3D. Il remplace les méthodes lentes, exclusives et gourmandes en mémoire du passé par un système rapide, universel et efficace. C'est comme passer d'une calèche tirée par un cheval qui ne roule que sur des pavés à un train à grande vitesse qui roule sur n'importe quelle voie, vous emmenant à destination trois fois plus vite tout en transportant moins de bagages.

1. Énoncé du problème

Malgré l'adoption rapide du Splatting Gaussien 3D (3DGS) pour la synthèse de vues nouvelles de haute qualité, son déploiement pratique est entravé par deux limitations principales :

Goulots d'étranglement de performance : Les pipelines d'entraînement existants sont souvent sous-optimaux en termes de vitesse et d'utilisation de la mémoire, en particulier pour les grandes scènes. Les goulots d'étranglement clés incluent les intersections de tuiles faux-positives lors du tri, la contention atomique lors de la rétro-rasterisation et la gestion inefficace de la mémoire dans les optimiseurs (par exemple, Adam de PyTorch).
Verrouillage matériel : La plupart des implémentations les plus avancées reposent fortement sur l'écosystème CUDA et PyTorch, limitant l'entraînement aux GPU NVIDIA. Cela restreint l'accessibilité pour les utilisateurs disposant de GPU AMD, Intel ou mobiles.
Fragmentation : Les tentatives précédentes d'utilisation d'API multi-fournisseurs (comme Vulkan) n'ont soit traité que la rasterisation (et non l'entraînement de bout en bout), soit reposé sur PyTorch pour la boucle d'entraînement, échouant ainsi à éliminer totalement les dépendances CUDA.

2. Méthodologie

Les auteurs présentent VkSplat, un pipeline d'entraînement 3DGS entièrement de bout en bout implémenté intégralement en Vulkan Compute. Le système est construit sur le langage de shading Slang (ciblant Vulkan) pour assurer la compatibilité multi-fournisseurs tout en maintenant des performances élevées.

La méthodologie centrale implique une réécriture complète du pipeline 3DGS avec des changements architecturaux spécifiques :

Vulkan Compute complet : L'ensemble du pipeline, de l'initialisation et de la densification à l'optimisation, s'exécute sur le GPU sans intervention côté CPU ni dépendance à PyTorch.
Backend Slang : L'utilisation de Slang permet au code de cibler plusieurs backends, bien que l'implémentation actuelle se concentre sur Vulkan.

3. Contributions techniques clés

L'article détaille cinq optimisations techniques majeures permettant à VkSplat de surpasser les bases de référence CUDA :

A. Élimination complète des tuiles par intersection de ligne de balayage

Problème : Les méthodes existantes (par exemple, [KKLD23], [RSP∗24]) génèrent des intersections de tuiles faux-positives (vérifiant des tuiles qui ne chevauchent pas réellement le Gaussien), gaspillant du temps de tri et de rasterisation.
Solution : VkSplat utilise une formulation de ligne de balayage pour calculer des intersections exactes. En traitant le Gaussien comme une ellipse et en calculant des intervalles sous forme fermée pour les lignes/colonnes intersectées, le système génère une liste précise de paires tuile-profondeur.
Impact : Élimine les faux positifs sans nécessiter un passage d'élimination séparé, réduisant l'utilisation de la VRAM et la surcharge de tri.

B. Rétro-rasterisation adaptative

Problème : Les passages de rétro-propagation standard par pixel provoquent une forte contention atomique lors de la mise à jour des gradients gaussiens.
Solution : Les auteurs implémentent deux stratégies et utilisent un planificateur d'échantillonnage de Thompson pour sélectionner dynamiquement la plus rapide en fonction de la scène :
1. Parallélisme par tuile : Un bloc de threads par tuile avec des tailles de lots gaussiens ajustées dynamiquement (optimisées à $S = \sqrt{NP}$ ) pour minimiser la latence.
2. Optimisation de la mémoire partagée : Une approche en deux passes (la passe avant calcule la transmittance dans la mémoire partagée ; la passe arrière accumule les gradients par Gaussien) pour minimiser la divergence des threads.
Impact : Réduit considérablement la contention atomique et améliore l'utilisation des threads.

C. Fusion de la rétro-projection et de l'optimiseur

Problème : Les implémentations standard stockent les gradients séparément et utilisent Adam de PyTorch, entraînant des empreintes mémoire inutiles et des lancements de noyaux excessifs.
Solution : Le passage de rétro-projection et l'optimiseur Adam sont fusionnés en un seul noyau.
- Les valeurs et les gradients pour les échelles et les opacités sont transformés directement entre les espaces log/logit au sein du noyau.
- Les coefficients d'harmoniques sphériques (SH) sont stockés dans un format basé sur les colonnes aligné sur les tailles de sous-groupes (valeurs 128 bits) pour améliorer le regroupement mémoire.
Impact : Élimine le stockage mémoire intermédiaire pour les gradients et réduit la surcharge de lancement de noyaux.

D. Tri tuile-profondeur 32 bits

Problème : Le tri natif de Vulkan est souvent plus lent que les fonctions intégrées optimisées de CUDA.
Solution : Au lieu d'utiliser des clés 64 bits (32 bits d'ID de tuile + 32 bits de profondeur), les auteurs utilisent des clés 32 bits. Ils mappent la profondeur $z$ sur une plage où seuls les 23 bits de mantisse inférieurs d'un float FP32 varient, en emballant l'ID de tuile dans les bits supérieurs.
Impact : Permet un tri 32 bits efficace sur le matériel Vulkan sans sacrifier la précision de la profondeur ni la qualité de l'image.

E. Évaluation de gradient de perte entièrement fusionnée

Solution : Un seul noyau calcule directement la somme pondérée des pertes L1 et SSIM et de leurs gradients.
Optimisation : Les images de référence sont stockées en UINT8 RGBA (évitant la conversion FP32), et le masquage alpha est géré avec une surcharge proche de zéro.
Impact : Supprime les étapes de réduction intermédiaires et les conversions de disposition mémoire (du canal-dernier au canal-premier).

4. Résultats

Les auteurs ont évalué VkSplat sur 7 scènes du jeu de données Mip-NeRF 360 par rapport à la base de référence GSplat (une implémentation CUDA+PyTorch de premier plan) sur un NVIDIA RTX 3090.

Performance :
- Vitesse : Un accélération de 3,3× par rapport à la base de référence GSplat (par exemple, 412 s contre 1384 s pour la densification par défaut).
- VRAM : Réduction de l'utilisation de la mémoire de 33 % (3,01 GiB contre 4,56 GiB).
- Granularité : VkSplat a été plus rapide à chaque étape individuelle du pipeline (Projection, Tuilage, Rasterisation, Perte, Optimiseur).
Qualité :
- Les métriques de qualité d'image (PSNR, SSIM, LPIPS) étaient identiques à la base de référence, confirmant que les optimisations n'ont pas compromis la fidélité.
Compatibilité multi-fournisseurs :
- Entraînement réussi sur un AMD Radeon RX 7800 XT.
- Bien qu'AMD ait été globalement plus lent (1201 s contre 575 s sur NVIDIA), il a produit des métriques de qualité et une utilisation de la VRAM cohérentes. L'écart de performance est principalement attribué à des transferts mémoire hôte-vers-périphérique plus lents sur AMD, suggérant une marge de manœuvre pour un réglage spécifique au matériel.

5. Importance

Premier 3DGS Vulkan de bout en bout : Il s'agit du premier pipeline d'entraînement 3DGS entièrement basé sur Vulkan atteignant des performances de pointe, brisant le monopole CUDA.
Agnosticisme matériel : En supprimant les dépendances PyTorch et CUDA, VkSplat permet l'entraînement 3DGS sur les GPU AMD, Intel et mobiles, démocratisant l'accès à la reconstruction 3D de haute qualité.
Leadership en performance : Contre-intuitivement, l'implémentation Vulkan surpasse la base de référence CUDA hautement optimisée, prouvant qu'une optimisation GPU de bas niveau soignée (noyaux fusionnés, élimination précise, planification adaptative) peut produire des gains même sur du matériel non NVIDIA.
Extensibilité : L'utilisation de Slang suggère que le pipeline peut être facilement porté vers d'autres backends comme Metal, DirectX ou WebGPU, élargissant davantage l'écosystème.

Limitations : L'implémentation actuelle manque de certaines fonctionnalités "prêtes pour la production" trouvées dans les entraîneurs matures, telles que la correction d'exposition, la supervision de profondeur, le lotissement (batching) et l'entraînement multi-GPU. Cependant, l'architecture de base est conçue pour accueillir ces fonctionnalités.