Résumé technique : BlitzGS, un éclaboussage gaussien à l'échelle de la ville à la vitesse de l'éclair

Énoncé du problème

La reconstruction 3D à l'échelle de la ville est cruciale pour des applications telles que les jumeaux numériques, la cartographie aérienne et la simulation. Cependant, l'extension de l'éclaboussage gaussien 3D (3DGS) à des scènes de niveau urbain reste prohibitivement coûteuse en calcul. Bien que les méthodes existantes utilisent des configurations multi-GPU, elles souffrent d'inefficacités significatives :

1. Charge de travail redondante : Au cours d'une seule itération d'entraînement, seule une petite fraction des millions de gaussiennes contribue de manière significative à la perte rendue. La majorité engendre des coûts redondants en stockage, communication et rasterisation sans aider la convergence.
2. Partitionnement inefficace : Le partitionnement spatial par blocs, stratégie courante, entraîne une redondance de visibilité inter-blocs (où les GPU doivent traiter des primitives en dehors de leur région immédiate en raison du chevauchement des caméras) et des charges de fragments déséquilibrées.
3. Entraînement lent : Malgré les avancées en entraînement distribué et en rendu hiérarchique, l'optimisation à l'échelle de la ville nécessite généralement plusieurs heures, créant un goulot d'étranglement où la vitesse d'entraînement s'oppose souvent à la qualité de la scène.

L'observation centrale qui motive ce travail est que la reconstruction rapide à l'échelle de la ville nécessite de minimiser le nombre de gaussiennes entrant dans le pipeline de rendu à chaque étape : globalement (en supprimant les clones redondants), localement (en activant uniquement les échelles utiles par vue) et systématiquement (en équilibrant la charge sans gaspillage spatial).

Méthodologie

BlitzGS est un framework 3DGS distribué qui réduit la charge de travail active des gaussiennes grâce à trois niveaux d'optimisation couplés :

1. Niveau système : Fragmentation non spatiale des primitives

Au lieu de partitionner la scène en blocs spatiaux, BlitzGS fragmente le modèle gaussien global sur $M$ GPU en fonction de la parité des index.

• Mécanisme : Chaque GPU détient une tranche équilibrée et non contiguë de l'ensemble global de gaussiennes (environ $|G|/M$ primitives).
• Rendu distribué : Au cours de chaque étape de rendu, chaque GPU projette ses gaussiennes locales. Un échange tout-à-tout unique achemine les gaussiennes projetées vers les GPU propriétaires des tuiles d'image spécifiques sur lesquelles elles atterrissent.
• Avantage : Cela élimine le « gaspillage des frontières » inhérent au partitionnement spatial, où les caméras chevauchant les limites des blocs forcent un traitement redondant. Le stockage et le calcul par étape évoluent de manière linéaire avec le nombre de GPU.

2. Niveau modèle : Évaluation de l'importance planifiée et simplification

BlitzGS effectue une réduction permanente de la population en identifiant et en supprimant les primitives qui ne contribuent pas de manière significative à la qualité finale de la vue.

• Évaluation de l'importance : Des passages planifiés (entrelacés avec l'entraînement) balayent toutes les vues en utilisant un rasteriseur instrumenté. Pour chaque gaussienne, il calcule un score de densité de contribution ($s_i$) basé sur la contribution pondérée par l'alpha par pixel à travers toutes les vues, normalisée par la surface projetée.
• Élagage : Deux passages sont utilisés :
  1. Échantillonnage stochastique : Au début de l'entraînement, une fraction de la population est supprimée par échantillonnage pondéré par l'importance.
  2. Découpe déterministe : Plus tard dans l'entraînement, la queue de plus faible score est élaguée pour atteindre une taille de population cible.
• Boucles de rétroaction : Le passage d'évaluation génère deux signaux supplémentaires :
  • Ratio de visibilité ($\phi_i$) : Répondre les gradients de contrôle de densité (clonage/division) pour favoriser les primitives qui contribuent de manière constante à travers les vues, empêchant le modèle de gaspiller sa capacité sur des clones redondants.
  • Masque de redondance par vue : Une matrice compactée en bits indiquant quelles gaussiennes tombent en dessous des 99 % de masse de contribution pour des caméras spécifiques, utilisée pour filtrer les vues.

3. Niveau vue : Filtrage de l'ensemble actif

Avant le rendu, l'ensemble actif pour chaque caméra est réduit à l'aide de deux mécanismes complémentaires :

• Porte LOD basée sur la distance : Les gaussiennes se voient attribuer des étiquettes de niveau de détail (LOD) héritées de la voxelisation SfM initiale. Le rendu exclut les gaussiennes trop fines (LOD élevé) pour la distance actuelle de la caméra, empêchant les primitives sous-pixel d'engendrer des coûts de rasterisation.
• Élimination basée sur l'importance : Le masque de redondance par vue généré au niveau modèle est appliqué pour sauter les gaussiennes ayant une contribution inter-vue négligeable pour la caméra spécifique, réduisant ainsi davantage l'ensemble actif.

Contributions clés

1. Insight centré sur la charge de travail : L'article propose une vision unifiée de l'accélération du 3DGS à l'échelle de la ville, soutenant que chaque composant doit être conçu pour garantir que les opérations ne touchent que les gaussiennes qui comptent pour l'appareil, la vue et l'étape d'entraînement spécifiques.
2. Framework à trois niveaux : Un framework distribué novateur qui intègre :
   • Le fractionnement par parité d'index au niveau système pour une distribution équilibrée et non spatiale.
   • La simplification au niveau modèle qui alimente en retour le contrôle de densité pour guider la croissance future.
   • Le filtrage au niveau vue via des portes LOD et des masques d'importance.
3. Performance : La méthode réalise des accélérations d'un ordre de grandeur en temps d'entraînement tout en maintenant une qualité de rendu comparable aux bases de référence de l'état de l'art.

Résultats expérimentaux

Les auteurs ont évalué BlitzGS sur des benchmarks aériens à grande échelle standards (Mill-19, UrbanScene3D, MatrixCity) en utilisant 4 GPU NVIDIA A6000.

• Vitesse d'entraînement : BlitzGS réduit le temps d'entraînement de plusieurs heures à quelques dizaines de minutes. Par exemple, sur la scène Building, il atteint un PSNR compétitif (~23 dB) en 36 minutes, alors que des bases de référence comme CityGS-X et Momentum-GS nécessitent 4 à 6 heures pour atteindre des plateaux similaires ou inférieurs.
• Qualité : BlitzGS correspond ou dépasse les scores PSNR, SSIM et LPIPS de récentes bases de référence (VastGaussian, CityGaussianV1/V2, HUG, CityGS-X) sur des ensembles de données réels et synthétiques.
• Évolutivité : Les tests de mise à l'échelle multi-GPU (jusqu'à 8 GPU) montrent une accélération quasi linéaire (3,5–3,6× à 8 GPU) avec un PSNR stable, indépendamment du nombre d'images d'entrée.
• Ablation : La suppression du passage d'évaluation de l'importance double presque la population de gaussiennes et augmente le temps d'entraînement d'environ 30 %, confirmant la nécessité de la simplification au niveau modèle. La porte LOD et les masques par vue fournissent des gains d'efficacité supplémentaires, bien que légèrement plus faibles.

Importance et revendications

L'article revendique que BlitzGS s'attaque au goulot d'étranglement fondamental du 3DGS à l'échelle de la ville : l'effort de calcul gaspillé sur les primitives non contributives. En déplaçant l'accent de la simple distribution de la charge de travail vers la réduction active de la charge de travail active aux niveaux système, modèle et vue, BlitzGS permet une reconstruction à l'échelle de la ville en quelques minutes plutôt qu'en plusieurs heures.

Les auteurs positionnent cela comme une étape significative vers le déploiement pratique du 3DGS dans des applications sensibles au temps telles que les relevés aériens et la création de jumeaux numériques. Ils reconnaissent les limitations, notamment l'utilisation de masques LOD rigides (qui peuvent provoquer des artefacts de popping) et l'hypothèse que l'ensemble global de gaussiennes tient dans la mémoire agrégée des GPU disponibles, notant que des scènes extrêmement grandes dépassant cette capacité peuvent encore nécessiter des approches basées sur le partitionnement.