Speedy-Splat: Fast 3D Gaussian Splatting with Sparse Pixels and Sparse Primitives

Ce papier présente Speedy-Splat, une méthode qui accélère considérablement le rendu 3D en temps réel en optimisant la localisation des gaussiennes et en intégrant une nouvelle technique d'élagage, réduisant ainsi la taille du modèle et le temps d'entraînement tout en augmentant la vitesse de rendu de 6,71 fois.

L'essentiel

🚀 Speedy-Splat : La Formule 1 de la 3D

Imaginez que vous voulez créer un monde virtuel ultra-réaliste (comme dans un jeu vidéo ou la réalité virtuelle). Pour cela, les chercheurs utilisent une technique appelée 3D-GS (Gaussian Splatting).

L'analogie de la "Soupe de Points"
Imaginez que la scène 3D est une grande soupe. Pour la rendre, l'ordinateur doit mélanger des millions de petits points (des "gaussiennes") qui ont chacun une couleur, une taille et une position. Plus il y a de points, plus l'image est belle, mais plus l'ordinateur a de mal à tout calculer. C'est comme essayer de compter chaque grain de sable d'une plage pour dessiner la mer : c'est précis, mais c'est très lent et ça prend beaucoup de place.

Le problème actuel ? Les ordinateurs (surtout sur les téléphones) étouffent sous le poids de ces millions de points.

Speedy-Splat arrive pour résoudre ce problème. C'est comme si on transformait cette soupe lente en un jet de peinture ultra-rapide. Voici comment ils font, en deux grandes étapes :

---

1. Le "Téléscope Intelligent" (SnugBox et AccuTile) 🎯

Le problème :
Dans la méthode classique, quand l'ordinateur veut savoir où placer un point de couleur sur l'écran, il est très "paranoïaque". Il dit : "Ce point pourrait toucher n'importe quelle case de l'image autour de lui, alors je vais vérifier TOUTES les cases, même celles où il ne va jamais aller." C'est comme si vous cherchiez vos clés dans toute la maison alors qu'elles sont juste sur la table de chevet.

La solution Speedy-Splat :
Les auteurs ont inventé deux outils magiques :

• SnugBox (La Boîte Ajustée) : Au lieu de dessiner un carré énorme autour du point, ils dessinent une boîte parfaitement ajustée, comme un emballage cadeau qui épouse exactement la forme du cadeau.
• AccuTile (La Case Exacte) : Ils vont encore plus loin. Ils calculent exactement quelles petites cases de l'écran (les "tuiles") sont touchées par le point.

L'analogie :
Au lieu de crier "Je cherche mes clés dans toute la maison !" et de fouiller chaque pièce, vous dites : "Je sais qu'elles sont sur la table de chevet, je regarde juste là."
Résultat : L'ordinateur ne perd plus de temps à vérifier des zones vides. Il va droit au but.

---

2. Le "Grand Tri" (Élagage Soft et Hard) ✂️

Le problème :
Dans la soupe de points, beaucoup de points sont inutiles. C'est comme avoir 1000 ouvriers pour construire une maison, alors que 800 d'entre eux ne font rien ou répètent le travail des autres. Cela ralentit tout et encombre la mémoire.

La solution Speedy-Splat :
Ils ont créé une technique de "tri" très intelligente pendant la construction de la scène :

• Soft Pruning (Le Tri Doux) : Pendant que la scène se construit, ils enlèvent doucement les points qui ne servent à rien (80% d'entre eux !). C'est comme élaguer un arbre pendant qu'il pousse pour qu'il garde sa forme sans devenir une jungle.
• Hard Pruning (Le Tri Dur) : Une fois la construction terminée, ils font un dernier grand coup de ciseaux pour supprimer les derniers points superflus (encore 30%).

L'analogie :
Imaginez que vous devez transporter une montagne de sable. Au lieu de tout transporter, vous utilisez un tamis très fin pour ne garder que les grains de sable les plus importants. Vous vous retrouvez avec un sac beaucoup plus léger (10 fois plus petit !) qui contient exactement la même information visuelle.

---

🏆 Les Résultats : Vite, Léger, Beau

Grâce à ces deux astuces (regarder seulement là où il faut et enlever le superflu), Speedy-Splat obtient des résultats impressionnants :

1. Vitesse de décollage : La scène se dessine 6,7 fois plus vite que la méthode originale. C'est comme passer d'une voiture de ville à une Formule 1.
2. Taille réduite : Le modèle est 10 fois plus petit. Vous pouvez maintenant mettre une scène 3D complexe sur un téléphone portable sans que la batterie ne fonde.
3. Qualité préservée : Malgré tout ce qu'ils ont enlevé, l'image reste presque aussi belle que l'originale. C'est comme si vous aviez enlevé 90% des pixels d'une photo, mais que vous ne remarquiez pas la différence à l'œil nu.

En résumé

Speedy-Splat, c'est l'art de dire : "Pourquoi calculer tout ce qui est inutile ?".
En étant plus précis sur ce qu'il faut regarder et en supprimant le gras inutile, ils ont rendu la réalité virtuelle ultra-rapide et accessible à tous, même sur de petits appareils. C'est une révolution pour les jeux vidéo, la réalité virtuelle et le streaming 3D !

Résumé technique

1. Problématique

Le 3D Gaussian Splatting (3D-GS) est une technique récente de reconstruction de scènes 3D qui permet un rendu de nouvelles vues en temps réel en modélisant la scène comme un nuage de points de gaussiennes 3D différentiables. Bien que performant, il présente deux goulots d'étranglement majeurs, particulièrement dans les environnements contraints (comme les appareils mobiles ou la réalité virtuelle) :

1. Taille du modèle et temps d'entraînement : Les modèles 3D-GS standards contiennent souvent des millions de gaussiennes redondantes, ce qui augmente la taille du modèle et le temps de calcul.
2. Vitesse de rendu : Le processus de rendu est limité par le nombre élevé de paramètres et certaines inefficacités algorithmiques. En particulier, l'algorithme actuel de localisation des gaussiennes dans l'image (par tuiles) est trop conservateur, traitant un nombre excessif de pixels pour chaque gaussienne, ce qui ralentit le rendu.

L'objectif de ce papier est de résoudre ces inefficacités pour accélérer considérablement le rendu, réduire la taille du modèle et diminuer le temps d'entraînement, tout en maintenant une qualité visuelle compétitive.

---

2. Méthodologie

Les auteurs proposent Speedy-Splat, une approche qui combine deux axes d'optimisation : une localisation plus précise des gaussiennes dans l'image (pour réduire le nombre de pixels traités) et une élagage (pruning) efficace intégré au pipeline d'entraînement (pour réduire le nombre de primitives).

A. Localisation Précise des Tuiles (Precise Tile Intersection)

L'algorithme 3D-GS standard attribue une gaussienne à toutes les tuiles (16x16 pixels) qui intersectent un carré circonscrivant le cercle défini par le rayon maximal de la gaussienne. Cette approche surestime l'étendue réelle de la gaussienne. Speedy-Splat introduit deux algorithmes pour corriger cela :

1. SnugBox :

   • Au lieu d'utiliser un rayon basé sur la valeur propre maximale de la covariance, l'algorithme calcule une boîte englobante (bounding box) axiale précise autour de l'ellipse de la gaussienne projetée.
   • Il prend en compte le seuil d'opacité réel ($\alpha < 1/255$) pour déterminer l'étendue effective de la gaussienne.
   • Cela réduit drastiquement le nombre de tuiles associées à chaque gaussienne sans changer la qualité visuelle.

2. AccuTile :

   • Cette méthode étend SnugBox pour identifier exactement les tuiles intersectées par la gaussienne, en évitant les tuiles qui ne touchent que les coins de la boîte englobante mais pas l'ellipse réelle.
   • L'algorithme itère sur le côté le plus court de la zone de tuiles et calcule les points d'intersection minimaux et maximaux de l'ellipse sur chaque ligne/colonne de tuiles.
   • Cela permet de ne traiter que les tuiles strictement nécessaires.

B. Élagage Efficace (Efficient Pruning)

Les auteurs s'inspirent de la méthode PUP 3D-GS qui utilise le Hessien pour évaluer la sensibilité de chaque gaussienne à l'erreur de reconstruction, mais ils identifient deux problèmes majeurs chez PUP : une consommation mémoire excessive (nécessaire pour stocker le Hessien) et une complexité de calcul incompatible avec l'entraînement en temps réel.

Speedy-Splat propose une nouvelle métrique de score d'élagage et deux stratégies :

1. Score d'Élagage Efficace :

   • Au lieu de calculer le Hessien complet (coûteux en mémoire), ils réexpriment le score de sensibilité en fonction du gradient de la valeur projetée 2D de la gaussienne ($g_i$).
   • Cela réduit les besoins en stockage de 36x, permettant d'utiliser ce score directement pendant l'entraînement.

2. Soft Pruning (Élagage Doux) :

   • Intégré pendant la phase de densification (les 15 000 premières itérations).
   • Élimine jusqu'à 80% des gaussiennes à des intervalles réguliers (avant les réinitialisations d'opacité), tout en préservant la fidélité visuelle.

3. Hard Pruning (Élagage Dur) :

   • Appliqué après la phase de densification (à partir de l'itération 15 000).
   • Réduit le nombre de gaussiennes de 30% à intervalles fixes (toutes les 3000 itérations), affinant le modèle final.

---

3. Contributions Clés

Le papier présente quatre contributions principales :

1. SnugBox : Un algorithme précis pour calculer les intersections de boîtes englobantes gaussiennes-tuiles, réduisant le nombre de tuiles traitées.
2. AccuTile : Une extension de SnugBox pour calculer les intersections exactes tuiles-gaussiennes, éliminant les tuiles inutiles.
3. Soft Pruning : Une méthode d'élagage intégrée à la phase de densification, utilisant un score de sensibilité optimisé en mémoire.
4. Hard Pruning : Une méthode d'élagage post-densification pour réduire encore davantage la taille du modèle.

---

4. Résultats

Les expériences ont été menées sur les ensembles de données Mip-NeRF 360, Tanks & Temples et Deep Blending.

• Vitesse de Rendu :

  • L'ajout de SnugBox et AccuTile accélère le rendu d'un facteur 1,99x par rapport au 3D-GS de base.
  • L'ajout des techniques d'élagage (Soft + Hard) porte l'accélération globale à 6,71x en moyenne.
  • Dans le scénario "Truck" de Tanks & Temples, le rendu passe de 184 FPS (3D-GS) à 1148 FPS (Speedy-Splat) avec une réduction de 90% des gaussiennes.

• Taille du Modèle et Entraînement :

  • Réduction du nombre de gaussiennes d'un facteur 10,6x (passant de ~2,9M à ~0,28M en moyenne).
  • Réduction du temps d'entraînement d'un facteur 1,47x.

• Qualité Visuelle :

  • La perte de qualité est marginale. Par exemple, sur Mip-NeRF 360, le PSNR passe de 27,55 (3D-GS) à 26,94 (Speedy-Splat complet), ce qui reste compétitif par rapport à d'autres méthodes de compression.
  • Les comparaisons qualitatives montrent que les détails fins sont bien préservés.

• Comparaison avec PUP 3D-GS :

  • Bien que PUP 3D-GS offre une bonne compression, Speedy-Splat est nettement plus rapide en rendu (ex: 1121 FPS contre 413 FPS sur un scénario donné) grâce à la localisation précise des tuiles, tout en utilisant un score d'élagage plus efficace en mémoire.

---

5. Signification et Impact

Speedy-Splat représente une avancée significative pour le rendu 3D en temps réel :

• Accessibilité : En réduisant la taille du modèle et en augmentant la vitesse de rendu, cette méthode rend le 3D-GS viable sur des appareils aux ressources limitées (mobiles, edge devices), un domaine où le 3D-GS standard échouait jusqu'alors.
• Efficacité Algorithmique : La démonstration que la précision de la localisation des primitives (SnugBox/AccuTile) est aussi cruciale que la réduction du nombre de primitives ouvre de nouvelles voies pour l'optimisation des pipelines de rendu.
• Équilibre Performance/Qualité : Le travail prouve qu'il est possible de compresser massivement les scènes 3D (plus de 10x) sans sacrifier de manière significative la fidélité visuelle, tout en accélérant à la fois l'inférence et l'entraînement.

En résumé, Speedy-Splat transforme le 3D-GS en une solution véritablement temps réel et légère, idéale pour les applications de réalité virtuelle, de streaming multi-vues et de systèmes réseau contraints.