AdaGScale: Viewpoint-Adaptive Gaussian Scaling in 3D Gaussian Splatting to Reduce Gaussian-Tile Pairs

1. Problématique

Le 3D Gaussian Splatting (3D-GS) est devenu une méthode de référence pour la synthèse de nouvelles vues, surpassant les champs de radiance neuronaux (NeRF) en termes de vitesse de rendu grâce à une représentation explicite et un rendu basé sur des tuiles (tile-based rendering). Cependant, malgré ces avantages, le 3D-GS peine à atteindre les performances temps réel requises pour des applications comme la réalité augmentée/virtuelle (AR/VR), qui nécessitent 90-120 FPS.

Le goulot d'étranglement principal réside dans la génération et le traitement des paires Gaussien-Tuile. Lors du rendu, chaque Gaussienne 3D est projetée sur l'image et testée pour savoir si elle intersecte des tuiles de l'écran.

• Limitation des travaux précédents : Les méthodes récentes visant à accélérer le rendu (comme GSCore, AdR-Gaussian, FlashGS) se concentrent sur une identification géométrique précise des tuiles intersectées pour éliminer les paires à contribution nulle (intersection vide).
• Le manque identifié : Ces méthodes traitent toutes les paires ayant une contribution non nulle comme étant également importantes. Or, l'analyse des auteurs révèle que les tuiles situées dans les régions périphériques d'une Gaussienne (loin de son centre) contribuent de manière négligeable à l'accumulation de la couleur du pixel, bien qu'elles génèrent des paires coûteuses à traiter.

2. Méthodologie : AdaGScale

Les auteurs proposent AdaGScale, une technique de mise à l'échelle adaptative aux points de vue qui réduit le nombre de paires Gaussien-Tuile en exploitant la faible importance des contributions périphériques.

A. Concept de base : Le "Peripheral Score" (Score Périphérique)

L'idée centrale est que la contribution d'une Gaussienne à la couleur d'un pixel diminue rapidement avec la distance par rapport au centre de la Gaussienne.

• Ils définissent un score périphérique comme la somme des contributions de couleur dans la région périphérique d'une Gaussienne (là où la valeur alpha $\alpha$ est faible, mais supérieure au seuil de rejet standard).
• L'objectif est de supprimer sélectivement les paires Gaussien-Tuile situées dans cette zone périphérique si leur contribution totale reste inférieure à une perte de qualité acceptable.

B. Approximation efficace du score (Étape de prétraitement)

Calculer exactement ce score en temps réel est impossible car il nécessite le tri par profondeur (pour calculer la transmittance $T_i$) et des opérations coûteuses. AdaGScale utilise une stratégie d'approximation en trois étapes durant le prétraitement :

1. Approximation de la transmittance : Au lieu de calculer la transmittance spécifique à chaque pixel (qui dépend du tri), ils utilisent une valeur constante par Gaussienne, estimée par la valeur maximale de transmittance ($max(T_i)$).
2. Estimation par borne supérieure basée sur la profondeur : Une relation est établie entre la profondeur de la Gaussienne et sa transmittance maximale. Une borne supérieure par morceaux ($T_{Upper}^i(depth)$) est pré-calculée hors ligne et utilisée via une table de recherche (LUT) pour estimer la transmittance sans tri préalable.
3. Calcul en forme close (Riemann Sum) : La somme discrète des contributions sur les pixels périphériques est approximée par une intégrale continue (somme de Riemann) sur une région annulaire. Cela permet de dériver une formule mathématique fermée pour le score périphérique, ne dépendant que de la profondeur, de la covariance 2D projetée et d'un paramètre utilisateur $K$.

C. Stratégie de mise à l'échelle adaptative (Dual-Size)

C'est le cœur de l'algorithme :

1. Calcul du seuil adaptatif ($Th_i$) : Pour chaque Gaussienne, un nouveau seuil $\alpha$ ($Th_i$) est calculé dynamiquement en fonction du point de vue. Si le score périphérique est faible, $Th_i$ augmente (au-delà du seuil standard de 1/255).
2. Réduction des paires (Intersection Test) : Ce seuil augmenté $Th_i$ est utilisé uniquement lors de la génération des paires Gaussien-Tuile. Une Gaussienne avec un seuil plus élevé couvre une zone plus petite, intersectant ainsi moins de tuiles. Les tuiles périphériques sont ignorées.
3. Préservation de la fidélité (Rasterization) : Lors de l'étape de rasterisation (calcul de la couleur), le seuil original (1/255) est réutilisé. Cela garantit que si une Gaussienne est tout de même sélectionnée, elle contribue avec sa valeur $\alpha$ réelle et non réduite, préservant la qualité visuelle.

3. Contributions Clés

1. Analyse de l'importance variable : Démonstration que les paires Gaussien-Tuile périphériques ont une importance négligeable pour la qualité d'image, ouvrant la voie à leur suppression sélective.
2. Méthode d'approximation efficace : Développement d'une méthode pour estimer le score périphérique durant le prétraitement sans coût computationnel significatif, en contournant le besoin de tri par profondeur.
3. Stratégie de mise à l'échelle adaptative (AdaGScale) : Une technique qui réduit agressivement le nombre de paires à traiter tout en maintenant la précision du rendu grâce à l'utilisation de seuils distincts pour l'intersection et l'accumulation de couleur.
4. Intégration sans réentraînement : La méthode s'intègre directement dans les pipelines 3D-GS existants (y compris les modèles compressés ou basés sur MLP) sans nécessiter de réentraînement des modèles.

4. Résultats Expérimentaux

Les expériences ont été menées sur une carte graphique NVIDIA A6000 avec divers jeux de données (Tanks&Temples, DeepBlending, Mip-NeRF360, Mill-19, UrbanScene3D) et différents modèles (3D-GS original, GaussianSpa, CityGaussian, Scaffold-GS).

• Accélération (Speedup) :
  • Sur des scènes de taille ville (CityGaussian), AdaGScale atteint une accélération géométrique moyenne de 13,8x par rapport au 3D-GS original, avec une dégradation de PSNR d'environ 0,5 dB.
  • Sur le modèle 3D-GS original, l'accélération moyenne est de 5,46x pour une perte de 0,5 dB.
  • Même sur des modèles déjà compressés (GaussianSpa) ou générés en temps réel (Scaffold-GS), des gains significatifs sont observés (ex: 1,65x sur la partie rendu de Scaffold-GS).
• Réduction des paires : Le nombre de paires Gaussien-Tuile est réduit jusqu'à 43 % par rapport aux méthodes de référence comme FlashGS.
• Qualité d'image : La dégradation de la qualité (PSNR) est minime et contrôlée par le paramètre $K$. Une perte de 0,5 dB est souvent imperceptible visuellement tout en offrant des gains de performance massifs.
• Efficacité : L'approche ne modifie pas le temps de prétraitement de manière significative et fonctionne sans réentraînement des modèles.

5. Signification et Impact

AdaGScale représente une avancée majeure pour l'adoption du 3D-GS dans des applications temps réel exigeantes (AR/VR sur des dispositifs comme Apple Vision Pro).

• Changement de paradigme : Au lieu de se fier uniquement à la géométrie pour filtrer les tuiles, la méthode introduit une sémantique de l'importance visuelle (contribution à la couleur) pour optimiser le pipeline.
• Évolutivité : La méthode est particulièrement efficace sur les scènes complexes et à haute résolution (villes), là où le nombre de paires Gaussien-Tuile est le plus critique.
• Compatibilité : En étant compatible avec les architectures récentes (MLP, modèles compressés), elle offre une solution universelle pour accélérer le rendu 3D sans sacrifier la fidélité visuelle.

En résumé, AdaGScale permet de transformer le 3D-GS d'une technologie de rendu rapide en une technologie temps réel véritable, en éliminant intelligemment les calculs redondants liés aux régions périphériques des gaussiennes.