Résumé Technique : GETA-3DGS

Énoncé du Problème

Le Splatting Gaussien 3D (3DGS) s'est imposé comme une méthode de l'état de l'art pour la synthèse de vues nouvelles photoréalistes en temps réel, offrant des vitesses de rendu une ordre de grandeur plus rapides que les Champs de Radiance Neuronaux (NeRF). Cependant, les scènes 3DGS haute fidélité nécessitent généralement plusieurs centaines de mégaoctets à plusieurs gigaoctets de stockage, créant un goulot d'étranglement pour le déploiement sur des plateformes mobiles, immersives et vidéo volumétriques qui exigent des empreintes de quelques dizaines de mégaoctets.

Les stratégies de compression existantes pour le 3DGS souffrent généralement de trois limitations structurelles :

1. Isolement des Techniques : L'élagage, la quantification et le codage entropique sont souvent traités comme des étapes séparées, empêchant un compromis conjoint taux-distorsion.
2. Dépendance aux Heuristiques : Les méthodes reposent sur des seuils ajustés manuellement (par exemple, opacité, échelle ou ordre des harmoniques sphériques) qui nécessitent un ajustement manuel par scène, limitant la généralisation.
3. Absence de Contrôle Utilisateur : Les utilisateurs ne peuvent pas spécifier directement des cibles strictes pour la taille de stockage ou des bornes garanties de qualité de rendu.

De plus, l'application des cadres existants d'élagage-quantification conjoint (comme GETA pour les réseaux profonds) au 3DGS n'est pas triviale car le 3DGS manque d'un graphe de calcul hiérarchique, se compose de primitives géométriques non ordonnées avec des attributs hétérogènes, et utilise une perte de rasterisation différentiable plutôt qu'un passage feed-forward standard.

Méthodologie : GETA-3DGS

Les auteurs proposent GETA-3DGS, le premier cadre automatique de bout en bout pour l'élagage structuré conjoint et la quantification à précision mixte, spécifiquement conçu pour le 3DGS. La méthode reformule la scène 3DGS comme un problème d'optimisation sous contraintes sur un espace de paramètres hétérogène, résolu via un optimiseur boîte blanche.

1. Graphe de Dépendance Sensible à la Quantification 3DGS (QADG)

Pour adapter le cadre GETA au 3DGS, les auteurs construisent un graphe de dépendance à trois niveaux :

• Niveau 1 (Groupes Élagables) : Chaque primitive gaussienne est traitée comme un seul groupe élagable. L'élagage d'un groupe supprime la ligne entière d'attributs (position, échelle, rotation, opacité, coefficients SH) pour cette primitive.
• Niveau 2 (Sous-nœuds d'Attributs) : Chacune des cinq classes d'attributs ($\mu, s, q, \alpha, c$) se voit attribuer un quantificateur indépendant. Cela reconnaît que les attributs ont des sensibilités différentes (par exemple, la position nécessite une haute précision pour éviter le jitter, tandis que l'opacité est bornée par une sigmoïde).
• Niveau 3 (Sous-nœuds de Degré SH) : Les coefficients d'harmoniques sphériques (SH) sont divisés en un terme DC (albédo diffus) et des termes AC (résidus dépendants de la vue), permettant des largeurs de bits distinctes pour les bandes de fréquence.
• Arêtes d'Ordre de Rendu : Le graphe inclut des arêtes pondérées par la transmittance attendue pour capturer l'ordre de mélange $\alpha$ dépendant des données, ce qui est crucial pour le calcul de la saillance.

2. Saillance Sensible au Rendu

La saillance de Taylor du premier ordre standard utilisée en apprentissage profond est peu fiable pour le 3DGS car elle peut attribuer une importance élevée à des primitives occluses ou hors écran en raison de « gradients fantômes » provenant du rasteriseur. GETA-3DGS remplace cela par une saillance sensible au rendu qui fusionne trois signaux dans l'espace écran :

• Contribution pondérée par la transmittance : La contribution réelle de luminance de la gaussienne à l'image rendue.
• Gradient dans l'espace écran : L'amplitude du gradient par rapport à la couleur rendue, projetée à travers l'opérateur de rendu.
• Couverture pixelique : Le nombre de pixels touchés par la gaussienne, pénalisant les petites primitives lointaines qui offrent un faible bénéfice taux-distorsion.
  Ces composantes sont combinées de manière convexe pour produire un score d'importance robuste pour les décisions d'élagage.

3. Quantification à Précision Mixte Hétérogène par Attribut

Au lieu d'une largeur de bit uniforme, le cadre attribue des plages de bits indépendantes à chaque attribut et degré SH. La largeur de bit est contrôlée par des paramètres apprenables ($q_m, t, d$) optimisés via une descente PPSG (Projected Partial Saliency-Guided). Cela garantit que la direction d'optimisation reste une direction de descente même après projection sur l'ensemble réalisable sparse et quantifié.

• Justification Théorique de l'Information : Les auteurs dérivent une analyse de remplissage inverse (reverse-water-filling) montrant que l'allocation de bits optimale dépend du produit de la variance de l'attribut et de sa sensibilité au rendu. Les résultats empiriques montrent que les allocations de bits apprises correspondent étroitement à cet optimum théorique.

4. Calendrier d'Entraînement en Quatre Étapes

Pour assurer la stabilité, l'entraînement suit un calendrier en quatre étapes :

1. Échauffement : Entraînement 3DGS standard pour établir une scène surcomplète haute fidélité.
2. Projection : Le quantificateur hétérogène est activé, et les bornes supérieures de largeur de bit sont contractées linéairement vers les cibles.
3. Conjoint : L'élagage structurel et le réglage fin de la largeur de bit se produisent simultanément. Une contrainte de plancher PSNR stricte est appliquée ; si l'élagage d'une gaussienne fait chuter le PSNR en dessous d'un seuil $\tau$ spécifié par l'utilisateur, l'élagage est assoupli pour préserver la qualité.
4. Refroidissement : La structure et les largeurs de bits sont figées, et seuls les attributs quantifiés sont affinés pour récupérer la distorsion résiduelle.

Contributions Clés

1. Cadre Automatique : GETA-3DGS est le premier pipeline automatique de bout en bout pour l'élagage et la quantification conjoints dans le 3DGS, éliminant le besoin d'un ajustement manuel par scène des seuils d'opacité, d'échelle ou de degré SH.
2. Architecture Sensible au 3DGS : L'introduction du QADG et de la saillance sensible au rendu répond spécifiquement à la nature géométrique et pilotée par le rendu du 3DGS, surmontant les limites de l'application directe des techniques de compression d'apprentissage profond.
3. Quantification Hétérogène : L'article démontre que l'allocation de bits hétérogène par attribut est le levier dominant pour les performances taux-distorsion. Imposer un plafond uniforme de 6 bits entraîne une perte de qualité significative (jusqu'à -6,74 dB sur les scènes dépendantes de la vue) par rapport à l'allocation hétérogène proposée.
4. Complémentarité : Les auteurs positionnent leur travail comme une colonne vertébrale (axes d'élagage et de quantification) qui est complémentaire aux codeurs entropiques en aval (axe de codage), plutôt qu'une solution concurrente.

Résultats Expérimentaux

Évalué sur Mip-NeRF 360, Tanks and Temples, et Deep Blending :

• Réduction du Stockage : GETA-3DGS réalise une réduction du stockage d'environ 5$\times$ par rapport au 3DGS Vanilla (par exemple, réduisant les scènes Mip-NeRF 360 de ~20 Mo à ~4,86 Mo).
• Qualité par rapport aux Baselines :
  • Il surpasse une baseline séquentielle naïve « élaguer puis quantifier » de +4,24 dB à +8,35 dB pour des tailles de stockage équivalentes.
  • Bien que le PSNR absolu de GETA-3DGS soit inférieur à celui des codecs à codage entropique comme HAC++ (qui opèrent sur un axe différent), l'article soutient que GETA-3DGS fournit la colonne vertébrale automatique nécessaire sur laquelle de tels codecs peuvent être superposés.
• Études d'Ablation : L'étude confirme que la politique de largeur de bit (hétérogène vs uniforme) est le composant le plus critique. Supprimer l'hétérogénéité et imposer une grille uniforme de 6 bits provoque une baisse moyenne de -2,18 dB, avec des pénalités sévères sur les scènes dépendantes de la vue.

Importance et Revendications

L'article revendique que GETA-3DGS établit un nouveau paradigme pour la compression 3DGS en passant d'un ajustement heuristique et manuel à un processus d'optimisation automatique et contrôlé par l'utilisateur.

• Contrôle Utilisateur : Les utilisateurs peuvent spécifier un budget de stockage cible ou un plancher PSNR minimum, et le système trace automatiquement la courbe taux-distorsion pour trouver le point de fonctionnement optimal.
• Modularité : Le cadre est conçu pour être un « axe complémentaire » aux codecs existants. Il gère la parcimonie structurelle et la quantification à précision mixte, laissant le codage entropique aux modules en aval.
• Valeur Ingénierie : En abstrayant le problème de compression dans une topologie QADG, le cadre réduit le coût d'ingénierie de l'adaptation de la compression à de nouvelles variantes 3DGS (par exemple, 3DGS dynamique ou hiérarchique) de plusieurs semaines de réglage d'hyperparamètres à un effort d'intégration minimal.

Les auteurs reconnaissent modestement que leur prototype actuel utilise un quantificateur symétrique générique sans modélisation de contexte basée sur des ancres, ce qui explique l'écart PSNR restant par rapport aux méthodes à codage entropique de l'état de l'art. Ils proposent que des travaux futurs intégrant des modèles de contexte basés sur des ancres et un codage entropique par grille de hachage au-dessus de la colonne vertébrale GETA-3DGS pourraient combler cet écart.