Résumé Technique : PD-4DGS

Énoncé du Problème

Les méthodes actuelles de Splatting Gaussien 4D (4DGS) permettent une synthèse de vues nouvelles dynamiques de haute qualité, mais souffrent d'un goulot d'étranglement critique de déploiement « tout ou rien ». Les modèles existants sont des flux binaires monolithiques (généralement ~25 Mo) que les clients doivent télécharger intégralement avant de pouvoir rendre une seule image. Sur les réseaux mobiles (par exemple, 2 Mbps), cela se traduit par des latences pour la première image allant de 73 à 930 secondes, dépassant largement la fenêtre de tolérance utilisateur de 3 à 5 secondes pour les applications interactives.

Bien que la compression progressive existe pour le 3DGS statique, elle ne s'applique qu'aux ancres spatiales et ne peut pas partitionner les réseaux de déformation temporelle qui dominent la taille des modèles dynamiques. De plus, les compresseurs 4DGS existants sont à débit unique (nécessitant un réentraînement pour les changements de débit) ou traitent la progressivité comme une couche externe, échouant à adresser la structure interne des réseaux de déformation. Par conséquent, le 4DGS reste incompatible avec les protocoles de streaming adaptatif modernes (ABR) comme DASH ou HLS.

Méthodologie

Les auteurs proposent PD-4DGS, le premier cadre pour la compression progressive et la transmission à la demande du 4DGS. L'approche repose sur quatre composants principaux :

1. Décomposition Hiérarchique de la Déformation (HDD)

Le cadre externalise la hiérarchie physique latente du grossier au fin du 4DGS en trois couches de flux binaire transmissibles indépendamment, partageant toutes un seul ensemble d'ancres :

• Couche 0 (Échafaudage Statique) : Contient les ancres canoniques et le MLP de prédiction des attributs. Elle rend un instantané statique immédiatement à l'arrivée, ne nécessitant aucune entrée temporelle.
• Couche 1 (Déformation Globale) : Transmet un réseau de déformation global léger ($F_{global}$, typiquement HexPlane + MLP) qui prédit les déplacements par ancre. Cette couche capture le mouvement dominant avec une augmentation de volume faible (<10 % de la taille totale du modèle).
• Couche 2 (Raffinement Local) : Transmet le réseau de déformation local ($F_{local}$) qui prédit les résidus par gaussienne ($\Delta\mu, \Delta\Sigma, \Delta\alpha, \Delta c$) pour récupérer les détails haute fréquence (par exemple, cheveux, muscles faciaux).
  Cette structure permet de rendre n'importe quel préfixe du flux binaire, permettant une compatibilité native avec les protocoles ABR.

2. Optimisation Taux-Distortion au Niveau des Attributs (R-DO)

Pour garantir que la couche de base (Couche 0) reste suffisamment petite pour une latence de l'ordre de la seconde, les auteurs formulent l'élagage des attributs comme un problème de taux-distortion différentiable plutôt que d'utiliser des seuils heuristiques.

• Masques Souples Apprenables : Chaque ancre $i$ possède un masque apprenable $m_i \in [0, 1]$ qui contrôle multiplicaivement l'opacité et l'échelle. Cela évite le décalage de distribution entre l'entraînement en mode souple et l'élagage en mode dur.
• Modèle d'Entropie Gaussienne : Un modèle d'entropie différentiable approxime le coût en bits des attributs continus (caractéristiques, échelles, décalages) basé sur une loi a priori gaussienne par lot. Cela couple directement la perte d'entraînement à la taille finale du flux binaire.
• Objectif par Couche : La distorsion et le coût en bits sont combinés, avec des poids de compression agressifs ($\lambda_{layer}$) appliqués à la couche de base pour minimiser sa taille tout en préservant la fidélité pour les couches plus profondes.

3. Cohérence Temporelle des Masques (TMC)

Pour éviter le scintillement et les traînées fantômes causés par les oscillations haute fréquence des masques dans le rendu dynamique, deux régularisateurs sont introduits :

• Pénalité d'Entropie Binaire : Pousse les valeurs des masques de manière déterministe vers $\{0, 1\}$ pour éliminer les traînées fantômes semi-transparentes.
• Contrainte de Lissage Spatial : Impose la cohérence entre les ancres spatialement adjacentes, stabilisant implicitement le motif d'activation à travers les images sans modéliser explicitement l'axe temporel.

4. Entraînement par Déploiement Progressif Pondéré par la Capacité

Une stratégie d'échantillonnage uniforme durant l'entraînement conduit au sous-entraînement des réseaux de déformation à haute capacité (Couches 1 et 2), provoquant un effondrement progressif de la qualité.

• Échantillonnage Adaptatif : Les auteurs introduisent une statistique apprise $\rho$ (le taux d'activation des masques inter-niveaux) pour ajuster dynamiquement la distribution d'échantillonnage $\pi(\rho)$.
• Mécanisme : $\pi(\rho)$ interpole entre une distribution uniforme (optimale pour les scènes statiques) et une distribution agressive (optimale pour les scènes dynamiques). Cela réalloue le budget d'entraînement aux couches plus profondes en fonction de la complexité de déformation spécifique de la scène, sans nécessiter de réglage des hyperparamètres par scène.

Résultats Clés

Des expériences ont été menées sur le benchmark monoculaire Dycheck iPhone, comparant PD-4DGS aux références de l'état de l'art (SC-GS, Deformable 3DGS, 4DGS et MoDec-GS).

• Réduction du Flux Binaire : PD-4DGS réduit le volume du flux binaire transmis de 62,6 % par rapport à la référence dynamique la plus performante (MoDec-GS) pour une fidélité de rendu équivalente. La taille moyenne du flux est de 6,88 Mo contre 18,37 Mo pour MoDec-GS.
• Qualité de Rendu : La méthode atteint un mPSNR moyen de 14,54 dB, à 0,06 dB de MoDec-GS, tout en égalant son mSSIM (0,480). Elle surpasse les références sur plusieurs scènes spécifiques (Apple, Paper-windmill, Teddy, Wheel).
• Perçage de Latence : Sur une liaison mobile de 2 Mbps :
  • Les références monolithiques nécessitent 73,5 s à 930 s pour la première image.
  • PD-4DGS délivre une première image statique rendable (Couche 0 uniquement, 0,44 Mo) en **1,7 seconde**.
  • Le modèle complet est téléchargé en 27,5 secondes, soit un quart du temps requis par MoDec-GS.
• Monotonie Progressive : Le cadre rétablit une stricte monotonie par couche (le PSNR augmente avec chaque couche ajoutée) sur toutes les scènes, une propriété souvent perdue dans l'entraînement progressif en raison des incohérences d'échantillonnage.

Importance et Revendications

L'article revendique que PD-4DGS est le premier cadre permettant un véritable streaming progressif à la demande pour le 4DGS. Son importance réside dans :

1. Briser la Barrière de Déploiement : En réduisant la latence de la première image de dizaines de minutes à moins de 2 secondes sur les réseaux mobiles, il rend le 4DGS pratiquement viable pour les applications interactives.
2. Compatibilité ABR Native : Contrairement aux méthodes précédentes qui nécessitent un réentraînement pour différents débits ou traitent l'évolutivité comme une couche externe, PD-4DGS décompose le réseau de rendu lui-même, le rendant nativement compatible avec les protocoles DASH/HLS.
3. Évolutivité Intrinsèque : L'entraînement par déploiement pondéré par la capacité résout le « décalage capacité-échantillonnage » dans les scènes dynamiques sans réglage manuel des hyperparamètres, garantissant que la représentation est intrinsèquement évolutive face à des complexités de scènes variables.

Les auteurs notent des limitations, notamment une topologie à trois couches fixe qui peut être moins efficace pour les scènes quasi-rigides et une évaluation limitée au benchmark Dycheck iPhone. Cependant, ce travail établit un nouveau paradigme pour le streaming de scènes dynamiques adaptatif à la bande passante.