Résumé Technique : HyperGS : Représentation Vidéo par Gaussiennes Rapide et Généralisable

Problématique

Bien que le Splatting de Gaussiennes 3D (3DGS) se soit révélé efficace pour les scènes statiques et la vidéo dynamique, les méthodes existantes d'adaptation vidéo reposent sur une optimisation par vidéo. Ces approches ajustent les paramètres des Gaussiennes pour chaque vidéo indépendamment via une optimisation itérative basée sur le gradient, nécessitant souvent des dizaines de milliers d'étapes et des heures de calcul par vidéo. Ce manque d'amortissement empêche le transfert de la structure apprise entre les vidéos, rendant ces méthodes peu pratiques pour le traitement en temps réel et limitant leur capacité à se généraliser à des vidéos hors distribution (OOD) ou à des résolutions plus élevées sans ré-optimisation.

Les tentatives précédentes pour créer des alternatives de flux direct (feedforward) pour la représentation vidéo se sont largement concentrées sur les Représentations Neurales Implicites (INR), où un réseau prédit les poids d'un décodeur. Cependant, ces méthodes lient la représentation à une architecture neurale spécifique et nécessitent une étape de décodage non linéaire supplémentaire.

Méthodologie : HyperGS

Les auteurs proposent HyperGS, un cadre de flux direct, sans optimisation, qui prédit directement des primitives de Gaussiennes 2D explicites à partir d'une entrée vidéo en une seule passe avant (forward pass). Cette approche découple la représentation de tout décodeur implicite, exploitant les capacités de rasterisation efficaces du Splatting de Gaussiennes.

Architecture

Le modèle se compose d'un Transformer spatio-temporel factorisé et d'un Transformer basé sur des requêtes (query-based) :

1. Tokenisation Vidéo : Les vidéos d'entrée sont projetées en embeddings de patchs à l'aide de convolutions 3D avec des embeddings de position spatio-temporels apprenables (RoPE).
2. ST-Transformer (Encodeur) : Un Transformer spatio-temporel factorisé traite les tokens vidéo. Il applique une auto-attention spatiale (2D RoPE) et une auto-attention temporelle (1D RoPE) de manière séquentielle pour contextualiser les caractéristiques à travers l'espace et le temps. Une connexion de saut (skip connection) préserve les embeddings de patchs originaux pour favoriser la stabilité.
3. Q-Transformer (Décodeur) : Un ensemble de tokens de Gaussiennes apprenables (requêtes) est en auto-attention avec les caractéristiques vidéo contextualisées. Par auto-attention, ces tokens agrègent les informations pertinentes pour régresser la représentation finale de 8 paramètres des Gaussiennes pour chaque image.
4. Prédiction de Paramètres : Le modèle produit des paramètres interprétables pour $N$ Gaussiennes par image : position moyenne ($\mu$), échelle anisotrope ($s$), rotation ($r$) et couleur ($c$). Ceux-ci sont contraints à des plages valides (par exemple, les échelles sont forcées positives, les rotations couvrent $[0, 2\pi)$).
5. Rendu : Les Gaussiennes prédites sont rendues via une rasterisation de Gaussiennes 2D différentiable pour reconstruire les images de la vidéo.

Stabilité de l'Entraînement et Régularisation

Les auteurs identifient une instabilité d'entraînement critique où une optimisation non contrainte pousse les Gaussiennes vers une anisotropie de type "aiguille" (étirement extrême selon un axe), provoquant un effondrement soudain des performances en milieu d'entraînement. Pour y remédier, ils introduisent des régulariseurs géométriques adaptatifs :

• Régularisation du Rang Effectif ($\mathcal{L}_{erank}$) : Utilise le rang effectif de la distribution des échelles pour pénaliser les formes dégénérées de type aiguille. Le seuil est adapté dynamiquement à l'aide d'une moyenne mobile exponentielle (EMA) du rang effectif au 1er percentile à travers le batch.
• Régularisation d'Échelle Adaptative ($\mathcal{L}_{scale}$) : Suit le 99e percentile des magnitudes d'échelle via EMA pour empêcher des échelles déraisonnablement grandes, en pénalisant les valeurs aberrantes avec une perte d'excès au carré.

Contributions Clés

1. Premier Prédicteur de Gaussiennes en Flux Direct : HyperGS est la première méthode capable de prédire des primitives de Gaussiennes explicites pour la vidéo en une seule passe sans optimisation par vidéo.
2. Performance et Efficacité :
   • Atteint un encodage 104–105× plus rapide que l'optimisation de Gaussiennes par vidéo à qualité de reconstruction égale.
   • Améliore le PSNR de +2,9–3,1 dB par rapport aux encodeurs vidéo en flux direct précédents (ex: FastNeRV) sur K400, SSv2 et UCF101, malgré l'utilisation d'une taille de représentation plus petite (64K paramètres contre 85K–139K).
   • Les vitesses d'encodage atteignent ~400–2200 FPS, avec un décodage à ~3900–4400 FPS.
3. Généralisation Zero-Shot : Le modèle se généralise à des vidéos haute résolution (720p) inédites sans fine-tuning. Il supporte l'encodage par grille de patchs pour tuiler les images haute résolution, échangeant la taille de la représentation contre une fidélité plus élevée sans ré-encodage.
4. Mécanisme de Stabilisation : L'introduction de la régularisation adaptative basée sur le rang permet de prévenir avec succès la dégénérescence "en aiguille" qui affecte l'entraînement des Gaussiennes en flux direct.

Résultats Expérimentaux

• Comparaison avec les Méthodes Basées sur l'Optimisation : Sur les jeux de données 720p DAVIS et UVG, HyperGS égale la qualité de reconstruction de 2DGS (optimisé par vidéo) mais réduit le temps d'encodage de plusieurs heures à quelques millisecondes. Une variante par grille de patchs surpasse même la qualité de l'optimisation par vidéo.
• Comparaison avec les INR en Flux Direct : Sur K400, SSv2 et UCF101, HyperGS surpasse les méthodes INR en flux direct de pointe (TransINR, GINR, FastNeRV, TeCoNeV) en termes de PSNR et de SSIM, même lorsque ces méthodes sont entraînées et évaluées à des résolutions plus élevées (640×480) alors que HyperGS n'est entraîné qu'à 256×256.
• Comparaison avec les Codecs Traditionnels : Comparé à H.265, HyperGS offre un encodage 1,3–2,7× plus rapide et un décodage ~1,3× plus rapide tout en atteignant une fidélité égale ou supérieure sur des points de taux-distorsion correspondants.
• Études d'Ablation :
  • Nombre de Gaussiennes ($N$) : Augmenter $N$ de 250 à 3000 améliore linéairement la qualité (+7,31 dB sur K400) avec un impact minimal sur le temps d'entraînement.
  • Architecture : Le mécanisme d'auto-attention basé sur les requêtes dans le Q-Transformer est essentiel ; le remplacer par un simple MLP provoque une chute drastique de la qualité (~9 dB).
  • Régularisation : La régularisation adaptative est cruciale pour la stabilité de l'entraînement, surpassant les seuils fixes qui sont sensibles à la capacité du modèle.

Signification et Revendications

L'article affirme que HyperGS fait progresser le Splatting de Gaussiennes en tant que direction pratique pour une représentation vidéo rapide et généralisable. En combinant le rendu rapide et flexible du Splatting de Gaussiennes avec la vitesse et la généralisation de la prédiction en flux direct, HyperGS surmonte le goulot d'étranglement fondamental de l'optimisation par vidéo. Il démontre que des primitives géométriques explicites peuvent être apprises directement à partir de pixels, permettant un encodage en temps réel, un rendu haute résolution zero-shot, et des performances de taux-distorsion supérieures par rapport aux codecs traditionnels et aux représentations vidéo neurales antérieures.