Incoherent Deformation, Not Capacity: Diagnosing and Mitigating Overfitting in Dynamic Gaussian Splatting

1. Énoncé du problème

Les méthodes de Splatting Gaussien 3D Dynamique (3DGS) (par exemple, 4DGS, Deformable-3DGS) atteignent une reconstruction de haute qualité sur les vues d'entraînement, mais souffrent d'un surapprentissage sévère lors de la généralisation à de nouvelles vues.

• Le fossé : Sur la référence D-NeRF, il existe un écart moyen significatif entre l'entraînement et le test de 6,18 dB en PSNR, montant jusqu'à 11 dB sur des scènes individuelles.
• L'hypothèse : Des travaux antérieurs (par exemple, MonoDyGauBench) suggéraient que le mécanisme de Contrôle Adaptatif de la Densité (ADC), qui ajoute dynamiquement des Gaussiennes, était une source de fragilité. L'hypothèse dominante était que le surapprentissage était principalement un problème de capacité : un nombre trop élevé de Gaussiennes conduit à la mémorisation des données d'entraînement.
• L'objectif : Les auteurs visent à diagnostiquer la cause racine de ce surapprentissage et à proposer des stratégies d'atténuation qui ne sacrifient pas la qualité de reconstruction.

2. Méthodologie et approche de diagnostic

L'article emploie une étude d'ablation systématique et introduit de nouvelles techniques de régularisation pour découpler la « capacité » (nombre de Gaussiennes) de la « cohérence » (lissage de la déformation).

A. Ablation diagnostique du Contrôle Adaptatif de la Densité (ADC)

Les auteurs ont désactivé ou modifié systématiquement des sous-opérations individuelles du pipeline ADC (Split, Clone, Prune, Frequency, Threshold, Schedule) sur la référence D-NeRF (8 scènes).

• Résultat 1 (Le fractionnement est le goulot d'étranglement) : La désactivation de l'opération Split réduit le nombre de Gaussiennes d'environ 44K à 3K et effondre l'écart entraînement-test de 6,18 dB à 1,15 dB. Cependant, cela provoque également une chute catastrophique du PSNR de test (~10 dB).
  • Conclusion : Le fractionnement n'est pas la « cause » du surapprentissage dans un sens réparable ; c'est le goulot d'étranglement opérationnel qui crée la capacité de travail. Les processus subséquents (clonage, déformation) transforment cette capacité en mémorisation. Désactiver le fractionnement détruit la capacité du modèle à représenter la scène.
• Corrélation Capacité vs Écart : Il existe une forte corrélation log-linéaire ($r \approx 0,99$) entre le nombre final de Gaussiennes et l'écart de surapprentissage à travers diverses configurations. Cela suggère initialement une explication basée sur la capacité.

B. L'hypothèse de cohérence

Les auteurs remettent en cause l'hypothèse de la seule capacité en introduisant une pénalité de lissage local sur le champ de déformation par Gaussienne.

• Régularisation de l'énergie élastique (EER) : Ils introduisent un terme de perte qui pénalise la déformation entre une Gaussienne et ses $k$ plus proches voisins (k-NN) dans l'espace canonique.
  • Formule : $L_{EER} = \lambda \sum \frac{\|u(x_i, t) - u(x_j, t)\|^2}{\|x_i - x_j\|^2}$.
  • Insight clé : Le dénominateur (distance canonique) est crucial. Il normalise la pénalité pour mesurer la déformation relative (contrainte) plutôt que le mouvement absolu. Sans cette normalisation, l'a priori est inefficace.
• Mécanisme : L'EER force le champ de déformation à être localement lisse, empêchant les Gaussiennes individuelles de « vagabonder » pour mémoriser le bruit dans des vues d'entraînement spécifiques.

C. Contrôles complémentaires

Pour gérer les effets secondaires de l'EER (qui tend à augmenter le nombre de Gaussiennes), les auteurs introduisent deux régularisateurs supplémentaires :

1. GAD (Densification consciente du taux de perte) : Un seuil adaptatif pour l'ADC qui augmente le seuil de fractionnement lorsque la perte d'entraînement stagne et que le nuage est important. Cela empêche la création de nouvelles Gaussiennes qui ne feraient que mémoriser le bruit résiduel.
2. PTDrop (Dropout pondéré par le jitter) : Une méthode de dropout stochastique où les Gaussiennes ayant des trajectoires de mouvement incohérentes (jitter élevé) sont supprimées plus fréquemment.

3. Contributions clés

1. Diagnostic du surapprentissage : L'article identifie que le surapprentissage dans le 3DGS dynamique est piloté par une déformation incohérente (champs de mouvement chaotiques), et non simplement par le nombre de paramètres (nombre de Gaussiennes).
2. Découplage de la capacité et de la cohérence : Les auteurs démontrent qu'il est possible de réduire significativement le surapprentissage tout en augmentant le nombre de Gaussiennes, à condition que le champ de déformation soit contraint d'être lisse.
3. L'a priori EER : Introduction d'un a priori de contrainte k-NN avec normalisation de la distance canonique. Ils prouvent par ablation que cette normalisation est l'élément « porteur de charge », rendant l'a priori efficace indépendamment de l'architecture de déformation spécifique (par exemple, HexPlane vs MLP).
4. Stack d'atténuation pratique : Une configuration recommandée (GAD + EER) qui réduit considérablement l'écart de généralisation avec une perte de qualité minimale.

4. Résultats

Les expériences ont été menées sur la référence D-NeRF (8 scènes) et validées sur HyperNeRF (vidéo réelle) et Deformable-3DGS (architecture différente).

• Performance de l'EER :
  • Réduit l'écart entraînement-test de 40,8 % (de 6,18 dB à 3,66 dB).
  • Augmente paradoxalement la taille du nuage de Gaussiennes de 85 % (de 44K à 82K).
  • Réduction de la contrainte par Gaussienne mesurée directement : 99,72 %.
• Stratégie combinée (GAD + EER) :
  • Réduit l'écart de 48,2 % (à 3,20 dB).
  • Maintient un PSNR de test élevé avec un coût de seulement −0,86 dB par rapport à la base.
  • Le nombre final de Gaussiennes est réduit à ~38K (en raison de GAD contrebalançant la croissance de l'EER).
• Stack complet (GAD + EER + PTDrop + GrowthCap) :
  • Atteint une réduction de l'écart de 57,4 % (2,63 dB) mais à un coût de qualité plus élevé (−1,70 dB).
• Généralisation :
  • Cross-Architecture : La méthode fonctionne sur Deformable-3DGS (basé sur MLP) après réajustement de l'échelle de perte.
  • Monde réel : Appliquée à une vidéo monoculaire réelle HyperNeRF avec les mêmes hyperparamètres utilisés pour les données synthétiques, réduisant l'écart moyen de 14,9 % avec un coût de qualité quasi nul.
• Ablation sur la normalisation : Le retrait de la normalisation de la distance canonique rend l'a priori essentiellement inactif (+2,2 % de réduction de l'écart contre ~40 % avec normalisation), prouvant que la normalisation est critique.

5. Signification

• Changement de paradigme : L'article réfute l'intuition commune selon laquelle « moins de paramètres = moins de surapprentissage » dans le 3DGS dynamique. Au lieu de cela, il soutient que la cohérence structurelle du champ de déformation est le facteur principal.
• Solution actionnable : Il fournit une solution concrète, plug-and-play (GAD + EER) qui peut être intégrée dans les pipelines existants de Splatting Gaussien Dynamique sans changements architecturaux.
• Robustesse : Les résultats tiennent à travers différentes architectures de déformation (HexPlane, MLP) et domaines de données (synthétique vs réel), suggérant une propriété fondamentale de la manière dont les scènes dynamiques sont représentées dans le 3DGS.
• Efficacité : En identifiant que l'opération « Split » est la porte d'entrée vers la capacité de surapprentissage, l'article oriente la recherche future vers la contrainte de la manière dont les Gaussiennes se déplacent plutôt que vers la simple limitation de combien il en existe.

En résumé, l'article conclut que la déformation incohérente est la cause racine du surapprentissage, et que son atténuation par des a priori de lissage local (EER) combinés à une densification adaptative (GAD) constitue la voie la plus efficace vers un Splatting Gaussien 3D Dynamique généralisable.