ChronoGS: Disentangling Invariants and Changes in Multi-Period Scenes

Résumé Technique : ChronoGS

Définition du Problème
L'article aborde le défi de la reconstruction de scènes multi-périodiques, définies comme des ensembles de captures d'une même région spatiale acquises à des intervalles de temps discrets (par exemple, séparées de plusieurs mois ou années) où la scène subit des changements géométriques et d'apparence significatifs. Les méthodes existantes échouent dans ce contexte car elles reposent sur des hypothèses incompatibles :

• Les méthodes statiques (par exemple, 3DGS standard, NeRF) supposent une géométrie unique et invariante dans le temps. Lorsqu'elles sont appliquées à des données multi-périodiques, elles produisent des artefacts de « moyennage temporel », floutant les structures distinctes de différentes périodes.
• Les méthodes dynamiques (par exemple, 4DGS, D-NeRF) supposent un mouvement lisse et continu dans le temps. Elles peinent à gérer les changements discontinus et abrupts (par exemple, nouvelles constructions, croissance de la végétation, démolition) caractéristiques des données multi-périodiques à long terme, hallucinant souvent des états intermédiaires ou échouant à interpoler correctement.

Méthodologie : ChronoGS
Les auteurs proposent ChronoGS, une représentation gaussienne modulée temporellement qui reconstruit toutes les périodes au sein d'un échafaudage d'ancrage unifié. L'innovation centrale réside dans la séparation des structures invariantes des variations spécifiques à chaque période.

1. Échafaudage d'Ancrage Unifié :

   • La scène est représentée par un ensemble d'ancres 3D ($A$) initialisé à partir de l'union de nuages de points épars provenant de toutes les périodes.
   • Cet échafaudage agit comme une prière géométrique globale, assurant la cohérence spatiale entre les périodes.
   • Mécanisme d'Activation Géométrique : Pour gérer les changements géométriques (par exemple, l'apparition ou la disparition d'un bâtiment), le modèle apprend à activer ou désactiver les gaussiennes en fonction d'une opacité prédite. Si la géométrie d'une ancre est occluse ou inexistante dans une période spécifique, son opacité est prédite comme étant nulle (ou négative), l'éliminant efficacement du rendu pour cette période tout en maintenant l'intégrité structurelle de l'échafaudage.

2. Représentation de Caractéristiques Modulée Temporellement :
   Chaque ancre $a_i$ maintient trois composants de caractéristiques distincts pour modéliser différents aspects de la scène :

   • Caractéristique de Base Invariante par Période ($f^{base}_i$) : Encode la géométrie stable et partagée ainsi que l'apparence commune à toutes les périodes.
   • Pôle de Caractéristiques Locales Variantes par Période ($f^{var}_i$) : Un ensemble de caractéristiques stockant les détails spécifiques à chaque période pour chaque ancre, permettant une adaptation locale (par exemple, changements de texture sur un mur spécifique).
   • Caractéristique Globale Variante par Période ($g(t)$) : Une caractéristique au niveau de la scène partagée entre toutes les ancres pour modéliser des facteurs globaux tels que l'éclairage saisonnier, la météo ou les décalages d'illumination globaux.

3. Encodage et Décodage Temporels :

   • Le temps est représenté par un encodage one-hot pour les périodes observées, avec une interpolation linéaire pour les étapes de temps intermédiaires.
   • Un décodeur MLP léger fusionne la caractéristique de base, la caractéristique locale interpolée et la caractéristique globale pour prédire les attributs (décalage de position, échelle, rotation, opacité, couleur) de $K$ primitives gaussiennes par ancre.
   • Cette conception permet au modèle de basculer entre des états spécifiques à chaque période tout en partageant l'épine dorsale structurelle sous-jacente.

4. Optimisation :
   Le modèle est entraîné conjointement sur toutes les périodes en utilisant une perte photométrique hybride ($L_1$ + SSIM). Il emploie une croissance et un élagage dynamiques des ancres pour affiner l'échafaudage, garantissant qu'il couvre l'union des géométries de toutes les périodes sans redondance.

Contributions Clés

1. Cadre Novel : ChronoGS est présenté comme le premier travail reconstruisant des scènes multi-périodiques au sein d'un cadre unifié et différentiable de « Gaussian Splatting » gérant conjointement des changements géométriques et d'apparence non continus.
2. Jeu de Données ChronoScene : Les auteurs introduisent un nouveau jeu de données de référence contenant 12 scènes (8 réelles, 4 synthétiques) avec 8 891 images. Il capture des évolutions géométriques et d'apparence couplées (construction, croissance de la végétation, changements saisonniers) sur de longs intervalles de temps, comblant une lacune dans les benchmarks existants qui se concentrent sur des scènes statiques ou dynamiques à court terme.
3. Conception Méthodologique : L'architecture spécifique de séparation des bases invariantes des variations temporelles locales et globales, combinée au mécanisme d'activation géométrique, permet une reconstruction cohérente là où les méthodes précédentes échouent.

Résultats Expérimentaux

• Performance Quantitative : Sur le jeu de données ChronoScene, ChronoGS surpasse systématiquement les références (y compris 3DGS, Scaffold-GS, GS-W, NeuSC, 4DGS et Realtime4DGS) selon les métriques PSNR, SSIM et LPIPS pour les scènes réelles et synthétiques. Il produit des rendus plus nets et une géométrie plus précise.
• Efficacité : Malgré la gestion de variations temporelles complexes, ChronoGS conserve une empreinte mémoire compacte (par exemple, 0,52 Go pour les scènes réelles) et nécessite moins d'itérations d'entraînement par rapport à l'entraînement de modèles statiques séparés pour chaque période.
• Analyse Qualitative : Les comparaisons visuelles montrent que ChronoGS évite avec succès les effets de fantômes et le flou observés dans les modèles statiques entraînés sur des données mélangées, ainsi que les structures intermédiaires hallucinées des modèles dynamiques. Il reconstruit fidèlement la géométrie et l'apparence spécifiques à chaque période.
• Études d'Ablation : Les expériences confirment que les trois composants de caractéristiques (base, variation locale, variation globale) sont essentiels. Le retrait de l'un d'eux entraîne une dégradation de la stabilité, de la fidélité locale ou de la cohérence au niveau de la scène.

Signification et Revendications
L'article revendique que ChronoGS établit une fondation pour les recherches futures sur la compréhension des scènes multi-périodiques. En dépassant les hypothèses de géométrie statique ou de mouvement lisse, il fournit une solution robuste pour les applications réelles où les scènes évoluent de manière discontinue sur de longues périodes, telles que la cartographie urbaine, le suivi de l'avancement des chantiers et la surveillance environnementale. Les auteurs positionnent leur travail comme une étape nécessaire pour gérer les « changements couplés » de géométrie et d'apparence que les pipelines existants ne peuvent résoudre.