Résumé Technique : Multi4D

Énoncé du Problème

Le Gaussian Splatting 3D dynamique (3DGS) fait face à un compromis fondamental entre la cohérence du mouvement (suivi de l'identité des objets au fil du temps) et la fidélité visuelle (rendu des détails à haute fréquence). Les approches actuelles se divisent généralement en deux domaines opposés, chacun souffrant de limitations spécifiques :

1. Approches basées sur la déformation : Ces méthodes maintiennent un ensemble fixe de Gaussiennes canoniques et les déforment via des réseaux de neurones ou une modélisation de trajectoire. Bien qu'elles préservent la correspondance temporelle, elles souffrent souvent d'une sur-factorisation du mouvement, où les champs de déformation lissent excessivement la dynamique à haute fréquence. De plus, elles interprètent fréquemment les changements d'apparence complexes (ex. : spécularités) comme des mouvements physiques, entraînant des artefacts de déformation géométrique. Elles engendrent également un surcoût computationnel important dû aux requêtes de déformation par primitive à chaque instantané.
2. Approches basées sur des primitives 4D : Ces méthodes modélisent les scènes comme des hyper-cylindres spatio-temporels 4D, découpés à chaque instantané. Bien qu'elles capturent efficacement les détails visuels fins et la géométrie transitoire, elles souffrent d'une sur-paramétrisation temporelle. Elles ont tendance à modéliser le mouvement physique comme des changements d'apparence transitoires, générant des millions de primitives éphémères qui brisent l'identité des objets et causent un lourd surcoût de stockage. Elles peinent également à se généraliser sous une supervision parcielle ou monoculaire en raison d'un manque de contraintes géométriques holistiques.

Méthodologie : Allocation Compétitive Multi-niveaux

Les auteurs proposent Multi4D, un cadre qui résout cette tension en distribuant la capacité de modélisation sur trois niveaux structurés plutôt que de s'appuyer sur une représentation monolithique. La philosophie centrale est l'allocation pilotée par le résidu, où différents sous-ensembles de Gaussiennes entrent en compétition dynamique pour expliquer les erreurs photométriques sous un rendu différentiable unifié.

La scène est représentée comme l'union de trois sous-ensembles : $\mathcal{G} = \mathcal{G}_s \cup \mathcal{G}_d \cup \mathcal{G}_t$.

1. Les trois sous-ensembles de Gaussiennes

• Gaussiennes statiques ($\mathcal{G}_s$) : Gaussiennes 3D invariantes dans le temps, initialisées de manière dense (ex. : via COLMAP) pour ancrer la structure stable de la scène.
• Gaussiennes dynamiques persistantes ($\mathcal{G}_d$) : Gaussiennes canoniques pilotées par un champ de déformation purement géométrique ($\Phi_g$). Ces primitives se déforment de manière rigide pour maintenir une identité et une traçabilité à long terme sans dérive d'apparence.
• Gaussiennes transitoires ($\mathcal{G}_t$) : Primitives spatio-temporelles 4D éphémères dédiées exclusivement à la modélisation des résidus d'apparence à haute fréquence et de la géométrie transitoire.

2. Composants techniques clés

• Rendu unifié et compétition : Tous les sous-ensembles sont rendus en une seule passe. L'accumulation de la transmittance partagée couple leurs gradients, créant un environnement compétitif. Lorsqu'un sous-ensemble (ex. : $\mathcal{G}_s$) explique une région, la densification pilotée par le résidu dans les autres sous-ensembles est supprimée, empêchant une modélisation redondante.
• Stratégie d'entraînement ascendante (Bottom-Up) :
  • Initialisation : $\mathcal{G}_s$ est initialisé de manière dense ; $\mathcal{G}_d$ est initialisé de manière parcimonieuse ; $\mathcal{G}_t$ commence vide.
  • Élévation périodique sensible à la vitesse : Une fois que la séparation dynamique-statique se stabilise, les primitives actives de $\mathcal{G}_d$ sont périodiquement « élevées » vers $\mathcal{G}_t$. Ce processus utilise l'Héritage de Momentum, où la nouvelle primitive 4D hérite de la vitesse de son parent et aligne son axe principal 4D avec la trajectoire spatio-temporelle. Cela fournit un fort a priori de mouvement pour le sous-ensemble transitoire.
  • Élagage basé sur l'utilité et sensible au masque : Un mécanisme d'élagage supprime les primitives de faible utilité basées sur leur contribution au rendu final, filtrées par un masque dynamique-statique. Cela garantit que $\mathcal{G}_d$ et $\mathcal{G}_s$ ne se chevauchent pas inutilement et supprime le bruit transitoire caché derrière la géométrie solide.
• Décomposition auto-supervisée : Le cadre apprend à séparer le contenu statique et dynamique sans étiquettes de suivi (tracking) de vérité terrain, en prédisant un masque dynamique et en pénalisant les Gaussiennes persistantes qui se projettent dans les régions statiques.

3. Application en aval : Segmentation 4D

Parce que la représentation suit explicitement des Gaussiennes persistantes compactes ($\mathcal{G}_p = \mathcal{G}_s \cup \mathcal{G}_d$) au fil du temps, des caractéristiques sémantiques peuvent être intégrées après l'optimisation. En restreignant l'optimisation sémantique à ce sous-ensemble persistant, la méthode élimine le bruit d'apparence transitoire, permettant une segmentation 4D efficace et précise.

Contributions Clés

1. Décomposition multi-niveaux : Un nouveau cadre séparant la structure statique, la géométrie dynamique persistante et l'apparence transitoire, réconciliant la cohérence du mouvement et la fidélité photométrique.
2. Entraînement auto-régularisé : Une stratégie ascendante comprenant l'élévation sensible à la vitesse et l'élagage sensible au masque, permettant une spécialisation structurée et des représentations compactes sans décomposition pré-assignée.
3. Gains de performance : Atteint une qualité de rendu de l'état de l'art (SOTA) avec nettement moins de primitives dynamiques et une meilleure performance d'exécution.
4. Segmentation 4D efficace : Démontre que la représentation décomposée supporte naturellement une segmentation 4D de pointe avec une accélération d'un ordre de grandeur lors de l'inférence.

Résultats Expérimentaux

Les auteurs ont évalué Multi4D sur trois tâches : la synthèse de vues nouvelles (NVS) dynamique multi-vues, la NVS dynamique monoculaire et la segmentation 4D.

• Synthèse de vues nouvelles (Technicolor & Neu3D) : Multi4D a atteint des scores PSNR de l'état de l'art (ex. : 34,30 dB sur Technicolor, 32,30 dB sur Neu3D) tout en maintenant des vitesses de rendu en temps réel (161 FPS et 217 FPS, respectivement). Il a surpassé les bases de comparaison basées sur la déformation et sur les primitives 4D, préservant avec succès les détails à haute fréquence tout en évitant le flou temporel des premiers et la géométrie fragmentée des seconds.
• NVS Monoculaire (NeRF-DS) : Sous une supervision parcellaire, Multi4D a nettement surpassé les méthodes de primitives 4D, qui produisent souvent des artefacts flottants. Multi4D a maintenu une géométrie cohérente et des détails spéculaires fins.
• Segmentation 4D (Neu3D-Mask) : La méthode a atteint un mIoU de l'état de l'art de 0,9142. Crucialement, elle n'a nécessité que 13k Gaussiennes dynamiques contre 624k pour la base TRASE, permettant un rendu de caractéristiques sémantiques à 204 FPS (une accélération d'environ 10x par rapport à la base de 21 FPS).
• Efficacité : Comparé à 4DGS, Multi4D a réduit le nombre de Gaussiennes dynamiques de 25x (de 4,2M à 165k) et le stockage du modèle de 2,6 Go à 214,7 Mo, avec une convergence d'entraînement 4,6x plus rapide.

Signification et Revendications

L'article affirme que Multi4D résout fondamentalement la tension entre plausibilité physique et fidélité visuelle dans la reconstruction de scènes dynamiques. En séparant explicitement la persistance structurelle de la modélisation transitoire, il permet :

• Spécialisation adaptative : Les modèles peuvent allouer dynamiquement la capacité là où elle est nécessaire sans décomposition manuelle.
• Compacité et Vitesse : Réductions drastiques du coût de stockage et de calcul tout en améliorant la qualité du rendu.
• Robustesse : Amélioration de la généralisation aux entrées parcelles et monoculaires grâce à l'inclusion d'une structure géométrique persistante.
• Utilité en aval : Le suivi explicite des Gaussiennes persistantes rend la représentation particulièrement adaptée à un raisonnement sémantique 4D efficace, une capacité souvent entravée dans d'autres méthodes de Gaussiennes dynamiques par le bruit transitoire ou la complexité de la déformation.

Les auteurs notent que bien que la méthode atteigne une compacité structurelle par l'optimisation, elle n'intègre pas encore de compression d'attributs explicite (ex. : quantification), identifiant cela comme une direction pour les travaux futurs.