Résumé Technique : MVFusion-GS

1. Énoncé du Problème

L'extension du 3D Gaussian Splatting (3DGS) aux scènes dynamiques via des champs de déformation est au cœur de deux tâches : la reconstruction de scènes dynamiques (modéliser fidèlement le mouvement du premier plan) et la reconstruction sans distracteurs (récupérer un arrière-plan statique propre en éliminant les objets transitoires). Bien que les cadres découplés comme DeGauss séparent les scènes en branches statiques et dynamiques, ils souffrent d'une limitation critique : un manque de conscience explicite du mouvement.

Les réseaux de déformation standards encodent les caractéristiques latentes à travers des grilles spatio-temporelles sans modéliser explicitement les motifs de mouvement des Gaussiennes individuelles ou leur contexte temporel. Par conséquent, ces réseaux échouent souvent à capturer les mouvements de faible amplitude ou transitoires. Cela conduit à des résidus « pseudo-statiques », où des éléments dynamiques du premier plan sont incorrectement classés comme statiques et laissés dans la branche d'arrière-plan. Cette contamination dégrade la qualité de l'arrière-plan statique reconstruit et entraîne une déformation inexacte du premier plan.

2. Méthodologie : MVFusion-GS

Les auteurs proposent MVFusion-GS, un cadre de raffinement sous forme de plug-in qui améliore les réseaux de déformation existants avec deux mécanismes complémentaires sensibles au mouvement. La méthode traite le réseau de déformation de base comme un prédicteur grossier et ajoute une étape de raffinement légère qui opère purement dans l'espace des caractéristiques, ne nécessant aucune modification des têtes de déformation originales.

La déformation totale est formulée comme suit :
$$\Delta \mathcal{G}_d(t) = \Delta \mathcal{G}_d^{\text{base}}(t) + \Delta \mathcal{G}_d^{\text{MR}}(t)$$
où le terme de raffinement $\Delta \mathcal{G}_d^{\text{MR}}(t)$ est prédit à partir d'un vecteur de caractéristiques fusionnées combinant les caractéristiques de base avec deux nouveaux modules sensibles au mouvement.

A. Raffinement Guidé par la Variance du Mouvement (MVG)

Ce module traite l'absence d'indices de mouvement globaux en agrégeant les statistiques de déformation par Gaussienne à travers le temps.

• Signature de Trajectoire Globale : De manière périodique, le système échantillonne les trajectoires de déformation pour chaque Gaussienne sur plusieurs pas de temps. Il calcule les statistiques (moyenne et variance) pour le déplacement de position, l'amplitude de rotation et les variations d'échelle (isotropes et anisotropes). Celles-ci sont agrégées en une signature de trajectoire globale en 13D ($v_i$) qui sert de priorité d'intensité de mouvement à long terme.
• Dictionnaire de Variance Locale : Pour capturer les variations à court terme, un dictionnaire léger met en cache la variance du mouvement local dans une fenêtre temporelle glissante. Cela fournit un score d'intensité de mouvement instantané ($e_i(t)$) pour tout instant de requête via interpolation.
• Injection : Ces signatures sont encodées dans l'espace des caractéristiques de déformation via un MLP léger, fournissant au réseau des priorités explicites pour distinguer les Gaussiennes statiques des véritables objets en mouvement.

B. Attention Temporelle MotionFormer (MFTA)

Alors que le MVG fournit des statistiques globales, il manque d'interactions temporelles à court terme. Le MFTA remédie à cela en modélisant les dépendances temporelles locales.

• Construction de Caractéristiques Temporelles : Pour une Gaussienne à l'instant $t_i$, le module construit un voisinage temporel incluant $t_{i-w}, t_i, t_{i+w}$. Il forme des tokens en utilisant la caractéristique de déformation, la déformation prédite et l'intensité du mouvement local.
• Attention Croisée (Cross-Attention) : Un mécanisme d'attention croisée basé sur les Transformers agrège les informations des pas de temps voisins, permettant au réseau de tirer parti du contexte temporel local pour des prédictions de déformation plus cohérentes.
• Injection : La caractéristique de mouvement temporelle résultante est fusionnée avec les caractéristiques de base et du MVG avant d'être décodée par les têtes de déformation.

Stratégie d'Entraînement

L'entraînement se déroule en trois étapes :

1. Géométrie de Base : Optimisation de la géométrie statique avec la déformation désactivée.
2. Déformation de Base : Activation du réseau de déformation de base pour apprendre les transformations fondamentales.
3. Raffinement Sensible au Mouvement : Activation des branches complètes MVG et MFTA, entraînées de bout en bout avec des poids initialisés à zéro pour affiner les mises à jour de déformation.

3. Contributions Clés

Le papier identifie trois contributions principales :

1. Un Module Plug-in à Double Tâche : Un cadre qui améliore la conscience du mouvement du réseau de déformation, produisant des améliorations constantes sur les benchmarks de reconstruction de scènes dynamiques et de reconstruction sans distracteurs.
2. Raffinement Guidé par la Variance du Mouvement (MVG) : Un mécanisme qui agrège les statistiques de trajectoire globale en une priorité explicite d'intensité de mouvement, facilitant une séparation plus précise entre dynamique et statique.
3. Attention Temporelle MotionFormer (MFTA) : Un module basé sur les Transformers qui exploite l'attention croisée pour modéliser les dépendances de mouvement inter-temporelles, améliorant à la fois la précision de la déformation et la cohérence temporelle.

4. Résultats Expérimentaux

La méthode a été évaluée sur NeRF On-the-Go (sans distracteurs), RobustNeRF (sans distracteurs avec incohérences entre vues) et Neu3D (reconstruction de scène dynamique).

• Reconstruction sans Distracteurs (NeRF On-the-Go) : MVFusion-GS a atteint des performances de pointe (SOTA) sur tous les métriques moyennes (PSNR, SSIM, LPIPS). Notamment, il a obtenu le LPIPS le plus bas sur les six scènes testées, indiquant une qualité perceptuelle supérieure. Les résultats qualitatifs ont montré l'élimination des résidus pseudo-statiques « fantômes » (par exemple, les silhouettes floues de piétons) qui persistent dans l'arrière-plan des méthodes de base comme DeGauss.
• Reconstruction de Scène Dynamique (Neu3D) : La méthode a obtenu le meilleur PSNR moyen et LPIPS. Dans les régions dynamiques, elle surpasse les méthodes SOTA comme SpaceTimeGS et ST-4DGS, préservant des détails structurels plus nets dans les zones hautement dynamiques (ex: flammes, objets en mouvement rapide) où les concurrents présentent un flou de mouvement.
• Études d'Ablation : La suppression de MVG ou de MFTA entraîne une baisse de performance, confirmant que les statistiques de mouvement à long terme et le contexte temporel à court terme sont tous deux nécessaires. Le modèle complet surpasse les variantes utilisant uniquement la variance positionnelle ou l'auto-attention, validant la conception spécifique de la signature globale et du mécanisme d'attention croisée.

5. Signification et Revendications

Le papier affirme que la conscience explicite du mouvement est la clé pour améliorer à la fois la modélisation du mouvement du premier plan et la reconstruction de l'arrière-plan statique. En réattribuant correctement les Gaussiennes pseudo-statiques à la branche dynamique, la méthode offre un double avantage :

1. Arrière-plans plus propres : Essentiel pour la reconstruction sans distracteurs, éliminant les artefacts causés par les éléments dynamiques mal classés.
2. Détails du Premier Plan plus fins : Essentiel pour la reconstruction dynamique, capturant les mouvements subtils et transitoires que les réseaux de déformation standards manquent.

Les auteurs adoptent une position modeste dans leur conclusion, reconnaissant que la méthode repose toujours sur le champ de déformation de base pour fournir des indices de mouvement initiaux fiables. Ils notent qu'en cas d'occlusion lourde ou de preuves de mouvement extrêmement faibles, où la déformation initiale est insuffisante, des artefacts résiduels peuvent subsister, pointant vers un besoin de travaux futurs sur une réattribution plus robuste au mouvement.