Résumé Technique : RoDyGS : Splatting Gaussien Dynamique Robuste pour des Vidéos Courantes

1. Énoncé du Problème

La reconstruction de scènes 4D (géométrie 3D + temps) à partir de vidéos monoculaires capturées de manière courante constitue un défi majeur en vision par ordinateur. Bien que les récents progrès dans les Champs de Radiance Neuronaux (NeRF) et le Splatting Gaussien 3D (3DGS) aient amélioré la synthèse de vues nouvelles statiques, la reconstruction dynamique à partir de vidéos non calibrées prises par une seule caméra reste difficile en raison de deux facteurs principaux :

1. Ambiguïté Mouvement Caméra-Objet : L'estimation conjointe des trajectoires de la caméra et de la géométrie dynamique de la scène à partir d'une seule vue est intrinsèquement ambiguë.
2. Occlusions et Cohérence Spatio-temporelle : Les objets dynamiques sont fréquemment occlus, ce qui entraîne des observations manquantes perturbant la cohérence des éléments de la scène dans le temps.

Les méthodes existantes reposent souvent sur des configurations de capture spécialisées (multi-vues, capteurs de profondeur), des poses pré-calibrées ou des contraintes strictes sur la scène (par exemple, caméras orientées vers l'avant, mouvements réduits), limitant ainsi leur applicabilité à des scénarios généraux « in-the-wild ». De plus, les benchmarks actuels manquent souvent de poses de caméra vérité terrain ou de captures multi-vues simultanées, rendant l'évaluation rigoureuse des méthodes dynamiques sans poses difficile.

2. Méthodologie : RoDyGS

Les auteurs proposent RoDyGS (Splatting Gaussien Dynamique Robuste), un cadre de bout en bout qui reconstruit des représentations de scènes dynamiques directement à partir de vidéos monoculaires courantes, sans capteurs externes ni calibration manuelle. La méthode optimise conjointement le splatting gaussien dynamique et le mouvement de la caméra.

Composants Principaux

• Séparation des Parties Statiques et Dynamiques :
  La scène est explicitement partitionnée en deux ensembles de Gaussiennes : statiques ($G_S$) et dynamiques ($G_D$).

  • Éléments Statiques : Optimisés conjointement avec les paramètres de la caméra pour assurer une représentation cohérente dans le temps de l'arrière-plan.
  • Éléments Dynamiques : Optimisés indépendamment pour les contraintes de mouvement.
  • Avantage : Cette séparation démêle le mouvement de la caméra du mouvement des objets dynamiques, réduisant considérablement l'ambiguïté et améliorant la stabilité de l'optimisation.

• Initialisation :

  • Poses de Caméra et Géométrie : Initialisées à l'aide de MASt3R [36], un modèle prior basé sur les données, pour fournir des poses de caméra initiales robustes et des nuages de points.
  • Masques de Mouvement : Les régions dynamiques sont identifiées à l'aide du Track Anything Model (TAM) [65] pour séparer les objets en mouvement de l'arrière-plan.
  • Profondeur : Des cartes de profondeur monoculaires sont estimées à l'aide de DepthAnything [66] pour une supervision géométrique.

• Régularisation Spatio-temporelle :
  Pour imposer une géométrie physiquement plausible et un mouvement naturel, RoDyGS introduit des termes de régularisation spécifiques pour les Gaussiennes dynamiques :

  1. Régularisation de Préservation de la Distance ($L_{dp}$) : Assure la cohérence temporelle en maintenant les distances relatives entre une Gaussienne et ses $K$ plus proches voisins à travers les pas de temps. Cela préserve la rigidité des objets même lors d'occlusions.
  2. Régularisation de Lissage de Surface ($L_{surf}$) : Garantit un lissage local de la surface en pénalisant les écarts d'une Gaussienne par rapport à la position moyenne de ses voisins, empêchant les perturbations locales.
  3. Régularisation de Mouvement Stable ($L_{sm}$) : Basée sur l'hypothèse que le mouvement réel est cohérent sur de courtes intervalles, ce terme régularise les fonctions de base du mouvement pour éviter la dérive.
  4. Régularisation de Mouvement Pondérée : Pour éviter un lissage excessif des mouvements complexes, un schéma pondéré est appliqué aux éléments de base du mouvement, permettant un contrôle explicite de la force de régularisation pour différentes fréquences de mouvement.

• Objectif d'Optimisation :
  Le cadre optimise conjointement les attributs gaussiens, les paramètres des fonctions de base du mouvement et les poses de la caméra en utilisant une fonction de perte composite :

  • Perte Photométrique ($L_{recon}$) : Pertes L1 et SSIM entre les images rendues et les images cibles.
  • Perte de Profondeur ($L_{depth}$) : Perte de profondeur de Pearson pour maximiser la corrélation linéaire entre la profondeur monoculaire estimée et la profondeur rendue (gérant l'ambiguïté d'échelle).
  • Perte Géométrique ($L_{geo}$) : Combinaison de $L_{dp}$ et $L_{surf}$.
  • Perte de Mouvement ($L_{sm}$) : Régularisation de mouvement stable.

3. Contributions Clés

1. Cadre RoDyGS : Une méthode de reconstruction robuste pour les vidéos monoculaires courantes qui atteint un rendu haute fidélité grâce à une séparation explicite des parties et une régularisation spatio-temporelle. Elle surpasse les approches précédentes de synthèse de vues nouvelles dynamiques sans poses.
2. Benchmark Kubric-MRig : Un nouveau jeu de données difficile conçu pour évaluer à la fois l'estimation de pose et la qualité du rendu dans des scènes dynamiques. Contrairement aux benchmarks précédents, Kubric-MRig présente :
   • Des captures multi-vues simultanées (vérité terrain).
   • Un mouvement étendu de la caméra et des objets.
   • Des poses de caméra vérité terrain.
   • Des éléments d'arrière-plan (souvent absents dans d'autres jeux de données dynamiques).
3. Évaluation Complète : Démontre des performances de pointe sur le jeu de données Kubric-MRig et des résultats compétitifs sur le jeu de données iPhone [15] et le jeu de données Tanks and Temples [30], égalisant la qualité de rendu des méthodes statiques sans poses tout en gérant la dynamique.

4. Résultats Expérimentaux

• Synthèse de Vues Nouvelles Dynamiques : Sur le jeu de données Kubric-MRig, RoDyGS surpasse nettement les méthodes sans poses précédentes (par exemple, RoDynRF [39], SoM [57]) en termes de PSNR, SSIM et LPIPS. Elle obtient également des résultats compétitifs par rapport aux méthodes entraînées avec des poses de caméra vérité terrain.
• Synthèse de Vues Nouvelles Statiques : Lorsqu'évaluée sur des scènes statiques (Tanks and Temples), RoDyGS atteint une qualité de rendu comparable à CF-3DGS [13] et nettement supérieure à d'autres références, tout en maintenant une précision d'estimation de pose de caméra compétitive.
• Études d'Ablation : Les expériences confirment que la séparation des parties et les termes de régularisation proposés sont critiques. La suppression de la séparation des parties entraîne des incohérences sévères et des distorsions de forme, tandis que les termes de régularisation affinent les limites des objets et maintiennent la cohérence structurelle.
• Robustesse : RoDyGS maintient la géométrie rigide des objets même sous de grands mouvements de caméra et d'objets, alors que les références reposant sur le suivi de points à long terme échouent souvent en raison de trajectoires imprécises dans des dynamiques complexes.

5. Importance et Limites

Importance :
L'article affirme que RoDyGS comble le fossé critique dans la reconstruction de scènes 4D dynamiques à partir de vidéos courantes prises par une seule caméra, sans dépendre de matériel spécialisé ou de poses pré-calibrées. En introduisant un benchmark complet (Kubric-MRig) incluant la vérité terrain et des mouvements diversifiés, les auteurs fournissent une norme rigoureuse pour évaluer les futures méthodes de reconstruction dynamique. La capacité de la méthode à séparer les éléments statiques et dynamiques permet une optimisation plus stable dans des scénarios ambigus.

Limites :
Les auteurs reconnaissent plusieurs limites :

• Occlusion : Comme d'autres méthodes de reconstruction 4D, RoDyGS ne peut reconstruire que les parties observées de la scène. Les régions complètement occluses ou les occlusions à long terme ne peuvent être récupérées sans priors génératifs (par exemple, modèles de diffusion).
• Hypothèse de Rigidité : Les termes de régularisation supposent que les éléments dynamiques ne présentent pas de déformations non rigides hautement complexes (par exemple, corps humains ou vêtements amples). La généralisation à de tels scénarios nécessiterait des modèles paramétriques (par exemple, SMPL) ou des priors basés sur les données plus forts.
• Dépendance à l'Initialisation : La méthode repose sur MASt3R pour les poses de caméra initiales ; des initialisations imprécises peuvent diminuer la qualité du rendu, bien que l'optimisation conjointe aide à les affiner.

En conclusion, RoDyGS représente une avancée vers la mise à disposition de la reconstruction 4D pour les vidéos capturées quotidiennement de manière courante, offrant une solution robuste qui équilibre la cohérence géométrique avec la fidélité du mouvement.