Résumé technique : RiGS – Splatting gaussien 4D sensible aux objets rigides à partir d'une vidéo monoculaire unique

Énoncé du problème

La reconstruction de scènes 3D dynamiques à partir d'une seule vidéo monoculaire constitue un défi fondamental en vision par ordinateur et en infographie, avec des applications en réalité virtuelle/réalité augmentée (VR/AR), dans la conduite autonome et la robotique. Les méthodes existantes font face à un compromis critique lors de la modélisation du mouvement à différentes échelles temporelles :

• Les méthodes d'optimisation par image peuvent capturer des détails de mouvement à haute fréquence mais souffrent souvent d'une cohérence temporelle médiocre et d'une géométrie instable.
• Les méthodes basées sur la rigidité (par exemple, celles utilisant des hypothèses « aussi rigides que possible ») maintiennent une stabilité géométrique et gèrent bien les variations importantes de point de vue, mais échouent à modéliser les régions présentant de grandes déformations ou un mouvement non rigide rapide, conduisant à des reconstructions incomplètes.

Les auteurs identifient une limitation spécifique dans les représentations gaussiennes basées sur la rigidité : elles peinent à capturer simultanément des transformations lisses à long terme et des déformations complexes à court terme. L'analyse des gaussiens dynamiques basés sur la rigidité révèle une distribution bimodale de la durée temporelle, indiquant que les représentations rigides modélisent efficacement un mouvement stable à long terme mais échouent à représenter une dynamique à court terme et à grain fin.

Méthodologie : RiGS

Le cadre proposé, le Splatting gaussien 4D sensible aux objets rigides (RiGS), remédie à ces limitations en décomposant le mouvement de la scène en trois types distincts de primitives gaussiennes au sein d'un cadre d'optimisation unifié :

1. Représentation gaussienne à trois niveaux

• Gaussiens statiques ($g_s$) : Représentent les arrière-plans invariants dans le temps qui persistent tout au long de la vidéo.
• Gaussiens rigides ($g_r$) : Conçus pour modéliser des mouvements à long terme, basse fréquence et lisses. Ils sont paramétrés par des transformations SE(3) (rotation et translation sans déformation) et des bases de mouvement partagées pour assurer un déplacement cohérent.
• Gaussiens transitoires ($g_t$) : Conçus pour gérer des dynamiques non rigides à court terme, haute fréquence et complexes. Ils possèdent des vecteurs de vitesse de mouvement entièrement apprenables, leur permettant de se déplacer librement dans n'importe quelle direction pour capturer des changements rapides.

2. Décomposition dynamique à l'échelle de l'objet

Pour guider la séparation des régions statiques et dynamiques, RiGS introduit des masques dynamiques à l'échelle de l'objet. Contrairement aux approches précédentes au niveau du pixel qui manquent souvent de cohérence temporelle et spatiale sur des objets entiers, RiGS agrège des informations de mouvement spatio-temporelles à longue portée au niveau de l'objet.

• La méthode utilise SAM2 pour la segmentation d'objets et calcule des scores de mouvement basés sur l'incertitude du flux optique et l'erreur de Sampson.
• Si une partie quelconque d'un objet présente un mouvement à un moment donné, l'objet entier est traité comme dynamique. Cela empêche les gaussiens statiques et dynamiques de modéliser de manière redondante différentes portions du même objet, assurant une représentation globalement cohérente.

3. Transition adaptative et optimisation conjointe

• Porte douce et transition : Les gaussiens rigides sont équipés d'une fonction de porte douce qui contrôle leur décroissance d'opacité temporelle en fonction de la durée ($\beta$) et du centre ($\gamma$). Pendant l'optimisation, les gaussiens rigides ayant de courtes durées temporelles sont dynamiquement convertis en gaussiens transitoires. Cela permet au système de passer de manière adaptative d'une modélisation rigide à une modélisation flexible à mesure que la complexité du mouvement augmente.
• Guidage par flux de scène : Pour fournir une supervision dense du mouvement 3D, la méthode élève le flux optique 2D vers un flux de scène 3D en utilisant la profondeur métrique et les paramètres de la caméra. Ce flux de scène guide les directions de mouvement des gaussiens rigides et transitoires, répondant à la parcimonie des signaux de supervision pour les régions dynamiques.

4. Stratégie d'optimisation

Le cadre emploie une stratégie d'optimisation conjointe impliquant :

• Phase de démarrage (Warm-up) : Les gaussiens statiques, les gaussiens rigides et les bases de mouvement sont initialisés pour établir une géométrie stable.
• Entraînement conjoint : Les trois types de gaussiens sont optimisés ensemble. Le système utilise une perte photométrique, une perte géométrique (cohérence de la profondeur et des normales), une perte de correspondance (suivi et flux) et des termes de régularisation pour prévenir les artefacts et le surapprentissage.

Contributions clés

1. Modélisation du mouvement multi-échelle : RiGS introduit un cadre unifié qui modélise conjointement les gaussiens statiques, rigides et transitoires, permettant de capturer des mouvements à travers plusieurs échelles temporelles (du mouvement lisse à long terme aux dynamiques à haute fréquence à court terme).
2. Masquage dynamique à l'échelle de l'objet : La proposition de masques dynamiques à l'échelle de l'objet pour la décomposition statique-dynamique, qui agrège des informations spatio-temporelles pour assurer une cohérence temporelle et prévenir une représentation incohérente des objets.
3. Optimisation conjointe avec flux de scène : Une stratégie qui guide l'apprentissage du mouvement à travers les échelles en utilisant une supervision dense par flux de scène 3D et un mécanisme permettant aux gaussiens rigides de transitionner vers des gaussiens transitoires en fonction de la durée temporelle.

Résultats expérimentaux

Les auteurs ont évalué RiGS sur plusieurs benchmarks, notamment le jeu de données Nvidia Dynamic Scenes, le jeu de données DyCheck iPhone et des scènes à mouvement extrême du jeu de données DAVIS.

• Performance quantitative : RiGS a obtenu des performances de pointe (state-of-the-art) sur les benchmarks de synthèse de nouvelles vues. Sur le jeu de données Nvidia Dynamic Scenes, il a surpassé les méthodes SOTA précédentes (y compris les approches basées sur NeRF et sur les gaussiens comme MoSca et DynPoint) selon les métriques PSNR, SSIM et LPIPS. Par exemple, sur la scène « Playground », RiGS a atteint un PSNR de 24,73 contre 24,25 pour MoSca.
• Performance qualitative :
  • Dans des scènes présentant de grandes déformations non rigides (par exemple, la scène « Umbrella »), RiGS a modélisé avec succès la déformation sans les artefacts ni la géométrie incohérente observés dans les méthodes précédentes.
  • Dans des scènes complexes multi-objets (par exemple, « Playground »), RiGS a préservé des détails à grain fin (tels que les expressions faciales) que les méthodes purement rigides ou par interpolation de nœuds n'ont pas réussi à reconstruire.
  • Sur des scènes à mouvement extrême (par exemple, « Judo » et « Dog-agility » issues de DAVIS), RiGS a capturé avec succès des régions en mouvement rapide là où d'autres méthodes n'ont pas pu récupérer les détails.
• Efficacité : La méthode entraîne une vidéo de 270 images (480×360) en environ 30 minutes et atteint une vitesse de rendu d'environ 160 images par seconde (FPS).

Importance et affirmations

L'article affirme que RiGS représente une avancée significative dans la reconstruction de scènes dynamiques en abordant explicitement le défi de la modélisation du mouvement à travers plusieurs échelles temporelles. En décomposant la scène en composantes statiques, rigides et transitoires, la méthode surmonte les limites des approches purement rigides ou purement par image.

Les auteurs affirment que leur masque dynamique à l'échelle de l'objet fournit une séparation plus fiable des régions statiques et dynamiques, tandis que le mécanisme de transition entre les gaussiens rigides et transitoires, combiné à une optimisation guidée par le flux de scène, fournit une supervision dense et cohérente du mouvement 3D. Les expériences extensives démontrent que cette approche conduit à une qualité de reconstruction supérieure et à une cohérence temporelle, ouvrant la voie à une modélisation de scènes dynamiques plus robuste dans des applications réelles.