💻 computer science

Deformable Gaussian Occupancy: Decoupling Rigid and Nonrigid Motion with Factorized Distillation

DeGO est un cadre faiblement supervisé qui améliore la prédiction d'occupation 3D dynamique pour la conduite autonome en découplant les mouvements rigides et non rigides grâce à des primitives gaussiennes déformables et en renforçant la cohérence temporelle par une distillation factorisée à partir d'un modèle fondamental 4D.

Auteurs originaux : Yang Gao, Wuyang Li, Po-Chien Luan, Alexandre Alahi

Publié 2026-05-28

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Yang Gao, Wuyang Li, Po-Chien Luan, Alexandre Alahi

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de construire un film 3D d'une rue de ville animée en utilisant uniquement une série de photos 2D prises par les caméras d'une voiture. Votre objectif est de comprendre non seulement à quoi ressemblent les bâtiments, mais aussi comment tout bouge, en particulier les éléments complexes et sinueux comme les personnes et les animaux.

Ce papier présente un nouveau système appelé DeGO (Deformable Gaussian Occupancy) pour résoudre un problème spécifique : les modèles 3D existants sont trop rigides. Ils traitent tout comme un bloc solide qui glisse simplement d'un endroit à un autre. Mais les gens ne glissent pas ; ils marchent, font des gestes et se plient.

Voici comment fonctionne DeGO, expliqué par le biais d'analogies simples :

1. Le problème : la limitation de la « boîte rigide »

Imaginez essayer de modéliser une foule de personnes en utilisant une boîte de briques Lego. Si vous voulez montrer une personne agitant le bras, un modèle Lego standard ne peut déplacer la personne entière que comme un bloc solide. Il ne peut pas plier le bras sans briser toute la structure.

L'ancienne méthode : Les modèles d'IA précédents traitaient chaque objet (voitures, arbres, personnes) comme un bloc rigide qui change simplement de position. Cela fonctionnait bien pour les voitures et les bâtiments, mais échouait lamentablement à capturer les détails fins du mouvement humain, conduisant à des prédictions floues ou inexactes.

2. La solution : des « nuages intelligents et changeants de forme »

DeGO transforme les blocs de construction, passant des briques Lego solides à des nuages intelligents et changeants de forme (appelés « Gaussiennes »).

L'astuce de découplage : Le système possède un « interrupteur » spécial pour chaque nuage. Il demande : « Es-tu un objet rigide (comme un mur) ou un objet flexible (comme une personne) ? »
- Si tu es un mur : Le nuage reste raide et se déplace simplement vers un nouvel endroit (comme une porte coulissante).
- Si tu es une personne : Le nuage a le droit de s'étirer, de rétrécir et de se tordre pour correspondre à la posture de la personne.
Pourquoi cela compte : Cela permet à l'IA de maintenir l'arrière-plan stable tout en laissant les personnes de la scène se tortiller et bouger naturellement, tout comme dans la vraie vie.

3. Le professeur : « L'encyclopédie 4D »

Pour s'assurer que ces nuages changeants de forme ne se perdent pas, le système utilise un « professeur » appelé VGGT.

L'analogie : Imaginez un élève essayant d'apprendre à dessiner une voiture en mouvement. S'il ne regarde qu'une photo à la fois, il risque de se perdre. Mais s'il a un professeur qui a étudié des milliers de vidéos et qui sait comment les voitures se déplacent à travers différentes caméras et au fil du temps, l'élève apprend beaucoup plus vite.
Comment cela fonctionne : Le professeur VGGT est une immense IA pré-entraînée sur d'énormes quantités de données vidéo. Il sait à quoi les choses ressemblent sous différents angles et comment elles changent au fil du temps. DeGO « distille » (ou copie) cette connaissance, enseignant aux nuages à rester cohérents même lorsque la caméra bouge ou que la scène devient complexe.

4. Le résultat : une image plus claire et plus sûre

Les auteurs ont testé cela sur un ensemble de données de conduite standard (Occ3D-NuScenes).

Le score : DeGO ne s'est pas contenté de faire un peu mieux ; il a nettement surpassé les meilleures méthodes existantes.
Le facteur humain : La plus grande victoire a concerné les objets centrés sur l'humain (piétons, cyclistes). Le système a amélioré sa capacité à repérer et à suivre ces personnes en mouvement de 13,5 %.
Preuve visuelle : Dans leurs tests, lorsqu'un piéton était loin ou portait des vêtements se fondant dans le décor, les anciens modèles les manquaient ou les faisaient ressembler à des taches floues. DeGO les a correctement identifiés et a suivi leur mouvement de manière fluide.

Résumé

Considérez DeGO comme la mise à niveau d'un modèle de ville 3D, passant d'un ensemble de blocs rigides et coulissants à un écosystème flexible et vivant. En enseignant au modèle à distinguer les éléments qui restent rigides (comme les bâtiments) de ceux qui se plient (comme les personnes), et en lui donnant un « professeur » qui sait comment le monde bouge, il crée une compréhension beaucoup plus précise et sûre des environnements 3D dynamiques.

Note : L'article se concentre strictement sur l'amélioration de la précision de la prédiction de scènes 3D pour la conduite autonome. Il ne prétend pas être utilisé pour l'imagerie médicale, la robotique au-delà de la conduite, ou d'autres applications spécifiques en dehors de ce contexte.

Résumé Technique : Occupation Gaussienne Déformable (DeGO)

Énoncé du Problème

La prédiction d'occupation 3D dynamique est cruciale pour la conduite autonome, en particulier pour le raisonnement concernant des agents non rigides centrés sur l'humain. Cependant, les cadres existants faiblement supervisés font face à deux limitations principales :

Hypothèses de Mouvement Rigide : La plupart des méthodes actuelles reposent sur des décalages simples d'image à image, en supposant un mouvement de corps rigide. Cela les empêche de capturer les déformations non rigides fines caractéristiques des agents humains (par exemple, piétons, cyclistes).
Déséquilibre de Capacité : Les méthodes distribuant des primitives gaussiennes uniformément sur le volume 3D allouent souvent une capacité excessive aux régions d'arrière-plan statiques (routes, murs), laissant une résolution insuffisante pour les instances humaines petites et critiques pour la sécurité.
Incohérence Temporelle : Les approches antérieures basées sur des voxels ou des gaussiennes peinent à maintenir une cohérence temporelle dans des environnements dynamiques où les mouvements rigides et non rigides coexistent, conduisant à des mises à jour de géométrie instables.

Méthodologie

Les auteurs proposent DeGO (Deformable Gaussian Occupancy), un cadre unifiant la déformation gaussienne découplée avec la distillation factorisée d'un modèle de fondation 4D. La méthode opère sous supervision faible, utilisant des pseudo-étiquettes issues de Grounded-SAM et Metric3D plutôt que des annotations de voxels denses.

1. Déformation Gaussienne Découplée (DGD)

Au lieu de traiter toutes les classes uniformément, DeGO permet à chaque primitive gaussienne de modéliser adaptativement son comportement de mouvement.

Masque de Rigidité Doux : Chaque gaussienne est augmentée d'un masque de corps rigide apprenable ( $m_i \in [0, 1]$ ). Ce masque contrôle implicitement si une gaussienne subit uniquement un mouvement rigide ou une combinaison de décalages rigides et de déformation non rigide.
Mises à Jour de Mouvement Hybrides :
- Régions Rigides ( $m_i \approx 0$ ) : Les gaussiennes sont mises à jour uniquement via des décalages positionnels ( $\Delta \mu$ ).
- Régions Non Rigides ( $m_i \approx 1$ ) : Les gaussiennes subissent à la fois des décalages positionnels et des déformations locales affectant la rotation ( $r$ ), l'échelle ( $s$ ) et l'opacité ( $\alpha$ ).
Régularisation : Une fonction de perte de régularisation binaire encourage le masque à converger vers des valeurs quasi-binaires, assurant une séparation distincte entre les comportements rigides et non rigides.

2. Distillation de Caractéristiques Factorisée (FFD)

Pour améliorer la cohérence temporelle et l'alignement multi-vues, DeGO distille des connaissances d'un modèle de fondation 4D, VGGT.

Caractéristiques Enseignant 4D : Contrairement aux méthodes précédentes qui distillent des caractéristiques 2D par image, la FFD extrait des représentations spatio-temporelles de VGGT. Le modèle enseignant traite des séquences multi-vues en utilisant des mécanismes d'attention entrelacés inter-caméras (spatial) et inter-images (temporel).
Processus de Distillation : Le modèle étudiant (DeGO) aligne ses caractéristiques gaussiennes rendues avec les caractéristiques 4D de l'enseignant. Cela transfère les capacités de raisonnement inter-caméras et inter-images, fournissant une guidance stable pour le champ gaussien sans nécessiter d'étiquettes 3D explicites.
Architecture : La distillation cible le Transformer Gaussien, alignant les caractéristiques gaussiennes 3D avec les jetons spatio-temporels du modèle de fondation avant que les têtes de déformation ne prédisent les mises à jour de mouvement.

3. Optimisation et Inférence

Entraînement : Le modèle est entraîné sur de courtes séquences d'images multi-vues. La perte totale combine la perte de segmentation, la perte de régression de profondeur, la perte de distillation de caractéristiques et la régularisation de déformation.
Inférence : Lors du déploiement, le système opère de manière feed-forward sur une seule image. Le module de déformation temporelle est utilisé pendant l'entraînement pour apprendre des priors conscients du mouvement, mais ne nécessite pas d'entrée temporelle au moment de l'inférence. La sortie est un ensemble unique de gaussiennes 3D voxelisées pour la prédiction d'occupation en aval.

Contributions Clés

Cadre Déformable Unifié : Un cadre d'occupation novateur où chaque gaussienne modélise adaptativement les mouvements rigides et non rigides, guidée par des modèles de fondation 4D pour améliorer la compréhension centrée sur l'humain et globale de la scène.
Déformation Découplée Centrée sur l'Humain : Un mécanisme qui alloue sélectivement la capacité de déformation, permettant une modélisation précise des agents non rigides tout en préservant la stabilité géométrique des structures rigides.
Distillation 4D Factorisée : Une stratégie qui transfère les connaissances inter-caméras et inter-images des modèles de fondation (VGGT) vers le champ gaussien, créant des représentations de scènes dynamiques alignées avec les fondations.

Résultats Expérimentaux

Les expériences ont été menées sur le benchmark Occ3D-NuScenes (40k images, 6 vues caméra).

Performance Globale : DeGO atteint des performances de pointe sous supervision faible, améliorant le mIoU global de 10,9 % et l'IoU de 12,4 % par rapport à la meilleure méthode faiblement supervisée précédente (GaussianFlow).
Métriques Centrées sur l'Humain : La méthode démontre des gains significatifs dans la modélisation des agents non rigides, réalisant une amélioration de 13,5 % du mIoU centré sur l'humain proposé (HCM) et un gain de 7,8 % de l'Instance mIoU (InsM).
Insights des Ablations :
- Le module de déformation seul a fourni une amélioration de 43,4 % par rapport à la ligne de base.
- L'utilisation de VGGT comme enseignant a produit des performances supérieures à DINOv2, attribué au pré-entraînement de VGGT sur des données multi-vues et temporelles.
- La distillation des caractéristiques d'attention spatiales (inter-caméras) et temporelles (inter-images) a fourni des bénéfices complémentaires, l'approche combinée produisant les meilleurs résultats.
- Le masque de corps rigide a été identifié comme le composant le plus critique pour distinguer les types de mouvement.

Importance

L'article affirme que DeGO adresse les limitations fondamentales des méthodes actuelles de prédiction d'occupation en séparant explicitement les dynamiques rigides et non rigides. En combinant une modélisation consciente de la déformation avec une distillation guidée par les fondations, l'approche atteint une cohérence temporelle robuste et une reconstruction supérieure des instances humaines critiques pour la sécurité, sans dépendre d'étiquettes de voxels 3D coûteuses. Les résultats soulignent l'efficacité de l'utilisation de modèles de fondation 4D pour guider l'apprentissage faiblement supervisé dans des scènes dynamiques.