Résumé technique : Modèle prédictif latent 4D structuré pour la planification robotique

Énoncé du problème

Les paradigmes actuels de planification robotique font face à des limitations significatives en termes de généralisation et de raisonnement spatial. Bien que les agents basés sur des politiques de bout en bout (mappant directement les observations vers des actions) performent bien dans des environnements restreints et instrumentés, ils peinent face aux changements de distribution tels que les variations d'éclairage, de point de vue ou de composition de tâche. Inversement, les modèles prédictifs basés sur la vidéo, qui sont apparus comme une alternative prometteuse pour la planification à long terme, opèrent intrinsèquement dans un espace de pixels 2D. Cette nature 2D entraîne des incohérences physiques avec le monde réel en 3D, résultant en un manque de compréhension spatiale précise et de cohérence multi-vues. Les tentatives existantes pour incorporer des indices 3D (par exemple, prédire la profondeur et les normales aux côtés du RGB) restent souvent des projections de surface, vulnérables aux occlusions et aux changements de point de vue. Les représentations 3D traditionnelles (nuages de points, maillages) manquent de la richesse visuelle nécessaire à la compréhension sémantique, tandis que les représentations photoréalistes (NeRF, 3D Gaussian Splatting) sont coûteuses en calcul et difficiles à modéliser de manière dynamique. Le défi central abordé est de construire un modèle qui simule intrinsèquement les structures 3D dynamiques du monde afin de permettre une planification robotique précise et cohérente en 3D.

Méthodologie

1. Représentation latente 3D structurée

Les auteurs proposent un Modèle prédictif latent 4D structuré qui opère dans un espace latent structuré plutôt que dans l'espace des pixels.

• Représentation : La scène est encodée en une séquence de grilles de voxels éparses. Chaque voxel actif $p_i$ détient un vecteur de caractéristiques compact $f_i$ encodant la géométrie locale et la couleur. Cela équilibre l'information structurelle et la compression latente, utilisant environ 8 000 voxels actifs avec des caractéristiques à 8 dimensions, contre des grilles denses nécessitant $64^3$ éléments.
• Encodage : Des observations RGB-D multi-vues sont déprojetées via la géométrie de la caméra pour former un nuage de points 3D, qui est ensuite voxelisé. Des encodeurs DINOv2 pré-entraînés extraient des plongements (embeddings) par patch à partir des images, qui sont ensuite déprojetés et moyennés dans la grille de voxels pour produire les latents 3D structurés $z_t$.
• Décodage : Un décodeur latent mappe les caractéristiques des voxels vers des ensembles de Gaussiennes 3D. Ces Gaussiennes peuvent être rendues en images depuis des points de vue arbitraires ou converties en nuages de points explicites, faisant le pont entre la perception visuelle brute et l'état 3D interne.

2. Architecture du modèle prédictif

Le modèle prédit l'évolution de la scène 3D ($z_{t+1}, \dots, z_{t+T}$) conditionnée par l'état actuel $z_t$ et une instruction textuelle $c$. Il emploie un pipeline en deux étapes :

• Modèle de dynamique unique (SD - Single Dynamics Model) : Se concentre sur les changements géométriques grossiers. Il prédit les positions des voxels épars de l'état suivant en utilisant le "conditional flow matching" avec un backbone de type transformer. Il prend en entrée le latent actuel et l'instruction textuelle.
• Générateur latent (LG - Latent Generator) : Se concentre sur l'apparence et les détails visuels. Étant donné les positions des voxels prédites par le SD, le LG remplit les vecteurs de caractéristiques pour ces voxels, utilisant également un cadre de "flow-matching".
• Entraînement : Les deux composants sont entraînés indépendamment comme des modèles de "conditional flow-matching". L'objectif d'entraînement minimise la distance entre le champ de vitesse prédit et le vecteur de bruit réel dans l'interpolation entre les données propres et le bruit gaussien.

3. Pipeline de planification

Le modèle prédictif sert de planificateur de haut niveau, générant des états 3D futurs qui sont traduits en actions exécutables via un Module de dynamique inverse conditionné par l'objectif :

• Du latent à l'action : Le modèle prédit une séquence de sous-objectifs latents. Un module de dynamique inverse mappe l'état actuel et le sous-objectif suivant vers un bloc d'actions à court horizon (positions articulaires).
• Options d'implémentation :
  1. Dynamique inverse apprise : Décode les latents en nuages de points, les encode avec un backbone de convolution pyramidale, et utilise une tête de diffusion pour prédire les actions.
  2. Estimation de pose sans apprentissage : Décode le sous-objectif prédit en un nuage de points, estime la transformation rigide alignant le modèle de la pince du robot à la géométrie prédite de la pince (en utilisant FPFH, RANSAC et ICP), et transmet la pose cible au planificateur de mouvement.
• Exécution : Le système peut fonctionner en boucle ouverte (exécution des actions prédites) ou en boucle fermée (replanification après chaque étape basée sur de nouvelles observations).

Contributions clés

1. Modèle prédictif latent 4D structuré : Un nouveau modèle qui prédit les futures structures 3D conditionnées par des observations et du texte, atteignant une grande qualité visuelle, une cohérence 3D et une généralisation robuste aux points de vue en opérant dans un espace latent structuré plutôt qu'un espace de pixels 2D.
2. Cadre de planification : Un cadre qui exploite des prédictions 3D détaillées comme des objectifs riches géométriquement pour un module de dynamique inverse, permettant une manipulation précise et spatialement consciente.
3. Supériorité empirique : Performance démontrée surpassant les planificateurs vidéo de pointe (ex: UniPi, TesserAct) tant en qualité de génération qu'en performance de tâche robotique en aval, incluant une forte généralisation zero-shot aux changements visuels et une efficacité sur des plateformes réelles.

Résultats expérimentaux

Qualité de génération 4D

• Métriques : Évalué sur la qualité d'image (PSNR, SSML, LPIPS) et la cohérence 3D (Distance de Chamfer, erreur de profondeur, multi-view PSNR/SSIM/LPIPS).
• Performance : La méthode proposée a obtenu une cohérence 3D et une cohérence multi-vues supérieures aux bases de comparaison comme Wan-2.1, TesserAct et OpenSora-1.3. Par exemple, elle a atteint une distance de Chamfer de 5,95 contre environ 42-44 pour les bases de comparaison, et un cPSNR multi-vues de 27,42 contre environ 16-17 pour les bases de comparaison.
• Fidélité visuelle : Les séquences générées ont maintenu une cohérence temporelle et une haute fidélité visuelle à travers plusieurs vues de caméra.

Performance de planification robotique

• Simulation (ManiSkill3 & RLBench) : Sur des tâches telles que StackCube, ToolPull et PegInsertion, la méthode a atteint un taux de succès moyen de 61,3 % sur ManiSkill3, surpassant nettement UniPi (29,3 %) et TesserAct (24,7 %), et approchant les politiques d'apprentissage par imitation spécialisées. Sur les tâches RLBench, elle a atteint un taux de succès moyen de 75,3 % contre 55,0 % (UniPi) et 61,7 % (TesserAct).
• Généralisation Zero-Shot : Le modèle a démontré sa robustesse aux conditions visuelles inédites (changements d'éclairage, bruit, changements de fond) et aux points de vue nouveaux (rotation jusqu'à 10°), maintenant des taux de succès supérieurs à 78 % là où les bases de comparaison chutaient significativement (ex: DP est tombé à 7 % sous les changements d'éclairage).
• Validation en monde réel : Dans une tâche réelle de "block-in-basket" sur 50 épisodes, la méthode a atteint un taux de succès de 80 %, surpassant la base de comparaison Diffusion Policy (62 %).

Études d'ablation

• Représentation d'entrée : Les nuages de points décodés se sont révélés être l'entrée la plus efficace pour le module de dynamique inverse, offrant un équilibre entre fidélité géométrique et efficacité computationnelle par rapport aux voxels bruts ou aux latents 3D complets.
• Nombre de points de vue : L'entraînement avec plus de vues (40) a amélioré la cohérence 3D, mais le modèle est resté efficace avec un nombre limité de vues d'entraînement (4), surtout en utilisant le replanification en boucle fermée, ce qui a considérablement augmenté les taux de succès.

Signification et affirmations

L'article affirme qu'en dépassant les approches vidéo 2D pour passer à un espace latent 4D structuré, le modèle proposé surmonte les incohérences physiques inhérentes et le manque de raisonnement spatial des planificateurs génératifs vidéo actuels. La signification réside dans :

• Compréhension 3D holistique : La capacité d'encoder et de prédire la structure complète de la scène 3D, garantissant la cohérence multi-vues et la cohérence physique.
• Généralisation : La capacité de se généraliser à de nouvelles conditions visuelles et de nouveaux points de vue sans réentraînement, une exigence critique pour le déploiement dans le monde réel.
• Planification modulaire : La séparation du modèle prédictif (planification) du module de dynamique inverse (contrôle) permet une intégration flexible et un transfert à travers différents setups robotiques et tâches.
• Applicabilité au monde réel : Le transfert réussi de la méthode de la simulation vers des plateformes robotiques réelles démontre son potentiel pour des tâches de manipulation complexes.

Les auteurs notent que bien que l'implémentation actuelle suppose des entrées multi-vues calibrées pour la reconstruction initiale, l'extension de l'approche à des configurations d'entrée plus faibles reste une direction pour les travaux futurs.