GeoAlign: Beyond Semantics with State-Guided Spatial Alignment in VLA Models

Résumé Technique : GeoAlign

Problématique
Les modèles actuels de Vision–Langage–Action (VLA) optimisent principalement l'ancrage sémantique, associant les observations et les instructions aux actions. Cependant, la manipulation robotique de précision échoue souvent non pas par manque de compréhension sémantique, mais par manque d'alignement spatial conscient de la géométrie. La manipulation exécutable nécessite une gestion précise des jeux de fonctionnement serrés, des mouvements sensibles au contact et des interactions avec des objets transparents ou annulaires — des scénarios où les représentations sémantiques de haut niveau sont insuffisantes. Bien que certaines approches tentent d'enrichir les représentations visuelles avec de la profondeur ou un contexte 3D, le recours à des entrées de profondeur mesurées peut échouer autour d'objets transparents ou de structures fines en raison des limitations des capteurs. Inversement, les méthodes qui intègrent directement la structure spatiale dans la génération d'actions peinent souvent à sélectionner dynamiquement la géométrie locale pertinente pour l'exécution tout en maintenant une interface de conditionnement compacte pour les décodeurs d'actions continus.

Méthodologie
GeoAlign introduit une architecture d'Alignement Spatial Guidé par l'État conçue pour combler le fossé entre l'ancrage sémantique et la manipulation exécutable sans dépendre d'entrées de profondeur brutes lors du déploiement de la politique. Le cadre fonctionne en deux étapes distinctes :

1. Post-entraînement Enrichi par la Géométrie (GEP - Geometry-Enhanced Post-Training) :

   • Un modèle Depth Anything V2-Small est initialisé et soumis à un post-entraînement sur un ensemble de données RGB-D robotique en utilisant une supervision de profondeur métrique (optimisée via une perte logarithmique invariante d'échelle).
   • Crucialement, la tête de prédiction de profondeur est écartée après cette étape. Les caractéristiques du côté de l'encodeur ainsi conservées, désormais nommées caractéristiques GEP, servent de représentations de géométrie dérivées du RGB. Cela permet au modèle d'apprendre des indices géométriques à partir d'images RGB qui sont robustes aux défaillances de capteurs courantes dans les cartes de profondeur (ex: transparence).

2. Alignement Spatial Guidé par l'État :

   • Pendant l'entraînement de la politique et le déploiement, le système traite des images RGB multi-vues et des instructions linguistiques pour générer des jetons sémantiques.
   • Simultanément, une branche GEP gelée projette les images RGB vers une grille de caractéristiques géométriques dans l'espace de l'image.
   • Au lieu d'utiliser des requêtes apprises fixes ou un pooling global, GeoAlign génère des requêtes guidées par l'état proprioceptif. L'état actuel du robot ($s_t$) est encodé et projeté dans $K=8$ créneaux de requête.
   • Ces requêtes guidées par l'état effectuent une attention croisée (cross-attention) sur la grille de caractéristiques GEP pour extraire des jetons de géométrie compacts et dépendants de la phase. Ce mécanisme permet au modèle de sélectionner dynamiquement les indices de géométrie locale pertinents pour la phase de manipulation actuelle (ex: atteindre vs insérer).
   • Les 8 jetons de géométrie compacts résultants sont concaténés avec les jetons sémantiques pour conditionner un décodeur d'action de type Transformer de diffusion par flux (DiT) (basé sur l'architecture Isaac-GR00T N1.6-3B).

Contributions Clés

• Alignement Spatial Guidé par l'État : Une architecture où l'état proprioceptif du robot interroge activement une grille de caractéristiques géométriques, extrayant des jetons compacts qui informent la génération d'actions en fonction de la phase actuelle de manipulation.
• Caractéristiques GEP Dérivées du RGB : Une méthode pour obtenir des caractéristiques enrichies par la géométrie en post-entraînant un modèle de profondeur avec une supervision du domaine robotique, en utilisant les caractéristiques de l'encodeur pour le conditionnement de la politique plutôt que les prédictions de profondeur brutes.
• Validation : Évaluation complète à travers des environnements de simulation (LIBERO, SimplerEnv-Fractal) et du monde réel (AgileX ALOHA), avec des études d'ablation isolant les contributions du post-entraînement de la géométrie et de l'interrogation guidée par l'état.

Résultats
GeoAlign démontre des améliorations de performance significatives par rapport aux lignes de base à travers trois benchmarks distincts :

• LIBERO : A atteint un taux de succès moyen de 99,0 % sur quatre suites, surpassant la ligne de base RGB uniquement (97,0 %). Les gains les plus importants ont été observés dans la suite "Spatial" (100,0 %) et la suite "Long" (96,6 %), qui nécessitent un raisonnement spatial complexe.
• SimplerEnv-Fractal : A atteint 85,3 % de succès moyen sur trois familles de tâches (Pick Coke Can, Move Near, Open/Close Drawer), soit une amélioration de 5,7 points de pourcentage par rapport à la ligne de base RGB uniquement.
• Réel ALOHA : A atteint 78,8 % de succès moyen sur huit tâches critiques pour la géométrie impliquant des conteneurs transparents, des rouleaux de ruban annulaire et des objets occultés. Cela a surpassé la ligne de base contrôlée RGB uniquement (65,0 %) et le modèle $\pi_{0.5}$ (67,5 %) dans la même configuration.

Les études d'ablation ont confirmé que le post-entraînement de la géométrie du domaine robotique et l'interrogation guidée par l'état proprioceptif sont tous deux essentiels à ces gains. Spécifiquement, supprimer le post-entraînement a fait chuter la performance de LIBERO à 95,9 %, tandis que supprimer les requêtes guidées par l'état (en utilisant le pooling global ou des requêtes apprises à la place) a fait chuter les performances à 91,6 % et 96,2 %, respectivement.

Signification et Revendications
L'article affirme que GeoAlign répond avec succès au problème de la géométrie locale dans les politiques VLA en découplant le raisonnement géométrique des entrées de profondeur brutes. En utilisant des caractéristiques de géométrie dérivées du RGB, façonnées par une supervision de profondeur mais interrogées dynamiquement par l'état du robot, le modèle parvient à un alignement spatial robuste pour la manipulation exécutable. Les auteurs soulignent que cette approche permet au décodeur d'action de recevoir des caractéristiques spatiales dont la pertinence change au cours des phases de manipulation, améliorant ainsi le succès dans les tâches exigeant un alignement précis et la manipulation de géométries visuelles difficiles (comme la transparence) là où les capteurs de profondeur standards échouent. Ce travail se positionne comme une voie complémentaire à la recherche actuelle sur les VLA, se concentrant spécifiquement sur l'alignement spatial requis pour le décodage d'actions fines plutôt que sur la compréhension sémantique générale.