Résumé Technique : GeoProp – Ancrage de l'état du robot dans la vision pour la manipulation généraliste

1. Énoncé du Problème

Les architectures de manipulation robotique actuelles, allant des contrôleurs basés sur la diffusion aux modèles Vision-Langage-Action (VLA), souffrent d'un découplage structurel entre les observations visuelles de haute dimension et le retour proprioceptif de faible dimension. Les méthodes de fusion standard traitent généralement la proprioception comme un vecteur d'état global isolé et non ancré, la fusionnant via une simple concaténation ou une attention croisée.

Les auteurs identifient une limitation critique dans ce paradigme : sans une correspondance explicite entre la cinématique 3D et les cartes de caractéristiques visuelles 2D, le modèle doit apprendre implicitement l'alignement entre l'état physique du robot et la scène. L'analyse empirique révèle que cette approche non ancrée peut être contre-productive, introduisant des corrélations spécieuses qui font sous-performer les politiques par rapport même aux bases de référence uniquement visuelles. Le vecteur d'état ne parvient pas à ancrer la configuration du robot dans la variété visuelle, entraînant des motifs d'attention diffus qui ne se focalisent pas sur le préhenseur ou les objets manipulés.

2. Méthodologie : GeoProp

Pour remédier à cela, les auteurs proposent GeoProp, un adaptateur léger, prêt à l'emploi (plug-and-play), qui aligne la proprioception avec la vision grâce à un ancrage géométrique explicite et un échantillonnage de caractéristiques spatiales. GeoProp opère à l'interface entre la perception et la représentation d'état sans modifier l'architecture de base (backbone). Il se compose de trois composants principaux :

2.1 Projection Géométrique et Ancrage de Caractéristiques

Au lieu d'injecter l'état proprioceptif $p_t$ en tant que vecteur global, GeoProp projette la position 3D de l'effecteur terminal $r_t$ sur le plan de l'image 2D en utilisant les intrinsèques de la caméra ($K$) et les extrinsèques ($R, t$).
$$q_t = \Pi_K(R r_t + t)$$
La coordonnée d'image projetée $q_t$ est mappée vers une coordonnée continue $\bar{q}_t$ sur la grille de caractéristiques visuelles. La caractéristique visuelle à cet emplacement est échantillonnée via une interpolation bilinéaire pour créer un jeton d'état ancré ($\tau_t$). Ce jeton porte des preuves locales de la scène spécifiquement au point d'interaction actuel du robot, héritant de la sémantique de la scène au sein du même espace latent visuel.

2.2 Modulation de Caractéristiques Spatialement Alignées

Pour injecter des priors géométriques plus profondément dans la hiérarchie visuelle, GeoProp utilise une modulation linéaire par caractéristique (FiLM) conditionnée par l'état proprioceptif.

• Pour chaque carte de caractéristiques intermédiaire $F^\ell_{enc}$ au niveau $\ell$, la cellule de grille alignée $c^\ell_t$ correspondant à l'effecteur terminal projeté est identifiée.
• Un MLP à deux couches prédit les paramètres de modulation par canal $\gamma^\ell_t$ et $\beta^\ell_t$ basés sur $p_t$.
• La modulation est appliquée uniquement à la cellule de caractéristique géométriquement alignée avec l'effecteur terminal :
  $$F^\ell_{mod}[c] = \begin{cases} (1 + \gamma^\ell_t) \odot F^\ell_{enc}[c] + \beta^\ell_t & \text{si } c = c^\ell_t \\ F^\ell_{enc}[c] & \text{sinon} \end{cases}$$
  Cela garantit que le conditionnement proprioceptif reste spatialement localisé avant l'agrégation multi-échelle via un réseau de pyramide de caractéristiques (FPN).

2.3 Échantillonnage Cinématique Prédictif

Pour capturer l'intention de mouvement, GeoProp augmente le jeton ancré avec un jeton prédictif.

• En utilisant une fenêtre temporelle de positions 3D récentes, un futur point de passage (waypoint) à court horizon $\hat{r}_{t+1}$ est estimé par extrapolation polynomiale.
• Ce point de passage est projeté sur le plan de l'image et mappé sur la grille de caractéristiques pour obtenir une coordonnée d'anticipation $\bar{q}^{pre}_{t+1}$.
• Un jeton prédictif ($\tau^{pre}$) est échantillonné à partir de la carte de caractéristiques non modulée à cet emplacement. Cela fournit un aperçu spatial du mouvement anticipé sans être conditionné par la modulation d'état, découplant ainsi le contexte de "regard vers l'avant" du l'état actuel.

L'entrée finale de la politique concatène le jeton d'état ancré, le jeton prédictif et les jetons visuels globaux (et les jetons de langage si disponibles).

3. Principales Contributions

1. Analyse Empirique du Désalignement : Les auteurs démontrent que traiter la proprioception comme un vecteur global non ancré peut dégrader les performances de manipulation par rapport aux bases de référence uniquement visuelles, motivant la nécessité d'une correspondance état-vision basée sur la géométrie explicite.
2. Adaptateur GeoProp : Ils introduisent un module plug-and-play qui transforme la proprioception 3D en jetons visuels ancrés dans l'image. Cela comble le fossé de représentation via la projection géométrique, la modulation de caractéristiques localisée (FiLM) et l'échantillonnage prédictif de l'intention de mouvement.
3. Généralisabilité et Efficacité : GeoProp est validé à travers différentes architectures de politiques (Diffusion Policy et modèles VLA comme $\pi_0$) et environnements (simulation et monde réel). Il atteint des gains de performance significatifs avec un surcoût de paramètres négligeable (2–3 %).

4. Résultats Expérimentaux

Les auteurs ont évalué GeoProp sur 67 tâches, incluant 63 tâches de simulation et 4 tâches réelles sur un système Mobile ALOHA.

Benchmarks de Simulation

• Diffusion Policy (DP) : Sur 63 tâches (MetaWorld, RLBench, RoboTwin) avec des architectures de fond ResNet-18 et ViT-Base, GeoProp améliore le taux de succès moyen de 8,7 % par rapport à la base de référence de fusion vanilla.
• Modèle VLA ($\pi_0$) : Sur le sous-ensemble RoboTwin, GeoProp améliore le taux de succès du modèle $\pi_0$ de 3 milliards de paramètres de 4,0 %, surpassant la base de référence vanilla sur 5 tâches sur 7.
• Études d'Ablation : L'ancrage géométrique a été identifié comme la source principale d'amélioration. L'ajout de l'échantillonnage prédictif et de la modulation FiLM localisée apporte des gains complémentaires. La méthode surpasse les autres bases de référence d'ancrage spatial comme l'injection de Heatmap et RC-PE.

Expériences en Monde Réel

Évalué sur une plateforme bimanuelle Mobile ALOHA pour quatre tâches domestiques (Lancer de papier, Récupération de café, Nettoyage de bureau, Nettoyage de table) :

• Diffusion Policy : GeoProp atteint un taux de succès moyen de 50,0 %, soit une amélioration absolue de 11,2 % par rapport à la base de référence vanilla et une amélioration de 21,2 % par rapport à la base de référence uniquement visuelle.
• $\pi_0$ : GeoProp améliore le taux de succès moyen de 43,8 % à 53,8 % (+10,0 points de pourcentage).
  Les gains sont plus prononcés dans les tâches nécessitant un contact local précis et un alignement préhenseur-objet.

Robustesse

GeoProp dépend du calibrage caméra-robot. Sous des perturbations extrinsèques synthétiques, la méthode se dégrade progressivement mais reste supérieure aux bases de référence pour des erreurs de translation allant jusqu'à 2,5 cm et des erreurs de rotation jusqu'à 1,5°.

5. Signification et Revendications

L'article affirme que GeoProp fournit un biais inductif simple mais à fort impact pour les politiques incarnées généralistes. En ancrant l'état du robot à des sémantiques visuelles co-localisées via une projection analytique, GeoProp résout le désalignement de modalité inhérent aux méthodes de fusion standard.

Les auteurs soulignent que cette approche est indépendante du cadre (framework-agnostic), améliorant aussi bien les méthodes de fusion superficielle (Diffusion Policy) que les modèles d'attention croisée profonde ($\pi_0$). Les résultats suggèrent qu'un ancrage géométrique explicite est un composant critique pour le passage à l'échelle de l'IA incarnée, permettant aux politiques de mieux associer les états proprioceptifs aux preuves visuelles pertinentes sans nécessiter de reconstruction de scène 3D complexe ou de modifications de l'architecture de base.

Limites Reconnues :

• Nécessite des intrinsèques et extrinsèques de caméra connus ; les performances se dégradent en cas de dérive importante du calibrage.
• Ancre actuellement uniquement la position 3D de l'effecteur terminal, et non des structures cinématiques plus riches (ex: articulations, bouts de doigts).
• L'échantillonnage prédictif suppose un mouvement localement fluide ; des changements de direction brusques peuvent conduire à des points de regard vers l'avant hors tâche.
• Les gains diminuent ou s'inversent lorsque l'objet manipulé occulte l'effecteur projeté ou lorsque la base de référence est déjà proche de sa performance maximale.