Résumé Technique : G3VLA – Biais Inductif Géométrique pour les Modèles Vision-Langage-Action

Énoncé du Problème

Les modèles Vision-Language-Action (VLA), tels que RT-2, OpenVLA et $\pi_0$, ont réalisé des progrès significatifs dans la manipulation robotique généraliste en exploitant les connaissances sémantiques de backbones vision-langage préentraînés. Cependant, une limitation critique persiste : leurs jetons visuels sont ancrés dans des coordonnées d'image 2D plutôt que dans la géométrie calibrée des caméras du robot. Ce décalage est particulièrement prononcé dans les configurations multi-caméras, où les intrinsèques et extrinsèques connus couplent géométriquement différentes vues, alors que les formulations VLA conventionnelles traitent ces vues comme des images 2D indépendantes. Par conséquent, les modèles doivent apprendre implicitement la géométrie de la caméra uniquement par la supervision de l'action, un processus qui est souvent inefficace et limite la précision spatiale, en particulier pour les tâches nécessitant une estimation de pose précise, un raisonnement sur la distance et une cohérence inter-vues.

Les tentatives existantes pour y remédier, comme la voxelisation des observations (PerAct) ou l'élévation des caractéristiques vers des champs 3D (Act3D), nécessitent souvent des architectures spécifiques à la tâche qui ne peuvent pas pleinement exploiter la sémantique des VLM préentraînés. D'autres efforts de pontage (par exemple, SpatialVLA, 3D-VLA) requièrent généralement des entrées de capteurs 3D explicites, un préentraînement spatial à grande échelle ou des modifications de la représentation de l'action. La question centrale abordée par ce travail est la suivante : La géométrie de caméra calibrée peut-elle servir de voie de jetons visuels légère pour les VLA préentraînés afin d'améliorer la généralisation spatiale sans modifier le backbone, l'espace d'action ou l'objectif d'imitation ?

Méthodologie : G3VLA

Les auteurs proposent G3VLA, un cadre géométrique sensible à la caméra qui injecte une structure calibrée directement dans le flux de jetons visuels d'un VLA préentraîné. La méthode préserve le backbone préentraîné et la formulation de l'action, introduisant la géométrie exclusivement via les jetons visuels.

Composants Clés

Le module géométrique sensible à la caméra ($F_\psi$) se compose de trois éléments clés :

1. Embeddings de Rayons Conditionnés par l'Intrinsèque :
   Pour résoudre l'ambiguïté où le même pixel $(x, y)$ correspond à des directions de vue physiques différentes sous des intrinsèques différents, la méthode marque chaque jeton de patch ViT avec sa direction de vue projetée en arrière. Pour une coordonnée de pixel homogène $u$, le rayon de projection normalisé est calculé comme $\tilde{r}^v(u) = (K^v)^{-1}u$. Un embedding apprenable $G_\phi$ projette cette carte de rayons sur la grille de patches et l'ajoute à la sortie de l'encodeur :
   $$z^v_{0,p} = z^v_p + G_\phi(R^v)_p$$
   Cela garantit que toute l'attention en aval opère sur des jetons conscients de leur direction de vue intrinsèque.

2. Encodage Positionnel Projectif (PRoPE) :
   Alors que les embeddings de rayons encodent les directions de vue locales, ils ne capturent pas les relations géométriques entre les jetons provenant de différentes vues. Le PRoPE remédie à cela en dérivant des transformations projectives fixes pour les représentations de requête (query), de clé (key) et de valeur (value) basées sur les intrinsiques par vue ($K^v$), les matrices caméra-monde ($T^v$) et les emplacements des patches. Cela fournit une attention inter-vues avec des relations projectives basées sur le modèle de caméra plutôt que de reposer uniquement sur la similitude d'apparence.

3. Fusion Bidirectionnelle Inter-Vues :
   Le module de fusion traite les jetons en deux étapes :

   • Attention Intra-Frame : Traite les jetons de chaque flux de caméra indépendamment pour préserver la structure locale de la vue.
   • Attention Inter-Vues : Aplatit les dimensions de vue et de patch, permettant à tous les jetons valides de porter une attention bidirectionnelle entre les vues, en utilisant le PRoPE comme signal positionnel. Cela échange le contexte géométrique avant que les jetons n'atteignent le modèle d'action.

Stratégie d'Entraînement : Curriculum en Deux Étapes et Distillation de Géométrie

Puisque le module géométrique est initialisé à partir de zéro et ne reçoit que des gradients épars au niveau de la tâche provenant de la perte d'action, les auteurs introduisent un objectif de distillation de géométrie dense auxiliaire et un curriculum d'entraînement en deux étapes :

• Objectif de Distillation de Géométrie : Une tête de point auxiliaire attachée aux jetons visuels fusionnés prédit les coordonnées de rayons par pixel ($\hat{q}^v_u$) et la profondeur log-z ($\hat{d}^v_u$). Les cibles de supervision proviennent soit de cartes de points de vérité terrain (en simulation), soit de prédictions avec seuillage de confiance d'un enseignant de géométrie visuelle ($\pi_3X$). Les prédictions de l'enseignant sont filtrées par un seuil de confiance ($\tau=0.1$) pour éliminer les pixels peu fiables, ne nécessitant ni capteurs de profondeur ni annotations 3D manuelles.
• Entraînement en Deux Étapes :
  • Étape 1 (Pré-entraînement du Module Géométrique) : Le backbone préentraîné est gelé. Seuls les embeddings de rayons, les couches de fusion inter-vues et la tête de point auxiliaire sont mis à jour, la perte de distillation dominant. Cela aligne les modules géométriques avec le signal dense de l'enseignant.
  • Étape 2 (Fine-tuning Complet de la Politique) : Tous les paramètres sont dégelés. La perte d'action devient dominante, tandis que la perte de distillation agit comme un régularisateur géométrique léger. À l'inférence, la tête auxiliaire et l'enseignant sont écartés ; la politique nécessite uniquement des images RGB, la proprioception, le langage et la calibration de la caméra.

Contributions Clés

1. Identification d'un Écart Géométrique : L'article souligne le décalage entre les jetons visuels ancrés en 2D des VLA préentraînés et la structure spatiale calibrée requise pour une manipulation précise.
2. Cadre G3VLA : Un cheminement léger, préservant le backbone, qui injecte la géométrie de caméra calibrée via les embeddings de rayons, le PRoPE et la fusion inter-vues sans modifier l'espace d'action ou l'objectif d'imitation.
3. Distillation de Géométrie de $\pi_3X$ : Une procédure en deux étapes qui supervise les modules géométriques en utilisant des cartes de points denses avec seuillage de confiance provenant d'un enseignant de géométrie visuelle, éliminant le besoin d'annotations 3D manuelles ou de capteurs de profondeur.
4. Validation Multi-Architecture : La méthode est validée sur trois systèmes VLA distincts ($\pi_0$, $\pi_0.5$ et GR00T 1.5), démontrant des gains constants et fournissant des informations architecturales sur la façon dont les signaux géométriques se propagent à la génération d'actions.

Résultats Expérimentaux

Benchmarks de Simulation

• LIBERO : Sur le backbone $\pi_0$, G3VLA (GT) a amélioré le taux de succès moyen macro de 84,6 % à 88,1 % (+3,5 points). Les gains les plus importants ont été observés dans LIBERO-Object (+5,0) et LIBERO-Spatial (+4,0), confirmant que les tâches nécessitant une localisation d'objet et un raisonnement spatial en bénéficient le plus. G3VLA ($\pi_3X$) a également obtenu des gains significatifs (+2,4 par rapport à la baseline), prouvant l'utilité de la géométrie distillée par l'enseignant.
• RoboCasa24 & RoboTwin2.0 : G3VLA (GT) a amélioré les taux de succès sur RoboCasa24 (34,2 % $\to$ 37,1 %) et RoboTwin2.0 (44,0 % $\to$ 49,0 %). Notamment, G3VLA ($\pi_3X$) a sous-performé sur RoboTwin2.0 (chutant à 41,0 %), ce que les auteurs attribuent à des cibles de cartes de points $\pi_3X hors ligne peu fiables dans des scènes synthétiques visuellement propres et pauvres en textures.
• Compatibilité du Backbone :
  • $\pi_0.5$ : Les gains étaient plus faibles mais constants (95,9 % $\to$ 97,0 %), confirmant la compatibilité avec des backbones plus puissants et proches de la saturation.
  • GR00T 1.5 : Les résultats ont été mitigés. Des gains ont été observés avec la supervision $\pi_3X$ mais pas avec GT. Les auteurs suggèrent que cela est dû à l'architecture à deux tours de GR00T 1.5, où la politique de diffusion accède aux caractéristiques visuelles via une attention croisée à un VLM gelé plutôt qu'en consommant directement des jetons conscients de la géométrie, atténuant ainsi le signal géométrique.

Résultats en Monde Réel

Évalué sur un robot UR5 bimanuel pour deux tâches (Pick-and-Place Test Tube, Pouring Nut), G3VLA a montré les améliorations les plus significatives dans les contextes Hors-Distribution (OOD) (points de vue de caméra non vus).

• Sur la tâche "Pouring Nut", G3VLA a amélioré les taux de succès OOD de $\pi_0$ d'environ 70-75 % à 83-87,5 %.
• L'analyse qualitative a montré que les variantes basées sur GT présentaient des comportements de récupération robustes (ex: regripper, réaligner) après des erreurs intermédiaires, lesquels étaient absents des baselines classiques.

Études d'Ablation

• Composants Géométriques : Le retrait des embeddings de rayons a causé la chute la plus importante (-2,0 %), suivi par le retrait du PRoPE (-1,1 %), confirmant leurs rôles complémentaires.
• Curriculum d'Entraînement : Remplacer le curriculum en deux étapes par un entraînement conjoint en une seule étape a réduit la performance de 0,7 %, soulignant l'importance de pré-aligner le chemin géométrique avant l'optimisation de l'action.
• Source de Supervision : La supervision par vérité terrain a fourni le signal le plus fort, mais la distillation $\pi_3X$ a récupéré la majeure partie du gain, servant d'alternative pratique lorsque la profondeur est indisponible.

Signification et Revendications

L'article affirme que la géométrie de caméra calibrée est un biais inductif léger et utile pour la précision spatiale des politiques VLA généralistes. La principale signification réside dans la démonstration que la structure géométrique peut être injectée dans le flux de jetons visuels de modèles préentraînés sans modifier le backbone, l'espace d'action ou l'objectif d'imitation.

Les auteurs concluent modestement que l'efficacité de cette injection géométrique dépend de l'architecture : elle est plus efficace lorsque les jetons conscients de la géométrie ont un accès direct au chemin de génération d'action (comme vu avec $\pi_0$ et $\pi_0.5$). Dans les architectures où le modèle d'action accède indirectement aux caractéristiques (ex: GR00T 1.5), le bénéfice est atténué. De plus, la dépendance à un enseignant de géométrie visuelle introduit une sensibilité au décalage de domaine (ex: scènes pauvres en textures), suggérant que bien que la distillation par enseignant soit une stratégie viable, la supervision par vérité terrain reste supérieure lorsqu'elle est disponible.

Globalement, G3VLA offre une approche pratique pour améliorer la généralisation spatiale des modèles VLA existants, particulièrement pour les tâches sensibles à la localisation d'objets et aux relations spatiales, en exploitant les paramètres de calibration de la caméra comme un a priori structurel.