Direct Action-Head Injection of A Grounded 3D Point Unlocks Spatial and Task Generalization

Résumé Technique : L'injection directe dans la tête d'action d'un point 3D ancré déverrouille la généralisation spatiale et de tâche

1. Énoncé du problème

Les modèles Vision-Langage-Action (VLA) exploitent le pré-entraînement à grande échelle vision-langage pour permettre une manipulation robotique flexible. Cependant, ces modèles présentent une fragilité significative lors des tests sur deux axes critiques :

• Généralisation Spatiale : Les performances s'effondrent lorsque les positions des objets diffèrent de celles rencontrées pendant l'entraînement.
• Généralisation de Tâche : Les modèles échouent à s'adapter lorsqu'une scène familière est associée à une instruction linguistique différente, reproduisant souvent des trajectoires mémorisées plutôt que de répondre à la nouvelle commande.

Les approches existantes tentent d'atténuer cela en fournissant un ancrage spatial explicite (par exemple, l'emplacement des objets) via des invites linguistiques (tokens de texte) ou des invites visuelles (superpositions d'images). Les auteurs soutiennent que ces méthodes échouent car elles ne traitent pas systématiquement la manière dont le signal spatial est représenté et injecté. Plus précisément, le recours à des représentations 2D force la politique à reconstruire en interne la géométrie 3D à partir de caractéristiques visuelles et linguistiques, un fardeau qui limite la généralisation robuste.

2. Méthodologie

Le papier propose un module léger et agnostique au modèle qui modifie fondamentalement la manière dont les signaux d'ancrage sont traités : élever un point d'ancrage 2D en 3D et l'injecter directement dans la tête d'action.

Le pipeline se compose de trois étapes :

1. Élévation 3D (3D Lifting) : Étant donné un point cible 2D (obtenu via n'importe quel module d'ancrage visuel prêt à l'emploi, tel qu'un VLM ou un détecteur), le système élève ce point dans l'espace 3D en utilisant les informations de profondeur et les paramètres de la caméra. Il calcule le déplacement relatif ($d$) entre la position cible ($p_t$) et la position actuelle de la pince ($p_g$) dans le référentiel de la base du robot :
   $$d = p_t - p_g$$
2. Plongement Spatial (Spatial Embedding) : Ce vecteur de déplacement 3D est encodé en un plongement spatial ($z_{spatial}$) à l'aide d'un simple perceptron multicouche (MLP) à deux couches. La dimension de sortie correspond à la taille cachée de la tête d'action.
3. Injection Directe via AdaLN : Les VLA modernes utilisent souvent un Transformer de Diffusion (DiT) comme tête d'action, qui emploie une Normalisation de Couche Adaptative (AdaLN) pour le conditionnement. Au lieu d'ajouter le signal aux tokens d'entrée ou aux invites textuelles, la méthode injecte le plongement spatial directement dans le mécanisme AdaLN. Le plongement spatial est combiné avec le plongement temporel ($z_{time}$) via une addition élément par élément pour moduler les paramètres d'échelle ($\gamma$) et de décalage ($\beta$) des couches de normalisation :
   $$\gamma, \beta = \text{Linear}(z_{time} + z_{spatial})$$
   Cela permet à la politique d'incorporer des informations géométriques 3D pertinentes pour la tâche directement lors de la prédiction de l'action, sans modifier le squelette (backbone) du VLA ou le pipeline de pré-entraînement.

3. Contributions Clés

• Identification du Goulot d'Étranglement : Les auteurs démontrent que la représentation (2D vs 3D) et le mécanisme d'injection (prompting vs injection directe dans la tête) sont les principaux facteurs déterminant la généralisation, plutôt que la source du signal d'ancrage lui-même.
• Architecture Légère : La solution proposée ne nécessite aucun changement au backbone du VLA ni aux données de pré-entraînement. Elle n'ajoute qu'un MLP à deux couches et utilise les mécanismes de conditionnement AdaLN existants.
• Agnosticisme du Backbone : La méthode est validée sur plusieurs backbones VLA distincts (GR00T-N1.6 et $\pi0.5$), prouvant son applicabilité à différentes architectures de modèles.

4. Résultats Expérimentaux

La méthode a été évaluée sur les benchmarks LIBERO et LIBERO-PRO, qui incluent la perturbation de tâche (changement d'instructions) et la perturbation de position (changement de l'emplacement des objets).

• Performance en Simulation :

  • Sur GR00T-N1.6, la méthode a amélioré le taux de succès moyen sous Perturbation de Tâche de 31,2 % à 77,5 % et sous Perturbation de Position de 28,1 % à 60,2 %.
  • Sur $\pi0.5$, des gains similaires ont été observés, faisant passer les taux de succès de 37,3 % à 75,9 % (Tâche) et de 47,0 % à 72,2 % (Position).
  • Comparaisons Contrôlées : Lorsqu'on fournissait le même point cible oracle 2D, les variantes 2D (via texte, visuel ou prompts AdaLN) n'ont produit que des améliorations modestes. En revanche, la représentation 3D injectée via AdaLN a produit des gains spectaculaires, confirmant que le signal 3D et l'injection directe sont les facteurs critiques.
  • Efficacité des Données : Une méthode entraînée sur seulement 20 tâches avec cette approche a surpassé les bases de référence entraînées sur 69 tâches, suggérant que la conception architecturale l'emporte sur le passage à l'échelle des données pour la généralisation.
  • Robustesse : La méthode est restée efficace même lorsqu'elle était entraînée et testée avec des entrées de profondeur bruitées.

• Validation en Monde Réel :

  • Des expériences sur un robot Franka Emika Panda avec des capteurs RGB-D grand public ont confirmé les résultats de la simulation.
  • Alors que les bases de référence et les variantes de prompts 2D se sont effondrées à un succès proche de zéro sous les perturbations dans le monde réel, la méthode proposée a conservé des performances élevées, démontant une applicabilité pratique malgré des entrées d'ancrage bruitées.

5. Signification et Revendications

Le papier affirme que la conclusion centrale est une intuition « simple mais négligée » : étant donné un ancrage 2D adéquat, élever le signal en 3D et l'injecter directement dans la tête d'action est la clé pour déverrouiller la généralisation spatiale et de tâche dans les VLA.

Les auteurs soulignent que cette approche permet d'obtenir des gains de performance substantiels sans avoir besoin de codeurs 3D complexes, de modèles de fondation supplémentaires ou de refonte architecturale. Ce travail suggère que le domaine sur-complique l'intégration des signaux spatiaux, et qu'une injection directe, alignée sur la géométrie, dans la tête d'action est la voie la plus efficace pour une manipulation robotique robuste. Les auteurs notent les limites concernant les mouvements agnostiques aux objets et l'hypothèse de disponibilité d'un ancrage 2D, mais positionnent leur contribution comme une étape fondamentale pour améliorer la robustesse des VLA.