Résumé technique : Superviser ce qui survit : Adaptation des VLA guidée par la géométrie à partir de vidéos de robots synthétiques

1. Énoncé du problème

Les modèles Vision-Langage-Action (VLA) nécessitent des données vidéo-action appariées à grande échelle pour apprendre des politiques robotiques efficaces. Cependant, les données de téléopération en conditions réelles sont rares en raison des coûts élevés liés au matériel, à la formation des opérateurs et au temps de collecte. Bien que la génération de vidéos de l'humain vers le robot offre une source scalable de séquences robotiques synthétiques, les méthodes d'adaptation existantes traitent ces vidéos générées comme si elles contenaient des étiquettes d'action valides. Ces méthodes cherchent généralement à récupérer des « pseudo-actions » (par exemple, via la dynamique inverse ou le retargeting géométrique) à partir de pixels synthétisés, puis les injectent dans la tête d'action du VLA.

Les auteurs soutiennent que cette approche crée un décalage fondamental. La génération de vidéos optimise la plausibilité visuelle, et non les lois de contrôle physique. Par conséquent, bien que la géométrie (trajectoires spatiales, disposition des objets) d'une tâche soit préservée lors de la génération, les signaux de contrôle sous-jacents (commandes motrices exactes) sont perdus ou hallucinés. Forcer un VLA à mapper des pixels visuellement plausibles mais physiquement hallucinés à des signaux de contrôle rigides du monde réel dégrade la performance de la politique.

2. Principe fondamental : Préservation asymétrique

Le papier introduit le Principe de Préservation Asymétrique, qui postule que dans la génération de vidéos de l'humain vers le robot :

• La Géométrie survit : La structure spatiale (le « où » d'une tâche) est transférée de manière fiable.
• Le Contrôle est effacé : La dynamique d'exécution physique (le « comment ») n'est pas préservée.

Sur cette base, les auteurs proposent une règle de conception : La supervision doit suivre ce qui survit. Les vidéos générées doivent être utilisées uniquement pour superviser la perception visuelle (géométrie), tandis que l'apprentissage du contrôle doit rester ancré dans les démonstrations réelles.

3. Méthodologie : GRA (Alignement de représentation guidé par la géométrie)

La méthode proposée, GRA, implémente ce principe via un protocole d'entraînement en deux étapes qui découple la supervision géométrique de l'apprentissage de l'action.

3.1 Dérivation de points de passage géométriques (Waypoints)

Au lieu de récupérer des actions à partir des pixels générés, GRA dérive des cibles de supervision géométrique à partir de la vidéo humaine source :

1. Extraction : Utilise l'estimation de pose (HaMeR), la détection (Grounding DINO) et la segmentation (SAM2) sur la vidéo humaine.
2. Retargeting & Simulation : Retarget la trajectoire des mains humaines vers le référentiel de l'effecteur terminal (EE) du robot et la rejoue dans un simulateur physique (MuJoCo) pour imposer les limites articulaires et les collisions.
3. Projection : Projette la trajectoire 3D de l'EE simulée dans les coordonnées d'image 2D en utilisant les paramètres intrinsèques/extrinsèques calibrés de la caméra.
4. Résultat : Un ensemble de points de passage 2D de l'EE ($y_t$) qui sont temporellement alignés avec les images robotiques générées mais qui proviennent de la source humaine fiable, et non des pixels synthétiques.

3.2 Protocole d'entraînement en deux étapes

• Étape 1 : Pré-entraînement géométrique

  • Entrée : Images robotiques générées ($I^s_t$).
  • Objectif : Entraîner le backbone visuel ($\phi_v$) et une tête 2D auxiliaire ($h_{2D}$) pour prédire les points de passage 2D futurs ($y^s_t$) dérivés de la source humaine.
  • Perte : $L^s_{2D}$ (MSE entre les points de passage prédits et dérivés).
  • Portée : Seuls le backbone visuel et la tête 2D sont mis à jour (via LoRA) ; le modèle de langage et la tête d'action ne sont pas touchés.

• Étape 2 : Fine-tuning de l'action avec ancrage spatial

  • Entrée : Images de démonstration robotique réelle ($I^r_t$) avec de vraies actions delta ($\Delta a_t$).
  • Objectif : Affiner la tête d'action ($\phi_a$) pour prédire les actions réelles tout en maintenant l'ancrage géométrique établi à l'étape 1.
  • Perte : $L = L_{act} + \lambda L^r_{2D}$.
    • $L_{act}$ : Régression L1 sur les actions delta réelles.
    • $L^r_{2D}$ : La même perte de point de passage 2D que l'étape 1, désormais évaluée sur des images réelles.
  • Mécanisme : La tête auxiliaire $h_{2D}$ agit comme un ancrage de représentation spatiale. Elle persiste durant le fine-tuning de l'action pour empêcher le backbone visuel de dériver vers des caractéristiques prédictives d'action au détriment de la structure spatiale.

4. Contributions clés

1. Principe de Préservation Asymétrique : Une formalisation du fossé structurel dans les données synthétiques, arguant que les vidéos générées sont des témoins géométriques fiables mais des traces de contrôle peu fiables.
2. Routage de la Supervision (GRA) : Une architecture novatrice qui route les points de passage géométriques dérivés de l'humain vers le backbone visuel du VLA via une tête 2D auxiliaire, tout en limitant l'apprentissage de l'action aux seules démonstrations réelles.
3. Ancrage de Représentation : Démonstration qu'une perte spatiale persistante durant le fine-tuning de l'action empêche l'érosion des représentations conscientes de la géométrie, ce qui est crucial pour maintenir l'ancrage spatial de la politique.

5. Résultats expérimentaux

Les expériences ont été menées sur un robot Franka Research 3 à 7 degrés de liberté pour trois tâches de pick-and-place (cube, tasse, mangue).

• Configuration : Comparaison avec des bases utilisant un budget de données identique ($N_{real}=25$ démos réelles + $N_{syn}=75$ vidéos générées).
  • Baselines : Réel uniquement (25 démos), style DreamGen (pseudo-actions via dynamique inverse), style MimicDreamer (pseudo-actions via retargeting).
  • Référence Supérieure : Réel uniquement (100 démos).
• Performance :
  • GRA a atteint un taux de succès moyen de 68,9 %, surpassant la baseline "Réel uniquement" à budget équivalent (61,1 %) de +7,8 % et surpassant significativement les baselines de pseudo-actions (48,9 % et 54,4 %).
  • Les baselines de pseudo-actions ont performé moins bien que la baseline "Réel uniquement", confirmant l'hypothèse que les signaux de contrôle synthétiques dégradent la performance.
  • GRA a réduit l'écart de performance par rapport à la référence "Réel uniquement" de 100 démos (75,6 %) de 14,5 points (Réel uniquement 25) à 6,7 points, malgré l'utilisation de 4 fois moins de démonstrations réelles.
• Diagnostics :
  • Asymétrie d'information : Les sondages ont montré que l'information spatiale se transfère de la donnée synthétique à la donnée réelle bien mieux que l'information de contrôle.
  • Qualité de la tête d'action : GRA a réduit la dérive de position par étape de 17 % par rapport à "Réel uniquement" et de 30 % par rapport au style MimicDreamer, indiquant que le pré-entraînement géométrique affine la perception spatiale sans introduire de bruit d'action synthétique.

6. Signification et Limites

Signification :
Ce papier démontre que router correctement les données synthétiques — en les utilisant uniquement pour ce qu'elles préservent de manière fiable (la géométrie) — comble le fossé entre les vidéos générées et les politiques robotiques plus efficacement que de tenter de reconstruire des signaux de contrôle effacés. Cette approche permet aux modèles VLA de tirer parti de la scalabilité des données synthétiques pour l'ancrage visuel, tout en maintenant la fidélité du contrôle appris à partir des rares données réelles.

Limites :

• En amont : L'asymétrie est observée empiriquement ; caractériser cela à travers différents générateurs ou étendre le concept de "ce qui survit" au-delà de la géométrie reste un problème ouvert.
• En aval : La performance en boucle fermée reste limitée par l'échelle des données d'action réelles. La méthode ne supprime pas le besoin de démonstrations réelles, elle réduit seulement la quantité nécessaire pour une adaptation efficace. Les travaux futurs nécessiteraient des générateurs ou des décodeurs capables de produire des signaux de contrôle dignes de confiance.