💻 computer science

Generalizable VLA Finetuning via Representation Anchoring and Language-Action Alignment

L'article propose Anchor-Align, une méthode de fine-tuning qui combine l'ancrage de la représentation vision-langage et l'alignement langage-action pour empêcher l'écrasement des connaissances pré-entraînées dans les politiques VLA, améliorant ainsi de manière significative la généralisation et les taux de réussite sur robot réel à travers divers benchmarks.

Auteurs originaux : Dwip Dalal, Shivansh Patel, Chahit Jain, Jeonghwan Kim, Utkarsh Mishra, Alex Baratian, Hyeonjeong Ha, Heng Ji, Svetlana Lazebnik, Unnat Jain

Publié 2026-07-16

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Dwip Dalal, Shivansh Patel, Chahit Jain, Jeonghwan Kim, Utkarsh Mishra, Alex Baratian, Hyeonjeong Ha, Heng Ji, Svetlana Lazebnik, Unnat Jain

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le cerveau du robot : un conte sur la mémoire, le langage et l'exécution des tâches

Imaginez que vous enseigniez à un robot comment faire les corvées. Vous ne voulez pas programmer chaque mouvement individuellement ; cela prendrait une éternité. Au lieu de cela, vous donnez au robot un « cerveau » qui a déjà lu l'intégralité d'Internet. Ce cerveau est un Modèle Vision-Langage (VLM). Voyez cela comme un étudiant super intelligent qui a vu des millions d'images et lu des millions de livres. Il sait à quoi ressemble une « tasse », que le « vert » est une couleur, et que « ramasser » signifie soulever quelque chose. Il comprend le monde de manière générale.

Cependant, connaître le monde n'est pas la même chose que de s'y déplacer. Pour transformer ce cerveau en robot, les scientifiques utilisent une technique appelée Apprentissage par Imitation (Behavior Cloning). C'est comme montrer au robot une vidéo d'un humain effectuant une tâche (comme ramasser une tasse rouge) et dire au robot : « Copie exactement ceci ». Le robot apprend à bouger son bras pour correspondre à la vidéo. Le gros problème est que lorsque le robot essaie d'apprendre cette nouvelle compétence, il se concentre souvent tellement sur la copie des mouvements de la main qu'il oublie tout ce qu'il a appris sur Internet. Il peut cesser de comprendre que « rouge » désigne une couleur spécifique, ou qu'une « tasse » est un objet spécifique. Il devient un imitateur sans cervelle qui échoue dès que la scène change ne serait-ce qu'un peu. C'est le défi que cet article aborde : comment enseigner à un robot comment bouger sans lui faire oublier comment réfléchir ?

La solution : Ancrer le passé et aligner le futur

Les chercheurs derrière cet article, travaillant avec des robots à la fois dans des simulations informatiques et avec un bras physique réel, ont découvert que la manière standard d'entraîner les robots est défectueuse. Ils ont constaté que lorsque vous apprenez simplement à un robot à copier des actions, il efface progressivement sa propre compréhension du langage et de la vision. Pour corriger cela, ils ont inventé une nouvelle recette d'entraînement appelée Anchor-Align.

Considérez le cerveau du robot comme un étudiant passant un nouvel examen difficile. La méthode standard (appelée Apprentissage par Imitation) revient à dire à l'étudiant : « Ignore tout ce que tu sais sur l'histoire et les mathématiques ; mémorise simplement les réponses à ces questions d'entraînement spécifiques. » Finalement, l'étudiant oublie complètement l'histoire et les mathématiques. Si vous lui demandez ensuite : « Quelle est la capitale de la France ? », il pourrait répondre « New York » parce que c'est ce qu'il a mémorisé pour l'examen d'entraînement, même s'il sait mieux.

Anchor-Align change les règles de l'examen de deux manières astucieuses :

Ancrage Vision-Langage (L'« Ancre de Mémoire ») :
Imaginez que le robot possède un jumeau, une version « gelée » de lui-même qui ne change jamais et qui se souvient de tout ce qu'il a appris lors de son entraînement sur Internet. Ce jumeau le surveille pendant que le robot apprend à bouger. Chaque fois que le robot tente de modifier sa compréhension de ce qu'est une « tasse » ou la couleur « verte », le jumeau lui dit : « Attends une minute ! Tu savais auparavant que c'était une tasse. N'oublie pas ! » C'est ce qu'on appelle la distillation. C'est comme avoir un tuteur strict qui s'assure que l'étudiant ne perd pas ses connaissances générales tout en apprenant une compétence spécifique. L'article montre que sans cette « ancre », le robot perd presque totalement ses compétences visuelles et linguistiques.
Alignement Langage-Action (Le « Contrôle de Cohérence ») :
Le second problème identifié par l'article est que les robots se confondent souvent entre ce qu'ils disent et ce qu'ils font. Dans l'entraînement standard, le robot peut apprendre à dire « ramasse la tasse rose » mais en réalité tendre le bras vers la tasse verte parce que c'est ce qu'il a vu dans la vidéo d'entraînement. C'est comme une personne qui dit : « Je vais au parc », tout en marchant vers l'épicerie.
Anchor-Align corrige cela en forçant le robot à être en accord avec lui-même. Il prend l'action du robot (déplacer son bras vers la droite) et la transforme en une étiquette de mot simple (comme « Droite »). Ensuite, il demande au cerveau linguistique du robot de prédire ce même mot (« Droite ») en se basant sur l'image qu'il voit. Si le robot dit « Gauche » mais bouge à « Droite », il reçoit une pénalité. Cela force ses mots et ses mouvements à être sur la même longueur d'onde.

Ce qu'ils ont trouvé : Des robots réels, des résultats réels

L'équipe a testé cette méthode sur deux types différents de cerveaux de robots et dans deux mondes différents : une simulation informatique complexe et un véritable bras robotique physique (un xArm7).

Dans les simulations informatiques, ils ont utilisé des tests complexes où ils changeaient l'environnement autour du robot. Par exemple, ils échangeaient la position des objets ou changeaient l'éclairage.

L'ancienne méthode : Lorsque les objets étaient permutés, les robots standards échouaient presque 100 % du temps. Ils avaient mémorisé l'ancienne disposition et ne pouvaient pas s'adapter.
La nouvelle méthode : Les robots Anchor-Align ont réussi dans 22,6 % de ces scénarios de « permutation », tandis que les meilleures méthodes précédentes affichaient un score de 0 %.
Ils ont également testé la capacité des robots à gérer des environnements désordonnés (comme le bruit des capteurs ou un éclairage étrange). La nouvelle méthode a considérablement amélioré les taux de réussite, atteignant 99,6 % de succès lors du changement de textures de fond et 99,0 % lors du changement d'éclairage, contre des scores plus faibles pour les autres méthodes.

Mais la partie la plus excitante s'est produite dans le monde réel. Les chercheurs ont appliqué la méthode sur un bras robotique physique.

Le test : Ils ont entraîné le robot à ramasser une tasse verte. Ensuite, ils l'ont testé en lui demandant de ramasser une tasse rose dans une nouvelle configuration désordonnée.
Le résultat : Le robot standard, entraîné de l'ancienne façon, ignorait l'instruction et tendait le bras vers la tasse verte 90 % du temps. Il avait oublié ce que « rose » signifiait. Le robot Anchor-Align, cependant, a écouté l'instruction et a ramassé la tasse rose 100 % du temps.
Globalement, sur le robot réel, la nouvelle méthode a amélioré le taux de réussite des tâches difficiles de 28 % à 54 % avec un type de cerveau de robot, et de 37 % à 60 % avec un autre.

Pourquoi cela importe

L'article suggère que nous n'avons pas à choisir entre un robot qui est intelligent (comprend le langage et la vision) et un robot qui est habile (peut bouger son bras). L'ancienne méthode d'entraînement imposait un compromis : pour devenir bon dans le mouvement, le robot devait oublier comment réfléchir. Anchor-Align prouve que l'on peut avoir les deux.

En « ancrant » la mémoire du robot à ses connaissances d'origine et en « alignant » ses mots avec ses actions, le robot devient beaucoup plus flexible. Il ne se contente pas de mémoriser une seule vidéo ; il apprend à comprendre la scène devant lui, peu importe la disposition des objets ou leur couleur. Les auteurs notent que cette méthode ne nécessite aucune nouvelle donnée ni aucun changement de matériel coûteux ; elle change simplement la manière dont le robot est enseigné. C'est une recette simple qui rend les robots nettement plus aptes à gérer le monde réel, complexe et imprévisible.

Résumé Technique : Finetuning de VLA Généralisable via l'Ancrage de Représentation et l'Alignement Langage-Action

1. Énoncé du Problème

Les modèles Vision-Langage-Action (VLA) sont devenus une approche standard pour la manipulation robotique, généralement créés en affinant (finetuning) un modèle Vision-Langage (VLM) préentraîné sur des démonstrations robotiques via l'Apprentissage par Imitation (Behavior Cloning - BC). Bien que cette approche transfère les priors sémantiques du VLM (compréhension de la disposition spatiale, de la couleur, de la forme, etc.) vers des politiques de contrôle, le finetuning BC standard souffre de deux modes d'échec critiques qui dégradent la généralisation :

Oubli Catastrophique des Représentations : Le BC standard optimise uniquement la perte de prédiction d'action. Au cours du finetuning, les mises à jour écrasent progressivement les concepts visuo-linguistiques et spatiaux préentraînés acquis lors du préentraînement à l'échelle du web. Par conséquent, une politique entraînée pour ramasser une « tasse verte » peut échouer à se généraliser à une « tasse rose » dans la même scène, ou échouer à s'adapter lorsque les positions des objets sont permutées, car le backbone a perdu ses capacités de raisonnement spatial et de couleur.
Désalignement Langage-Action : Les remèdes courants, tels que le co-entraînement sur des données image-texte générales (ex: VQA, légende), appliquent des pertes de langage et d'action à des observations distinctes. Cela laisse le VLA avec une supervision disjointe : la tête d'action apprend des démonstrations d'experts tandis que la tête de langage apprend des tâches génériques. Comme elles ne sont jamais supervisées sur la même observation robotique, leurs prédictions peuvent se contredire (ex: la tête d'action se déplace vers la « droite » alors que la tête de langage prédit la « gauche »), un désalignement que les benchmarks standards échouent souvent à exposer.

2. Méthodologie : Anchor-Align

Les auteurs proposent Anchor-Align, une recette de finetuning qui augmente le BC standard avec deux objectifs spécifiques pour préserver les représentations préentraînées et aligner le langage avec l'action. La méthode ne nécessite ni données supplémentaires, ni annotation, ni changement architectural au-delà de la configuration VLA standard.

2.1 Architecture de Base

La méthode opère sur des architectures VLA utilisant un backbone VLM préentraîné avec une tête d'action dédiée (supportant à la fois la régression et les têtes d'action par flow-matching). Le backbone encode les observations visuelles et les instructions textuelles, tandis qu'un projecteur d'état encode la proprioception du robot. La tête d'action prédit des blocs d'actions continus basés sur ces représentations multimodales.

2.2 Ancrage Vision-Langage

Pour prévenir l'oubli catastrophique, Anchor-Align introduit une perte de distillation qui ancre le backbone VLA entraînable à une copie gelée du VLM préentraîné original (l'« Anchor VLM »).

Mécanisme : L'Anchor VLM gelé traite le même lot d'entrées (images et texte) en parallèle. À chaque couche du décodeur $u$ , les états cachés des tokens de vision et de texte dans le backbone entraînable ( $H^S_u$ ) sont forcés de correspondre à ceux de l'ancre gelée ( $H^A_u$ ).
Fonction de Perte : La perte d'ancrage est la norme de Frobenius au carré de la différence entre ces états cachés, moyennée sur toutes les couches du décodeur :
$L_{anchor} = \frac{1}{|D|} \sum_{u \in D} \| H^S_u[m] - H^A_u[m] \|_F^2$
où $m$ désigne l'ensemble des positions des tokens de vision et de texte. Cela agit comme un régularisateur dans l'espace de représentation, préservant le substrat sémantique sans nécessiter de contraintes sur l'espace des poids.

2.3 Alignement Langage-Action

Pour résoudre le désalignement entre langage et action, la méthode introduit un objectif de supervision conjointe où les deux têtes sont entraînées sur la même observation robotique.

Mécanise : Les cibles d'action continues issues des démonstrations d'experts sont converties de manière programmatique en étiquettes de direction de mouvement discrètes (ex: « haut », « bas », « gauche », « droite », « avant », « arrière »). Ceci est réalisé en moyennant les composantes de translation des blocs d'actions, en filtrant les échantillons quasi-stationnaires et en discrétisant l'axe dominant.
Fonction de Perte : Le modèle est entraîné à prédire cette étiquette de direction discrète en utilisant la sortie de la tête de langage sur la même observation utilisée pour la prédiction d'action. Plus précisément, le dernier état caché du token d'instruction (qui résume le préfixe visuel et l'instruction) est projeté à travers la tête de langage préentraînée gelée pour générer des logits sur le vocabulaire. La perte d'alignement est l'entropie croisée entre ces logits et l'étiquette de direction réelle :
$L_{align} = CE(\hat{a}_{lang}, a_{lang})$
Objectif Total : La perte d'entraînement finale combine la perte d'action BC standard ( $L_{action}$ ) avec les pertes d'ancrage et d'alignement :
$L_{total} = L_{action} + \lambda_{anchor} L_{anchor} + \lambda_{align} L_{align}$

3. Contributions Clés

Identification de Doubles Modes d'Échec : L'article identifie que le BC standard provoque une dérive de représentation (oubli) et que le co-entraînement échoue à aligner le langage et l'action sur la même observation, menant à des prédictions contradictoires.
Framework Anchor-Align : Une nouvelle recette de finetuning qui combine l'Ancrage Vision-Langage (pour préserver les représentations préentraînées via la distillation) et l'Alignement Langage-Action (pour ancrer les prédictions de langage dans les cibles d'action sur la même observation).
Solution Efficace en Données : La méthode atteint des améliorations significatives sans nécessiter de nouveaux jeux de données, d'annotations humaines ou de modifications architecturales, en s'appuyant uniquement sur les données de démonstration existantes et le VLM gelé.
Outil de Diagnostic : Le framework d'alignement fournit une métrique directe pour diagnostiquer le désalignement langage-action dans les VLA co-entraînés, montant qu'un meilleur alignement corrèle avec un succès de tâche plus élevé.

4. Résultats Expérimentaux

4.1 Benchmarks de Simulation

La méthode a été évaluée sur les benchmarks LIBERO-PRO, LIBERO-Plus et CALVIN en utilisant deux architectures VLA distinctes (VLA-Adapter et StarVLA).

LIBERO-PRO (Généralisation OOD) : Anchor-Align surpasse significativement tous les baselines, y compris les modèles co-entraînés. Notamment, sur le test de « Permutation de Position » (où les emplacements des objets sont réorganisés), le BC standard et les baselines co-entraînés ont obtenu un score proche de 0 % (rejouant des trajectoires mémorisées), tandis qu'Anchor-Align a atteint 22,6 %.
LIBERO-Plus (Robustesse Perceptuelle) : Anchor-Align améliore les performances sur les sept axes de perturbation (vue de la caméra, éclairage, arrière-plan, etc.), avec les gains les plus importants sur la texture de l'arrière-plan (+8,9 %) et le bruit du capteur (+7,4 %).
CALVIN (Long Horizon) : Sur le benchmark ABC→D à long horizon, Anchor-Align atteint le taux de succès le plus élevé pour compléter des chaînes de cinq instructions (77,9 % contre 66,5 % pour OpenVLA-OFT), démontant que la préservation de la sémantique améliore la résistance aux erreurs cumulées.

4.2 Expériences en Réel

Les expériences ont été menées sur un robot physique xArm7 dans des conditions difficiles incluant des réarrangements spatiaux, des scènes encombrées et des perturbations sémantiques.

Généralisation : Anchor-Align a amélioré les taux de succès en conditions réelles de 28 % à 54 % (VLA-Adapter) et de 37 % à 60 % (StarVLA) face à des perturbations spatiales et sémantiques inédites.
Perturbation Sémantique : Dans un test critique où une politique entraînée pour une « tasse verte » recevait l'instruction de ramasser une « tasse rose », le BC standard échouait 90 % du temps (revenant par défaut à la tasse verte), tandis qu'Anchor-Align réussissait 100 % du temps à ramasser l'objet correct.
Analyse d'Erreur : L'analyse des modes d'échec montre qu'Anchor-Align a presque éliminé les « Erreurs Sémantiques » (de 7 à 0) et les approches d'« Objet Incorrect » (de 10 à 1) par rapport au BC standard.

4.3 Ablation et Analyse

Nécessité des Deux Termes : Les études d'ablation confirment que l'Ancrage et l'Alignement sont tous deux nécessaires ; utiliser l'un ou l'autre seul améliore les performances par rapport au BC standard, mais leur combinaison produit les meilleurs résultats.
Alignement vs Régularisation : Des expériences de contrôle avec des étiquettes corrompues (Shuffle et Scatter) ont montré que les gains ne sont pas simplement dus à des effets de régularisation, mais proviennent d'un véritable alignement langage-action.
Corrélation : Une forte corrélation de Pearson (+0,51) a été trouvée entre le degré d'alignement langage-action et le succès de la tâche, alors que les baselines co-entraînées présentaient une corrélation proche de zéro.
Préservation de la Représentation : Les tests de raisonnement visuel (GQA) ont montré que si le BC standard perd 94 % de sa précision de raisonnement pendant le finetuning, Anchor-Align en conserve 70 %.

5. Signification et Revendications

L'article affirme que la préservation des représentations préentraînées et l'apprentissage efficace de l'action ne sont pas fondamentalement opposés. En recadrant le finetuning de VLA comme un processus de préservation et d'alignement des priors du VLM plutôt que comme un échange de ces derniers contre le contrôle, Anchor-Align offre une recette simple et efficace en données pour adapter les modèles de fondation aux tâches incarnées.

Les auteurs soulignent que leur méthode :

Résout le problème de l'« oubli catastrophique » inhérent au BC standard.
Corrige le problème de « désalignement langage-action » inhérent au co-entraînement.
Démontre que ces améliorations s'appliquent à différentes architectures (régression et flow-matching) et échelles (0,5B à 3B de paramètres).
Offre une voie vers des modèles de monde qui conservent de larges priors spatio-temporels tout en restant contrôlables et sémantiquement ancrés.

Le travail suggère que le développement futur des VLA devrait se concentrer sur l'ancrage des représentations et l'alignement des modalités sur la même observation, plutôt que sur la simple augmentation de la taille des données ou des modèles.