💻 computer science

Primitive Subspaces Mediate Few-Shot Transfer in VLAs

Cet article démontre que l'entraînement de politiques Vision-Langage-Action (VLA) avec des épisodes segmentés par primitives crée une bibliothèque de sous-compétences transférables qui permet une adaptation aux tâches en quelques étapes (few-shot) nettement plus efficace en termes d'échantillonnage par rapport à un entraînement sur trajectoires plates, une relation de causalité confirmée par des études d'ablation de sous-espaces.

Auteurs originaux : Anya Singh, Cabrel Happi, Jai Relan, Varun Nair, Vidyut Baradwaj

Publié 2026-06-01

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Anya Singh, Cabrel Happi, Jai Relan, Varun Nair, Vidyut Baradwaj

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous enseigniez à un robot à fabriquer des meubles. Actuellement, la méthode standard consiste à embaucher un tuteur spécialisé pour chaque meuble. Si vous voulez qu'un robot fabrique une chaise, vous lui montrez 50 vidéos de fabrication de chaises, et il mémorise cette tâche spécifique. Si vous voulez ensuite qu'il fabrique une table, vous devez embaucher un nouveau tuteur, lui montrer 50 nouvelles vidéos et le réentraîner à partir de zéro. C'est lent, coûteux et cela oblige le robot à « oublier » comment fabriquer la chaise pour apprendre la table.

Ce document pose une question différente : Pouvons-nous enseigner au robot une « bibliothèque de mouvements de base » d'abord, afin que, plus tard, nous puissions simplement lui montrer quelques vidéos d'une nouvelle tâche, et qu'il puisse comprendre comment combiner ces mouvements de base par lui-même ?

Voici la décomposition de leur expérience et de leurs résultats en utilisant des analogies simples.

L'idée centrale : Entraînement « Plat » vs « Primitif »

Les chercheurs ont testé deux façons d'entraîner des robots en utilisant deux « cerveaux » de robot différents (des architectures appelées OpenVLA et $\pi_{0.5}$ ) :

L'approche « Plate » (Le Mémorisateur) :
- Analogie : Imaginez que vous enseigniez à un étudiant en lui montrant un film entier de quelqu'un assemblant une machine complexe. Vous dites : « Regarde tout ce film et apprends comment construire la machine. »
- Résultat : L'étudiant mémorise tout le film. Si vous lui montrez une nouvelle machine plus tard, il éprouve des difficultés car il ne connaît que la séquence spécifique du premier film, et non les parties individuelles.
L'approche « Primitive » (Le Bâtisseur de Legos) :
- Analogie : Imaginez que vous enseigniez la même chose à un étudiant, mais cette fois, vous décomposez le film en petits clips étiquetés. Vous mettez la vidéo en pause et dites : « Ce clip est "ramasser la vis". » Puis, « Ce clip est "visser la vis". » Vous lui donnez un vocabulaire de mouvements de base (primitives) comme « ramasser », « poser », « insérer » et « pivoter ».
- Résultat : L'étudiant apprend une bibliothèque de mouvements de base. Quand vous lui montrez une nouvelle machine plus tard, il n'a pas besoin de tout réapprendre. Il a juste besoin de voir quelques exemples de la nouvelle machine et peut dire : « Ah, je sais comment "ramasser" et "insérer" ; je peux combiner ces mouvements pour construire ceci. »

L'expérience : Le test du « Few-Shot » (Apprentissage par peu d'exemples)

Les chercheurs ont mis de côté 6 tâches spécifiques que les robots n'avaient jamais vues pendant l'entraînement. Au moment du test, ils ont donné aux robots un petit nombre de vidéos de démonstration (de 0 à 10 vidéos) de ces nouvelles tâches et leur ont demandé d'exécuter la tâche sans réentraînement supplémentaire.

Le but : Voir combien de vidéos (démonstrations) le robot a besoin pour réussir.
Le résultat :
- Les robots « Primitifs » étaient incroyablement efficaces. Avec seulement 3 vidéos, ils performaient presque aussi bien que s'ils avaient été entièrement réentraînés avec 50 vidéos.
- Les robots « Plats » étaient beaucoup plus lents. Ils avaient besoin de 10 vidéos pour atteindre le même niveau de performance que les robots Primitifs avec 3 vidéos.
- L'écart : L'approche Primitive était 3 fois plus efficace en termes d'échantillonnage. C'est comme si le robot Primitif avait appris une nouvelle langue en 3 jours, tandis que le robot Plat avait eu besoin de 10 jours pour apprendre la même chose.

Le « Pourquoi » : Prouver que ce n'est pas une coïncidence

Les chercheurs ne voulaient pas seulement savoir que cela fonctionnait ; ils voulaient savoir pourquoi. Ils soupçonnaient que le robot stockait ces « mouvements de base » dans une partie spécifique de son cerveau (un « sous-espace » de ses états cachés).

Pour prouver cela, ils ont effectué une simulation de « chirurgie cérébrale » :

Le test : Ils ont temporairement « éteint » la partie spécifique du cerveau du robot qui comprenait ces mouvements de base.
Le résultat : La capacité du robot à apprendre à partir des quelques vidéos a effondré (la performance a chuté de 32 %).
Le contrôle : Lorsqu'ils ont éteint une partie aléatoire et non liée du cerveau, la performance du robot est restée la même.
Conclusion : Cela a prouvé que la bibliothèque de « mouvements de base » n'était pas seulement un effet secondaire chanceux ; c'était le moteur essentiel permettant au robot d'apprendre de nouvelles tâches rapidement.

Le revers de la médaille : Quand cela ne fonctionne pas

Les chercheurs ont également découvert une limitation. L'approche « Primitive » ne fonctionne que si la nouvelle tâche est composée de mouvements de base connus.

Analogie : Si vous avez appris à un robot les mouvements « ramasser », « poser » et « visser », il peut construire une nouvelle chaise. Mais si vous lui montrez une tâche qui nécessite un mouvement totalement nouveau qu'il n'a jamais vu (comme « faire pivoter un fil spécial »), le robot est confus. Il essaie de forcer le nouveau mouvement dans l'une de ses anciennes catégories connues, ce qui le fait moins bien performer que le robot « Plat » qui essaie simplement de mémoriser toute la nouvelle tâche à partir de zéro.

Une correction sur la façon dont nous mesurons le succès

Le document a également souligné une erreur technique dans la façon dont nous mesurons actuellement si un robot réussit.

Le problème : Lorsque les robots produisent des actions par « blocs » (groupes d'étapes) plutôt qu'une étape à la fois, l'ancienne façon de vérifier s'ils étaient corrects était trop stricte. C'était comme noter un étudiant sur une dissertation de 16 questions en vérifiant si chaque mot était parfait, plutôt que de vérifier si la phrase avait du sens. Cela a fait échler des robots à des tests qu'ils avaient pourtant réussis.
La solution : Ils ont créé un nouveau système de notation plus équitable qui prend en compte ces « blocs », garantissant que nous ne pénalisons pas injustement les robots pour leur efficacité.

Résumé

Ce document montre que si vous enseignez aux robots un vocabulaire de mouvements de base (primitives) pendant l'entraînement, ils deviennent bien meilleurs pour apprendre de nouvelles tâches complexes avec très peu d'exemples. Ils peuvent mélanger et assortir ces mouvements de base comme des briques Lego. Cependant, cela ne fonctionne que si la nouvelle tâche est construite à partir de briques que le robot connaît déjà. Cette méthode pourrait faire gagner du temps et de l'argent dans les usines, car les robots n'auraient pas besoin d'être réentraînés à partir de zéro pour chaque nouvelle variation de produit.

Résumé technique : Les sous-espaces de primitives assurent la médiation du transfert few-shot dans les VLA

Énoncé du problème

Le déploiement de politiques de Vision-Langage-Action (VLA) dans des environaux industriels est actuellement entravé par des coûts de réentraînement élevés. La recette de déploiement standard consiste à collecter des démonstrations spécifiques à la tâche et à affiner le VLA pour chaque nouvelle tâche ou variante de produit. Cette approche évolue linéairement avec le coût de collecte et nécessite une infrastructure importante, ce qui la rend impraticable dans des contextes de changements de processus continus. L'article examine si les VLA peuvent acquérir de nouvelles tâches au moment du test, conditionnées par un petit nombre de démonstrations, sans aucune mise à jour des poids. Plus précisément, les auteurs émettent l'hypothèse que la structure des données d'entraînement est cruciale : ils conjecturent que les VLA entraînés avec une supervision explicite au niveau des primitives apprennent des représentations plus compositionnelles que ceux entraînés sur des trajectoires de tâches plates, permettant ainsi un meilleur transfert few-shot.

Méthodologie

Conception expérimentale

Les auteurs ont mené une expérience contrôlée utilisant un plan $2 \times 2$ croisé avec deux architectures VLA distinctes :

OpenVLA : Un modèle autorégressif de 7 milliards de paramètres basé sur Llama-2.
$\pi_0.5$ : Une politique de way-matching (flow-matching) avec des blocs d'actions (action chunks) de 16 étapes basée sur PaliGemma.

Les deux architectures ont été affinées à l'aide de recettes LoRA assorties (rang 3in 32, $\alpha=64$ , taux d'apprentissage de $5 \times 10^{-5}$ ) et avec des hyperparamètres verrouillés sur trois graines (seeds) d'entraînement. La seule variable était la vue des données d'entraînement :

Entraînement plat (Flat Training) : Les épisodes sont des paires de tâches contiguës (ex: « ramasser et insérer ») avec des invites linguistiques de haut niveau.
Entraînement par primitives (Primitive Training) : Les épisodes sont segmentés en actions primitives uniques (ex: « ramasser » ou « insérer ») avec des invites linguistiques spécifiques à la primitive.

Jeux de données et évaluation

Jeu de données principal : REASSEMBLE, un jeu de données d'assemblage industriel riche en contacts basé sur le benchmark NIST Assembly Task Board 1.
Jeu de données de réplication : LIBERO-Long, un benchmark de manipulation domestique avec des structures de tâches multi-étapes.
Tâches exclues (Held-Out Tasks) : Six combinaisons spécifiques (objet, séquence de tâches) ont été entièrement exclues de l'entraînement. Ces tâches variaient par objet (objets avec des primitives vues à l'entraînement mais dans de nouvelles combinaisons), par séquence de tâches (primitives dans de nouveaux ordonnancements) et par distance compositionnelle. Une catégorie hors vocabulaire (nécessitant un type de primitive absent de l'entraînement) a également été testée.
Protocole Few-Shot : Au moment du test, les modèles recevaient une description de tâche de haut niveau et $m \in \{0, 1, 3, 5, 10\}$ épisodes de démonstration. Les démonstrations étaient encodées via des caractéristiques d'encodeur de vision et prépendées à l'invite linguistique. Les modèles exécutaient les actions sans mise à jour des poids.

Intervention causale

Pour établir la causalité, les auteurs ont employé une intervention d'ablation de sous-espace :

Sondage linéaire (Linear Probing) : Ils ont entraîné des sondes linéaires sur les états cachés pour identifier les directions encodant l'identité de la primitive.
Ablation : Au moment de l'inférence, ils ont projeté les états cachés sur le complément orthogonal du sous-espace identifié comme décodable par la primitive (couche 24), éliminant ainsi l'information de la primitive.
Contrôle : Un sous-espace aléatoire de dimension égale a été ablaté pour s'assurer que l'effet était spécifique aux représentations de primitives.

Correction méthodologique

Les auteurs ont identifié un artefact d'« inflation par famille » lors de l'évaluation des politiques par blocs (chunked policies). L'application de portes de plage d'action par étape simple élément par élément sur des blocs de 16 étapes produisait des taux d'échec faux de 40 à 42 % par rapport aux démonstrations humaines de référence. Ils ont proposé et implémenté une porte corrigée au niveau élémentaire, calibrée par rapport aux distributions de blocs de référence, pour garantir une évaluation équitable.

Résultats clés

Efficacité du transfert Few-Shot

Les modèles entraînés par primitives ont démontré un avantage significatif d'efficacité d'échantillonnage par rapport aux modèles entraînés de manière plate :

Écart de performance : À $m=3$ démonstrations, les modèles entraînés par primitives ont atteint des taux de succès de 0,62–0,66, tandis que les modèles entraînés de manière plate n'ont atteint que 0,31–0,34 (un avantage d'environ $\times 2$ ).
Saturation : Les modèles entraînés par primitives ont saturé à $m=5$ , atteignant 78 % de la limite supérieure du fine-tuning complet. Les modèles entraînés de manière plate nécessitaient $m=10$ pour atteindre le même niveau de performance, indiquant un écart d'efficacité d'échantillonnage de $\times 3$ .
Robustesse : Cet avantage s'est reproduit sur les deux architectures (OpenVLA et $\pi_0.5$ ), sur trois graines d'entraînement et sur la réplication de jeu de données sur LIBERO-Long.

Preuve causale

L'intervention d'ablation de sous-espace a confirmé la nécessité des représentations de primitives :

L'ablation du sous-espace décodable par la primitive a provoqué une chute de 32 points de pourcentage du succès en few-shot (ex: de 0,62 à 0,30 pour OpenVLA).
L'ablation d'un sous-espace aléatoire de dimension égale a eu un effet négligeable (dans la marge d'erreur de l'échantillonnage), confirmant que la représentation décodable par la primitive est causalement nécessaire pour le transfert, et non simplement corrélée.

Comparaisons avec les bases de référence (Baselines)

Le transfert few-shot conscient des primitives a nettement surperformé plusieurs bases de référence à $m=3$ :

Séquençage de primitives zero-shot : +35 points de pourcentage.
Base conditionnée par démonstration de type Octo : +21 à 22 points de pourcentage.
Diffusion Policy : Surpassée par une marge significative.

Limites et modes d'échec

L'article note que l'entraînement conscient des primitives n'améliore pas universellement les performances. Sur des tâches nécessitant des primitives hors vocabulaire (ex: une action de « rotation pour engagement » absente du vocabulaire d'entraînement), les modèles entraînés par primitives ont sous-performé par rapport aux modèles entraînés de manière plate. Les auteurs émettent l'hypothèse que les modèles entraînés par primitives tentent de mapper les nouvelles démonstrations vers la primitive connue la plus proche, alors que les modèles entraînés de manière plate peuvent apprendre le nouveau comportement de manière plus flexible.

Signification et affirmations

L'article affirme fournir la première comparaison contrôlée démontrant que l'entraînement conscient des primitives produit un artefact transférable : une bibliothèque de sous-compétences qui peuvent être composées au moment de l'inférence.

Mécanisme : Les auteurs établissent que la supervision explicite des primitives pendant l'entraînement désentrelace les représentations de sous-compétences des contextes de tâches, créant un « sous-espace décodable par la primitive » dans les états cachés qui est causalement nécessaire pour le transfert few-shot.
Impact pratique : Pour le déploiement industriel, les résultats suggèrent que l'entraînement avec segmentation par primitives permet à un VLA de récupérer $\sim 90 \%$ de la performance du fine-tuning complet avec seulement 5 démonstrations, réduisant drastiquement le coût et le temps d'arrêt associés au réentraînement pour de nouvelles variantes de tâches.
Portée : Les conclusions sont modestes concernant la généralisation ; l'avantage se maintient pour les tâches recombinant des types de primitives connus, mais s'inverse lorsque les tâches requièrent des primitives fondamentalement nouvelles absentes du vocabulaire d'entraînement. Les résultats sont actuellement limités à la simulation (REASSEBLE et LIBERO-Long) et à deux architectures spécifiques.