🤖 machine learning

InSight: Self-Guided Skill Acquisition via Steerable VLAs

InSight est un cadre qui permet aux modèles Vision-Langage-Action (VLA) d'acquérir de nouvelles compétences de manipulation de manière autonome en décomposant les démonstrations en actions primitives pilotables et en utilisant un volant d'inertie de données guidé par un VLM pour générer, étiqueter et intégrer des primitives manquantes pour de nouvelles tâches à long horizon sans intervention humaine supplémentaire.

Auteurs originaux : Maggie Wang, Lars Osterberg, Stephen Tian, Ola Shorinwa, Jiajun Wu, Mac Schwager

Publié 2026-06-24

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Maggie Wang, Lars Osterberg, Stephen Tian, Ola Shorinwa, Jiajun Wu, Mac Schwager

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous enseigniez à un robot comment cuisiner. Traditionnellement, si vous voulez qu'il apprenne un nouveau plat, comme « faire un sandwich », vous devez rester là, lui tenir la main et le guider à travers chaque étape : prendre le pain, étaler le beurre, ajouter le fromage, et ainsi de suite. C'est lent, coûteux, et si vous voulez qu'il apprenne plus tard à « faire une soupe », vous devez recommencer tout le processus à zéro.

Le papier INSIGHT propose une manière plus intelligente d'enseigner aux robots, une méthode qui fonctionne davantage comme l'apprentissage humain des nouvelles compétences. Au lieu de mémoriser des recettes entières, le robot apprend des mouvements individuels (comme « prendre », « lever », « tourner » ou « verser ») puis il trouve par lui-même comment les combiner.

Voici comment le système fonctionne, décomposé en étapes simples :

1. L'approche des « briques Lego »

Considérez les compétences d'un robot non pas comme un bloc géant et incassable, mais comme une boîte de briques Lego.

Le Problème : La plupart des robots actuels sont entraînés sur des tâches entières. Si vous leur montrez comment « prendre une tasse », ils apprennent cette séquence spécifique. Si vous leur demandez de « verser de l'eau », ils peuvent échouer car ils n'ont jamais vu la brique « verser » auparavant.
La Solution INSIGHT : Le système prend des démonstrations humaines (comme une vidéo de quelqu'un prenant une tasse) et les découpe automatiquement en petites « briques » étiquetées appelées primitives.
- Exemple : Au lieu de voir « prendre une tasse », le robot voit : « Déplacer la main vers la tasse » + « Fermer les doigts » + « Lever ».
- Le robot apprend ces mouvements individuels si bien qu'il peut être « piloté » pour en effectuer un seul sur commande.

2. L'assistant intelligent (Le VLM)

Le robot possède un « Assistant Intelligent » intégré (un modèle de langage visuel, ou VLM) qui agit comme un chef de projet.

Le Scénario : Imaginez que le robot sache comment « prendre une bouteille » et « la poser », mais que vous lui demandiez de « verser la bouteille dans un bol ».
La Lacune : L'Assistant Intelligent examine le plan et dit : « Hé, nous avons la brique 'prendre' et la brique 'poser', mais il nous manque la brique 'incliner et verser' ! »
La Correction : Au lieu de demander à un humain de lui montrer comment verser, l'Assistant Intelligent déduit la physique du mouvement (par exemple : « Incliner la bouteille vers l'avant de 45 degrés ») et dit au robot d'essayer de le faire.

3. La boucle d'entraînement

C'est ici que la magie opère. Le robot tente d'exécuter ce mouvement manquant par lui-même.

Essai et Erreur : Le robot tente le mouvement d'« inclinaison ». S'il renverse partout, il réessaie avec un angle légèrement différent.
Le contrôle de l'« Oracle » : Après que le robot a essayé, l'Assistant Intelligent examine le résultat (comme un professeur corrigeant une copie). « Est-ce que l'eau est allée dans le bol ? Oui ? Très bien ! Non ? Réessaie. »
Apprentissage : Une fois que le robot a réussi à verser l'eau, le système enregistre ce mouvement de « verser » spécifique comme une nouvelle brique Lego dans sa bibliothèque. Il se réentraîne ensuite pour mémoriser cette nouvelle brique pour toujours.

4. Construire de nouvelles compétences à partir de zéro

Une fois que le robot a appris la brique « verser », il n'a plus besoin qu'un humain lui enseigne à nouveau.

Le Résultat : Si vous demandez plus tard au robot de « dévisser un bouchon puis de verser », il peut maintenant combiner la brique « dévisser » (qu'il a peut-être apprise plus tôt) avec la nouvelle brique « verser ».
L'Analogie : C'est comme un musicien qui a appris à jouer un accord de Do majeur et un accord de Fa majeur. S'il veut jouer une nouvelle chanson, il n'a pas besoin qu'un professeur lui montre toute la chanson ; il lui suffit de combiner les accords qu'il connaît déjà.

Qu'ont-ils réellement prouvé ?

Les chercheurs ont testé cela à la fois dans des simulations informatiques et sur de vrais robots (en utilisant un bras robotique). Ils ont démontré que :

Aucune nouvelle aide humaine n'est nécessaire : Ils ont appris au robot à effectuer des tâches complexes comme retourner un bloc, fermer un tiroir, dévisser un bouchon de bouteille et verser des haricots sans jamais lui montrer de vidéo de quelqu'un effectuant ces actions spécifiques.
Cela fonctionne rapidement : Le robot a appris ces nouvelles compétences beaucoup plus vite que les méthodes traditionnelles (comme l'Apprentissage par Renforcement, qui consiste pour un robot à essayer d'apprendre par tâtonnement aveugle des milliers de fois).
Il ne perd pas ses acquis : Lorsque le robot a appris la nouvelle compétence de « verser », il n'a pas oublié comment « prendre » la bouteille. Il a conservé toutes ses anciennes compétences tout en ajoutant les nouvelles.
Succès dans le monde réel : Sur un vrai robot, il a atteint des taux de réussite élevés (jusqu'à 96 % pour le versement) et a même pu combiner des compétences pour réaliser une tâche longue de 14 étapes (dévisser un bouchon, puis verser) qu'il n'avait jamais vue auparavant.

L'essentiel

INSIGHT est un cadre qui permet aux robots de décomposer des tâches complexes en petits mouvements réutilisables. Lorsqu'ils rencontrent un nouveau travail, ils utilisent un « Assistant Intelligent » pour déterminer quels mouvements leur manquent, s'entraînent sur ces mouvements par eux-mêmes, et les sauvegardent pour plus tard. Cela permet aux robots d'apprendre de nouvelles compétences de manière continue, sans avoir besoin qu'un humain leur tienne la main à chaque fois.

Résumé Technique : INSIGHT – Acquisition de Compétences Auto-Guidée via des VLA Pilotables

Énoncé du Problème

Les modèles Vision-Language-Action (VLA) ont fait progresser la manipulation robotique polyvalente, mais ils restent fondamentalement limités par les compétences présentes dans leurs données d'entraînement. L'acquisition de nouvelles compétences de manipulation nécessite généralement des démonstrations humaines coûteuses et un ajustement fin (fine-tuning) pour chaque nouvelle tâche. Bien que l'apprentissage par renforcement (RL) offre une alternative, il exige souvent une complexité d'échantillonnage prohibitive et des contraintes de sécurité dans le monde réel. De plus, les méthodes existantes qui utilisent des modèles Vision-Language (VLM) ou des modèles de langage (LLM) comme planificateurs ou agents de codage opèrent généralement au moment du test ; elles composent des compétences prédéfinies ou génèrent des trajectoires sans mettre à jour la politique apprise sous-jacente. Par conséquent, les robots ne peuvent pas étendre de manière autonome leur ensemble de capacités pour gérer des scénarios inédits (par exemple, un rover sur Mars devant balayer des débris alors qu'il a été entraîné uniquement pour ramasser des roches) sans intervention humaine.

Méthodologie : Cadre INSIGHT

INSIGHT répond à ces limitations en rendant les VLA « pilotables » (steerable) au niveau de l'action primitive, permettant une acquisition autonome de compétences via un pipeline à deux étapes.

Étape 1 : Segmentation Automatique des Primitives et Entraînement de VLA Pilotable

La première étape transforme les démonstrations standard par téléopération en une politique VLA pilotable sans annotation manuelle.

Définition de la Primitive : Une primitive est définie comme un segment d'action réutilisable caractérisé par un mode de mouvement dominant unique (par exemple, translation le long d'un axe, rotation, ou transition d'état du préhenseur) et une étiquette en langage naturel (par exemple, « lever vers le haut », « fermer le préhenseur »).
Segmentation Automatisée : Un VLM reçoit une description de tâche et des exemples de primitives pour générer une séquence ordonnée de primitives attendues. Ces plans générés par le VLM sont alignés avec les données de démonstration humaine en utilisant les transitions d'état du préhenseur (ouvert/fermé), les magnitudes de mouvement de l'effecteur terminal et des étiquettes d'axes dominants.
Ajustement Fin (Fine-Tuning) : Les trajectoires segmentées et étiquetées sont utilisées pour ajuster un VLA pré-entraîné (en utilisant LoRA). Chaque segment de primitive devient un épisode d'entraînement distinct conditionné par son étiquette linguistique. Un canal de progression appris est ajouté à l'espace d'action pour fournir des signaux de terminaison pour les primitives individuelles.
Résultat : Le résultat est un VLA qui peut être piloté via le langage pour exécuter des primitives spécifiques, plutôt que de simples instructions de tâches complètes.

Étape 2 : Boucle d'Acquisition de Compétences Guidée par VLM

Étant donné un VLA pilotable avec un vocabulaire de primitives connu ( $V$ ), INSIGHT acquiert de manière autonome les compétences manquantes pour des tâches inédites.

Identification du Fossé de Primitives : Pour une tâche nouvelle, un planificateur VLM décompose la tâche en une séquence de primitives. Toute primitive $p_i$ dans le plan qui n'est pas dans le vocabulaire actuel $V$ est signalée comme un « fossé de primitive » (primitive gap).
Paramétrage et Exécution : Pour chaque fossé, le VLM propose des paramètres de contrôle de bas niveau, spécifiquement un axe de mouvement (translation $\{dx, dy, dz\}$ ou rotation $\{dr_x, dr_y, dr_z\}$ ) et une magnitude signée. Le robot exécute le plan : les primitives connues sont gérées par le VLA pilotable, tandis que les fossés sont exécutés par un contrôleur de bas niveau utilisant les paramètres proposés par le VLM.
Évaluation du Succès et Intégration : Un oracle VLM analyse la scène avant et après le déroulement (rollout) pour vérifier le succès de la tâche. Les déroulements réussis de la nouvelle primitive sont automatiquement étiquetés, stockés et ajoutés au jeu de données d'entraînement.
Réentraînement : Le VLA est réentraîné sur le jeu de données combiné des primitives originales et nouvellement acquises. Cela étend le vocabulaire $V$ , permettant au robot d'exécuter la tâche complète composée de manière autonome lors des itérations futures.

Contributions Clés

Pipeline de Segmentation Automatique des Primitives : Une méthode pour décomposer les démonstrations par téléopération en primitives étiquetées en utilisant la décomposition de plan par VLM et des indices cinématiques, éliminant ainsi le besoin d'annotation manuelle et permettant une pilotabilité au niveau de la primitive.
Volant d'Inertie de Données Guidé par VLM : Un système en boucle fermée où le VLM identifie les primitives manquantes pour de nouvelles tâches, génère de manière autonome des démonstrations réussies via un contrôle de bas niveau, et réentraîne le VLA pour intégrer ces nouvelles capacités sans nouvelles démonstrations humaines.
Acquisition de Compétences Compositionnelle : Une démonstration que les primitives acquises peuvent être composées pour résoudre des tâches complexes à long horizon, permettant efficacement un apprentissage continu et vital (lifelong learning).

Résultats Expérimentaux

Le cadre a été évalué sur cinq tâches en simulation (environnement LIBERO avec un Franka Panda) et sur du matériel réel (UFactory xArm).

Simulation (Retournement de Bloc) : En partant uniquement de démonstrations de prise et de pose (pick-and-place), INSIGHT a acquis une primitive de « rotation de bloc ». Il a atteint un succès de 75 % sur la tâche de retournement de bloc après 246 déroulements de primitives acquis. En revanche, une ligne de base SAC (Soft Actor-Critic) avec le même budget de calcul a atteint 0 % de succès sur le retournement.
Simulation (Fermeture de Tiroir) : Entraîné uniquement sur des démos d'ouverture de tiroir, INSIGHT a acquis une primitive de « pousser le tiroir pour le fermer » à partir d'un état initial hors distribution (OOD) (tiroir déjà ouvert). Il a atteint 100 % de succès pour fermer le tiroir tout en conservant la capacité de l'ouvrir.
Monde Réel (Tourner et Verser) :
- Tourner : INSIGHT a atteint 92 % de succès de bout en bout pour ouvrir un bouchon de bouteille, contre 32 % pour une ligne de base CaP-X (Code-as-Policies) et 0 % pour un VLA standard ajusté ( $\pi0.5$ ).
- Verser : INSIGHT a atteint 96 % de succès pour verser des haricots, contre 16 % pour CaP-X.
- Composition : Pour une tâche complexe de 14 primitives « tourner puis verser », INSIGHT a atteint 80 % de succès de bout en bout, surpassant nettement CaP-X (4 %).
- Efficacité : INSIGHT a nécessité nettement moins de temps de calcul réel par essai que CaP-X (par exemple, 13,6s contre 41,5s pour le tournage) car il exécute des primitives apprises plutôt que de raisonner sur chaque étape au moment du test.
Monde Réel (Balayage) : À partir de seules démonstrations de ramassage (scooping), INSIGHT a acquis une primitive de poussée latérale pour balayer des débris, réussissant 5/5 essais d'évaluation.
Rétention de Compétence : Dans toutes les expériences, le VLA unifié a conservé 100 % de performance sur ses compétences de base originales après l'acquisition de nouvelles primitives.

Signification et Revendications

L'article affirme que la pilotabilité des primitives fournit une base pratique pour l'acquisition continue de compétences dans les politiques VLA. En décomposant les compétences en primitives composables et pilotables, INSIGHT permet aux robots de :

Identifier exactement les capacités qui leur font défaut pour une nouvelle tâche.
Acquérir de manière autonome ces compétences manquantes spécifiques par la pratique.
Intégrer de nouvelles compétences dans une politique unifiée sans oubli catastrophique des compétences antérieures.

Les auteurs positionnent cela comme un changement de paradigme : ne plus traiter les VLM simplement comme des planificateurs au moment du test, mais comme des agents actifs dans une boucle d'acquisition de données qui étend de façon persistante l'ensemble des compétences du robot. Cette approche offre une voie vers des robots capables de s'adapter à de nouveaux environnements (comme l'exemple du rover sur Mars) sans le coût prohibitif de la collecte de nouvelles démonstrations humaines pour chaque nouveau comportement.

Limites notées par les auteurs :

L'acquisition de primitives est actuellement restreinte aux mouvements sur un seul axe.
Le système filtre les déroulements réussis ; l'intégration de l'analyse des échecs pourrait améliorer l'efficacité de l'échantillonnage.
L'intervention humaine est toujours requise pour la réinitialisation de l'environnement entre les déroulements.
La méthode n'a pas encore été testée sur des embodiments à haut degré de liberté (DOF) comme les humanoïdes ou les manipulateurs mobiles.