SkillMemo: Expert-guided Skill Memory Framework for Compositional Embodied Manipulation

Imaginez que vous enseigniez à un robot comment cuisiner un repas complexe. Vous ne lui dites pas simplement de « faire le dîner » ; vous lui montrez une vidéo de tout le processus : hacher, frire, dresser l'assiette et servir. Dans le monde de la robotique, cela s'appelle la « manipulation incarnée », où une machine apprend à déplacer son corps dans le monde réel en fonction de ce qu'elle voit. Pendant longtemps, les scientifiques ont essayé d'enseigner aux robots en leur fournissant de vastes quantités de ces démonstrations vidéo. Les méthodes les plus populaires, souvent appelées « Politiques de Diffusion » ou modèles « Vision-Langage-Action », fonctionnent comme un étudiant super intelligent qui mémorise toute la vidéo. Ils sont excellents pour copier exactement ce qu'ils ont vu auparavant. Cependant, ils se heurtent à un mur face à une situation nouvelle. Si vous demandez à un robot entraîné à « mettre une pomme dans un bol » de « mettre un citron dans une marmite », il se fige souvent. C'est comme un étudiant qui aurait mémorisé le corrigé d'un examen spécifique mais qui échouerait dès que les questions sont réorganisées. Le problème est que ces robots essaient de mémoriser le film entier d'un coup, plutôt que de comprendre les scènes individuelles ou les « compétences » qui composent l'histoire.

C'est ici qu'une nouvelle idée appelée SkillMemo entre en scène. Au lieu d'essayer de mémoriser la vidéo entière comme un seul bloc géant et incassable, SkillMemo apprend au robot à décomposer la vidéo en petites « compétences atomiques » réutilisables — comme « saisir », « lever » ou « poser ». Il les stocke ensuite dans une bibliothèque spéciale et dynamique (une banque de mémoire) que le robot peut parcourir pendant son travail. Pensez à un chef qui ne se contente pas de mémoriser une recette de « sauté » mais qui possède plutôt un index mental de la façon de hacher, de façon de faire sauter et de façon d'assaisonner. Quand le chef doit préparer un nouveau plat, il ne repart pas de zéro ; il tire la bonne compétence de « hachage » et la bonne compétence de « sautage » de sa mémoire et les combine instantanément. Cette publication propose qu'en dotant les robots de ce type de « mémoire de compétences », ils peuvent devenir bien meilleurs pour gérer de nouvelles combinaisons de tâches inédites, ce qui les rend plus flexibles et plus proches des mouvements humains.

Le Problème : Des robots qui ne savent pas « mélanger et assortir »

Les cerveaux de robots actuels sont impressionnants, mais ils ont une faiblesse spécifique. Ils sont entraînés sur de grands ensembles de données de démonstrations humaines, apprenant à prédire le mouvement suivant en fonction de l'image actuelle. Cependant, ces modèles traitent souvent une tâche comme un bloc de données monolithique et unique. Si un robot apprend à « prendre une tasse et verser de l'eau », il apprend cette séquence spécifique. Si vous lui demandez ensuite de « prendre une tasse et verser du jus », ou de « prendre un bol et verser de l'eau », il peut éprouver des difficultés car il n'a pas vu cette combinaison exacte auparavant. Il manque de la capacité de décomposer l'action en parties plus petites et réutilisables. C'est comme un musicien qui peut jouer une chanson spécifique parfaitement, mais qui ne peut pas improviser une nouvelle mélodie en utilisant les mêmes notes.

Les auteurs soutiennent que la solution n'est pas seulement de nourrir le robot avec plus de données (ce qui est coûteux et difficile à obtenir), mais de changer la façon dont le robot apprend et se souvient. Ils suggèrent que les robots doivent apprendre à identifier et à stocker les « compétences » séparément, afin de pouvoir les mélanger et les assortir plus tard.

La Solution : Un robot doté d'une « bibliothèque de compétences »

Le papier présente SkillMemo, un cadre qui agit comme un bibliothécaire intelligent pour les compétences du robot. Il fonctionne en deux étapes principales :

1. Découper le film en scènes (Segmentation de trajectoire guidée par l'expert)
D'abord, le système doit déterminer où une compétence se termine et où une autre commence. Au lieu de demander à un humain de étiqueter chaque mouvement (ce qui est fastidieux), SkillMemo utilise une astuce ingénieuse appelée Mélange d'Experts (MoE - Mixture-of-Experts). Imaginez une équipe de travailleurs spécialisés (les « experts ») à l'intérieur du cerveau du robot. Pendant que le robot regarde une démonstration, différents travailleurs se relaient pour être « de service ». Un travailleur pourrait être excellent pour « saisir », un autre pour « déplacer », et un autre pour « poser ». Le système apprend à passer d'un travailleur à l'autre automatiquement. Lorsque le travailleur de la « saisie » est actif, le robot sait qu'il est dans la phase de « saisie » de la tâche. Cela se produit sans aucun label humain ; le robot identifie les limites des compétences par lui-même en remarquant des motifs dans le mouvement.

2. Stocker et récupérer les compétences (Mémoire au niveau de la compétence)
Une fois que le robot a décomposé la tâche en ces petites compétences distinctes, il les stocke dans une banque de mémoire épisodique dynamique. Il ne s'agit pas d'un simple fichier vidéo ; c'est une bibliothèque compacte d'instructions de type « mode d'emploi ».

• La Clé : Le système enregistre un résumé de l'apparence de la situation lorsque la compétence a été utilisée (par exemple, « un bol était à proximité »).
• La Valeur : Il enregistre les instructions spécifiques sur la façon d'exécuter cette compétence (les « coefficients de porte » qui disent au cerveau du robot quels travailleurs activer).

Lorsque le robot est confronté à une nouvelle tâche, il ne devine pas. Il examine sa situation actuelle, cherche dans sa bibliothèque de mémoire les compétences les plus pertinentes et les extrait. Il combine ensuite ces compétences récupérées avec son plan actuel. S'il doit « mettre un citron dans une marmite », il peut récupérer la compétence « saisir le citron » d'une mémoire et la compétence « verser dans la marmite » d'une autre, en les fusionnant pour créer une nouvelle action réussie.

Ce que les expériences ont montré

Les chercheurs ont testé cette idée de deux manières : dans des simulations informatiques et sur un vrai bras robotique (un UR5e) en laboratoire.

En Simulation :
Ils ont testé SkillMemo sur des défis robotiques standards, incluant le benchmark LIBERO (qui teste la capacité de généralisation à de nouvelles tâches) ainsi que d'autres environnements comme Push-T et Franka Kitchen.

• Les Résultats : Lorsqu'ils ont ajouté SkillMemo à des modèles de robots existants (comme la Politique de Diffusion et les grands modèles Vision-Langage-Action), les robots se sont nettement améliorés.
• Les Chiffres : Sur le benchmark LIBERO, le modèle standard π0.5 a atteint un taux de réussite de 96,8 %. Avec SkillMemo, ce chiffre grimpe à 98,0 %. Bien que cela puisse paraître être un petit nombre, en robotique, une amélioration de 1,2 % est une affaire énorme.
• Généralisation : La découverte la plus passionnante fut la manière dont les robots ont géré des tâches qu'ils n'avaient jamais vues auparavant. Par exemple, si un robot a été entraîné sur « mettre une fraise dans un bol » et « mettre un citron sur une assiette », il a pu réussir à « mettre une fraise sur une assiette » sans avoir été entraîné sur cette combinaison spécifique. La banque de mémoire lui a permis de réutiliser la compétence « fraise » et la compétence « assiette » d'une manière nouvelle.

Dans le Monde Réel :
L'équipe a également testé le système sur un vrai bras robotique avec cinq tâches différentes, telles que mettre une fraise dans un bol ou du beurre dans une marmite.

• Les Résultats : SkillMemo a systématiquement battu la Politique de Diffusion standard. Pour la tâche « Beurre dans la Marmite », le taux de réussite est passé de 62,5 % à 75,0 %.
• Combinaisons Inconnues : Lorsqu'ils ont testé le robot sur de nouvelles combinaisons (comme mettre un citron dans une marmite, ce qu'il n'avait pas vu pendant l'entraînement), SkillMemo a amélioré le taux de réussite de 57,5 % à 72,5 %. Cela a prouvé que le robot ne faisait pas que mémoriser ; il était véritablement en train de recombiner des compétences.

Ce que l'article écarte et confirme

Les auteurs prennent soin de préciser ce que leur méthode n'est pas. Ils soutiennent l'idée que le simple fait de rendre le cerveau du robot plus gros ou de l'entraîner sur plus de données brutes n'est pas la seule solution. Ils montrent que sans une façon structurée de se souvenir et de réutiliser les compétences, même les modèles puissants peinent face à de nouvelles combinaisons.

Ils confirment également que leur méthode fonctionne sans nécessiter que des humains étiquettent manuellement chaque « compétence » dans les vidéos d'entraînement. Le robot apprend à identifier ces limites par lui-même. Cependant, l'article précise clairement que ces résultats sont basés sur des simulations spécifiques et un ensemble limité de tâches réelles. Bien que les résultats soient solides, ils ne constituent pas un remède miracle pour tous les problèmes de robotique existants. Le succès est mesuré dans des benchmarks spécifiques, et les tests du « monde réel » ont été menés dans un environnement de laboratoire contrôlé.

Pourquoi cela importe

L'idée centrale de SkillMemo est que les robots doivent être plus comme nous : capables de décomposer des actions complexes en parties plus petites et réutilisables, et de se souvenir de la façon de les réaliser. En dotant les robots d'une « bibliothèque de compétences » qu'ils peuvent parcourir et mélanger, nous pouvons les aider à gérer la nature désordonnée et imprévisible du monde réel. Au lieu d'être des imitateurs rigides qui échouent dès que le scénario change, ces robots peuvent devenir des résolveurs de problèmes flexibles, prenant ce qu'ils savent et l'appliquant à des situations qu'ils n'ont jamais rencontrées. L'article suggère que cette approche est une étape prometteuse vers la création de robots capables de s'adapter réellement à notre monde, plutôt que de simplement répéter ce qu'on leur a dit.