From Local Corrections to Generalized Skills: Improving Neuro-Symbolic Policies with MEMO

Le papier présente MEMO, une approche qui améliore les politiques neuro-symboliques en transformant les corrections humaines locales en compétences généralisées via un livre de compétences enrichi par récupération, permettant ainsi au robot de s'adapter à de nouvelles tâches.

L'essentiel

🤖 MEMO : Le Robot qui Apprend de ses Erreurs (et de celles des autres)

Imaginez un robot très intelligent, capable de comprendre des phrases complexes comme « Fais-toi du pain grillé ». Ce robot utilise une technologie appelée neuro-symbolique. C'est un peu comme avoir un cerveau en deux parties :

1. Le Cerveau (Neural) : Il comprend le langage et l'image. Il sait que « pain grillé » implique d'ouvrir un grille-pain.
2. Les Mains (Symbolique) : Ce sont des mouvements pré-enregistrés, comme des « recettes » de gestes (ex: « attraper », « ouvrir »).

Le Problème :
Le robot a un gros défaut : il ne peut faire que ce qu'il connaît déjà. Si vous lui demandez d'ouvrir un grille-pain, mais qu'il n'a jamais appris le mouvement spécifique pour ce grille-pain-là, il va échouer. Il est bloqué par sa « boîte à outils » limitée.

Si un humain lui dit : « Non, tourne plus ! », le robot peut corriger ce mouvement précis. Mais demain, s'il doit ouvrir une porte ou un placard, il aura oublié cette leçon. Il apprend mal, comme un élève qui apprendrait une leçon par cœur sans jamais comprendre la règle générale.

---

💡 La Solution : MEMO (La Mémoire Améliorée)

Les chercheurs ont créé MEMO (Memory Enhanced Manipulation). Voici comment ça marche, avec une analogie simple :

1. Le Carnet de Recettes (Le « Skillbook »)

Imaginez que le robot a un carnet de recettes numérique.

• Quand le robot fait une erreur, l'humain lui donne un conseil : « Attention, ne tape pas sur la table, passe au-dessus ! ».
• MEMO ne se contente pas d'écrire cette phrase exacte. Il la reformule pour en faire une règle générale : « Garde toujours une hauteur de sécurité au-dessus des surfaces ».
• Il enregistre aussi le code (le mouvement) qui a fonctionné après la correction.

2. Le Tri Intelligent (Le « Clustering »)

C'est ici que la magie opère. Si 50 personnes différentes donnent 50 conseils différents pour ouvrir 50 portes différentes, le carnet de recettes deviendrait énorme et confus.

• MEMO agit comme un chef cuisinier très organisé. Il prend ces 50 recettes, les compare, et dit : « Attendez, tout le monde dit la même chose : il faut tourner la poignée vers le haut. »
• Il fusionne ces 50 conseils en une seule règle universelle : « Pour ouvrir une porte, tournez la poignée vers le haut ».
• Il efface les erreurs et les redondances. Le robot ne retient plus 50 façons d'ouvrir une porte, mais la façon de l'ouvrir, peu importe la porte.

3. L'Application en Temps Réel

Quand le robot doit accomplir une nouvelle tâche (par exemple, vider un placard qu'il n'a jamais vu), il ne devine pas au hasard.

• Il ouvre son carnet de recettes.
• Il cherche : « Ai-je déjà vu quelque chose de similaire ? ».
• Il trouve la règle générale « Ouvrir une porte » qu'il a apprise plus tôt.
• Il adapte cette règle à la nouvelle situation et réussit son geste.

---

🌍 Pourquoi c'est révolutionnaire ?

Dans les expériences, les chercheurs ont testé ce robot avec des tâches qu'il n'avait jamais vues auparavant (comme verser une boîte de conserve ou fermer une bouteille).

• Les autres robots (sans MEMO) échouaient souvent car ils n'avaient pas la « recette » exacte dans leur mémoire.
• Le robot MEMO a réussi dans 78 % des cas (contre 40 % pour les autres).

L'analogie finale :
Imaginez que vous appreniez à cuisiner.

• Sans MEMO : Vous apprenez à faire une omelette. Si on vous demande de faire une omelette aux champignons, vous paniquez car vous n'avez pas la recette exacte.
• Avec MEMO : Vous apprenez la technique de base « battre les œufs et les cuire ». Ensuite, vous voyez que pour faire une omelette aux champignons, il suffit d'ajouter des champignons. Vous avez compris le principe, pas juste la recette. Vous pouvez maintenant cuisiner n'importe quel plat, même ceux que vous n'avez jamais vus.

En résumé

MEMO permet aux robots de transformer des petits conseils locaux (« Non, va plus haut ici ») en grandes compétences générales (« Pour ouvrir n'importe quel objet, il faut d'abord le saisir par le haut »). Grâce à cette mémoire qui s'améliore et se simplifie toute seule, le robot devient plus intelligent, plus adaptable et capable de réussir des tâches nouvelles sans avoir besoin de réapprendre tout depuis zéro.

Résumé technique

Voici un résumé technique détaillé de l'article "From Local Corrections to Generalized Skills: Improving Neuro-Symbolic Policies with MEMO" en français.

1. Problématique

Les approches neuro-symboliques pour la robotique visent à combiner le raisonnement des grands modèles de fondation (vision et langage) avec des contrôleurs de bas niveau. Le robot décompose une tâche complexe (ex: "toaster de la nourriture") en sous-tâches sémantiques grâce au langage, puis tente de les ancrer dans des mouvements physiques via des compétences (skills) préexistantes (primitives de mouvement, fonctions codées).

Le goulot d'étranglement fondamental identifié par les auteurs est la rigidité de la bibliothèque de compétences. Si le robot ne possède pas la compétence spécifique nécessaire pour une sous-tâche donnée (ex: ouvrir un grille-pain spécifique), sa politique échoue, même si le raisonnement de haut niveau est correct. Les méthodes existantes utilisent souvent des corrections humaines locales pour ajuster des paramètres, mais elles ne parviennent pas à généraliser ces corrections pour créer de nouvelles compétences réutilisables sur d'autres tâches ou contextes.

2. Méthodologie : MEMO (Memory Enhanced Manipulation)

Les auteurs proposent MEMO, un cadre qui permet aux robots d'étendre dynamiquement leurs capacités en transformant les corrections humaines locales en compétences généralisées. Le cœur du système est un "Skillbook" (livre de compétences), une base de connaissances enrichie par la récupération (RAG - Retrieval-Augmented Generation).

Le processus se déroule en trois étapes clés :

A. Collecte et Structuration des Données (Le Skillbook)

Le Skillbook ($S$) est une base de données vectorielle contenant des entrées $(v, s)$, où $v$ est un vecteur d'embedding et $s$ est l'information associée.

• Corrections Humaines : Lorsqu'un utilisateur intervient (ex: "non, tourne plus"), le modèle de langage paraphrase ce feedback pour le rendre invariant à la tâche spécifique (ex: "assure-toi de tourner davantage"). Ces corrections sont indexées par l'action et l'objet concernés.
• Feedback Implicite (Succès) : Lorsqu'une sous-tâche est réussie, le code généré par le robot est converti en un modèle de fonction paramétrable (template de code). Ce modèle est stocké dans le Skillbook, permettant au robot de réutiliser la logique de succès sans les valeurs codées en dur.

B. Récupération et Génération de Code (Run-time)

Lors de l'exécution d'une nouvelle tâche, la politique du robot ($\pi$) :

1. Décompose la tâche en sous-tâches sémantiques.
2. Interroge le Skillbook pour récupérer les entrées pertinentes (feedback et templates de code) basées sur la similarité sémantique entre l'action/objet actuel et les embeddings stockés.
3. Utilise ces informations récupérées, combinées à un prompt système, pour générer du nouveau code capable d'exécuter la sous-tâche. Le robot ne copie pas simplement le code, il le synthétise en s'inspirant des templates et des corrections.

C. Clustering et Généralisation (Offline)

C'est l'innovation majeure de MEMO. Au lieu de simplement accumuler des milliers d'entrées redondantes, le système effectue un processus de clustering asynchrone en arrière-plan :

• Les entrées similaires (basées sur leurs embeddings) sont regroupées.
• Un modèle de langage analyse ces clusters en les conditionnant sur les templates de code réussis associés.
• Le système génère une description de feedback condensée et généralisée et affine les templates de code.
• Résultat : Cela élimine les feedbacks contradictoires ou redondants et produit des instructions de haut niveau et des fonctions paramétrées robustes (ex: une fonction open_door() générique au lieu de 50 descriptions spécifiques d'ouvertures de portes).

3. Contributions Clés

1. Création du Skillbook : Introduction d'une base de connaissances hybride (texte + code) qui stocke non seulement les corrections, mais aussi les modèles de code réussis, permettant une récupération contextuelle.
2. Clustering Conditionné par le Code : Une méthode pour agréger les feedbacks humains en instructions généralisées en les confrontant aux templates de code fonctionnels. Cela permet de transformer des corrections locales en compétences réutilisables.
3. Amélioration au-delà du Feedback Local : Démonstration que l'agrégation de feedbacks sur plusieurs tâches et utilisateurs permet au robot de résoudre des tâches jamais vues (zero-shot) en générant de nouvelles compétences, dépassant les limites des bibliothèques statiques.

4. Résultats Expérimentaux

Les auteurs ont évalué MEMO sur 25 tâches de manipulation (simulées et réelles) avec un robot Franka Emika Panda.

• Généralisation Zero-Shot (Simulation) :

  • Sur des tâches de test non vues pendant l'entraînement, MEMO a atteint un taux de réussite de 78 %.
  • Comparé aux bases de référence : DROC-V (40 %) et TrajGen (28 %).
  • L'ablation sans clustering (MEMO-C) a montré une performance dégradée, prouvant que la compression des feedbacks est cruciale pour éviter la récupération d'informations erronées ou non pertinentes.

• Évaluation dans le Monde Réel :

  • MEMO a transféré les compétences apprises en simulation vers un robot réel sans nouvel entraînement.
  • Il a atteint un taux de réussite global de 88 % avec un nombre moyen de feedbacks par tâche très faible (1,52), contre 2,76 pour MEMO-C et 2,76 pour DROC-V.
  • MEMO a surpassé le modèle VLA de pointe $\pi_0.5$ (12 % de réussite globale), démontrant l'efficacité de l'ancrage par le code et le feedback humain.

5. Signification et Impact

Ce travail représente une avancée significative vers des robots polyvalents et adaptatifs.

• Évolutivité : MEMO résout le problème de la "boîte noire" des compétences en permettant au robot d'apprendre continuellement et de structurer ses connaissances de manière exploitable.
• Efficacité des Données : En transformant des corrections locales en compétences généralisées, le robot a besoin de beaucoup moins d'interactions humaines pour maîtriser de nouvelles tâches.
• Fusion Symboles-Neurones : L'article valide l'hypothèse que combiner la flexibilité du langage naturel (feedback humain) avec la rigueur du code (templates de compétences) via une architecture RAG permet de dépasser les limitations des modèles de fondation purs et des bibliothèques de compétences statiques.

En résumé, MEMO permet aux robots de passer d'une exécution rigide de tâches connues à une capacité d'auto-amélioration continue, où chaque erreur humaine devient une opportunité d'enrichir durablement son répertoire de compétences.