Neuro-Symbolic Skill Discovery for Conditional Multi-Level Planning

Cet article présente une architecture d'apprentissage neuro-symbolique novatrice qui extrait des compétences symboliques généralisables à partir de quelques démonstrations non étiquetées, en combinant des réseaux de neurones pour la découverte de symboles et le contrôle de bas niveau avec des modèles de langage visuel pour l'interprétation et la planification hiérarchique, permettant ainsi d'exécuter des tâches complexes à long terme dans des environnements encombrés et non vus.

L'essentiel

🤖 Le Robot qui apprend à "penser" comme un chef cuisinier

Imaginez que vous voulez apprendre à un robot à faire des tâches complexes, comme préparer un café ou ranger une cuisine. Le problème, c'est que les robots sont souvent très forts pour faire des mouvements précis (comme saisir une tasse), mais très nuls pour comprendre pourquoi ils le font ou comment organiser une longue série d'actions.

C'est comme si vous aviez un excellent pianiste (le robot) qui connaît parfaitement ses doigts, mais qui ne sait pas lire une partition ni composer une symphonie.

Les auteurs de ce papier proposent une solution ingénieuse : créer un "traducteur" entre les mouvements bruts du robot et la logique humaine. Ils appellent cela l'architecture "Neuro-Symbolique".

Voici comment cela fonctionne, étape par étape, avec des analogies simples :

1. L'Apprentissage par l'Observation (Le "Cerveau" qui regroupe les idées)

Imaginez que vous montrez au robot 100 fois comment il faut "prendre un objet".

• Parfois, il prend un verre sur la gauche.
• Parfois, il prend une pomme sur la droite.
• Parfois, il prend une bouteille avec une prise différente.

Pour un robot classique, ce sont 100 mouvements différents et confus. Mais pour ce nouveau modèle, c'est comme si un chef d'orchestre écoutait ces 100 variations et disait : "Attendez, ce n'est pas 100 choses différentes, c'est juste 3 ou 4 grandes idées : 'Prendre', 'Poser', 'Verser'."

Le modèle utilise une technique mathématique (appelée quantification vectorielle) pour regrouper automatiquement ces mouvements similaires en symboles abstraits. Il apprend que "saisir un verre" et "saisir une pomme" appartiennent à la même catégorie de compétences : Saisir.

2. Le Traducteur Magique (L'IA qui donne un nom aux actions)

Une fois que le robot a regroupé ses mouvements, il a une boîte de symboles mystérieux (disons, le "Symbole A", le "Symbole B"). Mais le robot ne sait pas ce qu'ils signifient en langage humain.

C'est là qu'intervient un Grand Modèle de Langage (LLM), comme un chatbot très intelligent (GPT ou Gemini).

• Le robot montre au chatbot une vidéo de ce que fait le "Symbole A".
• Le chatbot regarde et dit : "Ah, c'est évident ! Le Symbole A, c'est 'Ouvrir le tiroir'."
• Le chatbot fait de même pour tous les symboles.

C'est comme si vous donniez à un enfant des blocs de Lego sans étiquettes, et qu'un adulte lui disait : "Ce bloc rouge, c'est un toit. Ce bloc bleu, c'est une fenêtre." Soudain, l'enfant peut construire une maison.

3. Le Planificateur à Deux Niveaux (Le Chef et le Maçon)

Maintenant que le robot connaît ses "symboles" (Saisir, Poser, Verser), il peut planifier des tâches complexes. Le système fonctionne en deux niveaux, comme une entreprise :

• Le Niveau 1 : Le Chef (Planification Haute Niveau)
  Le robot (aidé par le chatbot) reçoit un ordre : "Fais-moi un café."
  Le Chef ne pense pas aux mouvements des doigts. Il pense en étapes logiques :

  1. Prendre la tasse.
  2. La mettre sous la machine.
  3. Appuyer sur le bouton.
  4. Récupérer la tasse.
     C'est le "quoi faire".

• Le Niveau 2 : Le Maçon (Planification Basse Niveau)
  Une fois que le Chef a dit "Prendre la tasse", il passe le relais au Maçon. Le Maçon ne sait pas ce qu'est un café, mais il sait comment bouger les bras.
  Le système utilise une astuce mathématique (des calculs de gradient) pour ajuster précisément les mouvements du robot. Il s'assure que la pince du robot va exactement là où se trouve la tasse, même si la tasse a bougé de quelques centimètres. C'est le "comment faire".

4. Les Résultats : Pourquoi c'est impressionnant ?

Les chercheurs ont testé cela dans des cuisines simulées et dans la vraie vie (avec de vrais robots).

• Généralisation : Le robot a appris avec seulement quelques exemples (parfois 2 ou 4). Ensuite, il a pu réussir des tâches dans des endroits qu'il n'avait jamais vus, avec des objets qu'il ne connaissait pas.
• Longue durée : Il a pu enchaîner des séquences longues (comme faire du café) sans se perdre, même dans des environnements encombrés.
• Robustesse : Même si le robot a fait des erreurs de mouvement au début, le système de "Maçon" a su corriger la trajectoire en temps réel pour atteindre l'objectif.

En résumé

Ce papier décrit un système où :

1. Le robot observe des mouvements bruts et les regroupe en idées simples (comme un enfant qui apprend que "manger" et "boire" sont des actions de "consommation").
2. Une IA intelligente donne des noms à ces idées.
3. Un Chef utilise ces noms pour créer un plan (une recette).
4. Un Maçon exécute la recette en ajustant ses mouvements pour s'adapter à la réalité.

C'est une étape de plus vers des robots qui ne sont pas juste des exécutants rigides, mais des assistants capables de comprendre, de planifier et de s'adapter à notre monde chaotique, tout en apprenant très vite avec peu d'exemples.

Résumé technique

1. Problématique

L'apprentissage de plans à long horizon dans des espaces d'états et d'actions continus (comme ceux rencontrés en robotique réelle) est un défi majeur. Les approches actuelles peinent à généraliser dans des environnements non vus, notamment en raison de la complexité et du bruit des données robotiques de bas niveau, ainsi que de la rareté des données étiquetées.

Bien que les grands modèles de langage (LLM) possèdent d'excellentes capacités de raisonnement de haut niveau, ils ne peuvent pas directement traiter les données brutes des robots (trajectoires continues) pour le contrôle. Il existe donc un fossé entre les agents virtuels généralistes (basés sur le texte) et les environnements physiques réels. L'objectif est de créer une couche d'abstraction capable de transformer des démonstrations de bas niveau non étiquetées en symboles haut niveau interprétables, permettant ainsi un planification multi-niveaux efficace.

2. Méthodologie

L'article propose une architecture d'apprentissage neuro-symbolique innovante combinant réseaux de neurones, découverte de compétences et planification hiérarchique. Le pipeline se décompose en cinq étapes principales :

A. Architecture du Modèle (Découverte de Compétences)

Le cœur du système est un auto-encodeur à quantification vectorielle conditionnel (inspiré des Conditional Neural Movement Primitives - CNMP).

• Entrée : Des trajectoires de données sensorimotrices (ex: pose de l'effecteur terminal) provenant de démonstrations non étiquetées.
• Mécanisme : Le modèle utilise une couche de quantification vectorielle pour mapper les variations continues d'une même compétence de haut niveau (ex: "prendre un objet") vers un vecteur discret unique dans un espace latent.
• Fonctionnement :
  1. L'encodeur transforme des points échantillonnés d'une trajectoire en vecteurs latents.
  2. Ces vecteurs sont moyennés puis quantifiés (assignés au vecteur le plus proche dans un dictionnaire de compétences).
  3. Le vecteur quantifié est concaténé avec un temps cible et passé au décodeur pour reconstruire la trajectoire.
  4. La perte de reconstruction et la perte de quantification guident l'apprentissage, permettant au modèle de regrouper automatiquement les démonstrations similaires en clusters discrets (compétences).

B. Apprentissage Auto-Supervisé

Une fois les compétences découvertes (clusters), le système souffre d'une fiabilité insuffisante pour la planification de bas niveau. Pour y remédier, une deuxième phase d'entraînement est proposée :

• Les étiquettes de clusters découvertes sont utilisées comme "vérité terrain" (pseudo-étiquettes).
• Un nouveau modèle est entraîné de zéro en forçant l'assignation des démonstrations aux vecteurs correspondants, éliminant ainsi l'incertitude de la quantification dynamique. Cela améliore considérablement la précision de la planification de bas niveau.

C. Étiquetage et Planification de Haut Niveau

• Étiquetage : Les vecteurs de compétences découverts (qui sont initialement sans nom) sont interprétés par des Modèles de Langage Multimodaux (VLM/LLM). Le système génère des trajectoires à partir des vecteurs, capture des images de l'exécution, et demande au LLM d'identifier l'action (ex: "ouvrir le tiroir").
• Planification de Haut Niveau : Un agent LLM utilise ces compétences étiquetées, l'image de l'environnement et l'objectif pour générer une séquence ordonnée d'actions symboliques (ex: pick(tomato, cupboard)).

D. Planification de Bas Niveau (Exécution)

Pour exécuter chaque étape du plan de haut niveau :

• Le vecteur de compétence correspondant est utilisé comme entrée pour le décodeur.
• Une optimisation par descente de gradient est appliquée sur ce vecteur d'entrée (les poids du modèle restent figés) pour minimiser l'erreur entre la position prédite de l'objet et sa position réelle détectée (via DINO).
• Cela permet d'adapter la trajectoire de bas niveau à la position spécifique de l'objet dans l'environnement, assurant une exécution précise même dans des environnements encombrés.

3. Contributions Clés

1. Découverte de Compétences Neuro-Symbolique : Une méthode capable d'apprendre des représentations de compétences de haut niveau à partir de trajectoires de bas niveau non étiquetées, en préservant l'information de bas niveau nécessaire à l'exécution.
2. Pipeline de Planification Bi-Niveau : Une architecture complète reliant la découverte de symboles, l'étiquetage par LLM, la planification symbolique et l'exécution par optimisation de trajectoire.
3. Apprentissage Auto-Supervisé pour la Robustesse : Une technique de ré-entraînement utilisant les clusters découverts pour transformer un modèle de clustering en un contrôleur de bas niveau fiable.
4. Généralisation : Capacité à manipuler des objets dans des positions non vues et à exécuter des tâches à long horizon avec peu de démonstrations (même dans des environnements encombrés).

4. Résultats Expérimentaux

Les expériences ont été menées en simulation (environnement de cuisine) et dans le monde réel (lave-vaisselle, machine à café, arrosage de plantes) avec des bras robotiques UR-10 et XArm 7.

• Découverte de Compétences :
  • Le modèle parvient à clusteriser parfaitement les compétences dans 27 % des cas sur 100 essais avec un espace de compétences de taille 5.
  • L'analyse montre qu'un espace de compétences plus grand que le nombre réel de compétences permet de réduire la perte de quantification, facilitant la sélection du meilleur modèle.
• Étiquetage par LLM :
  • L'utilisation de VLM (GPT-4.1, Gemini) pour étiqueter les actions fonctionne bien, bien que la précision varie selon le type d'action (meilleure pour "prendre" que pour "poser"). L'ajout de la détection d'objets (DINO) améliore la compréhension du contexte.
• Performance de Planification :
  • Haut Niveau : Les modèles atteignent des taux de réussite élevés (jusqu'à 97 % pour des tâches courtes) lorsque l'annotation des objets par DINO est précise.
  • Bas Niveau : L'approche auto-supervisée surpasse largement l'approche non supervisée. Avec seulement 2 à 4 démonstrations par compétence, le modèle atteint un taux de réussite de 100 % pour des tâches simples et jusqu'à 90 % pour des tâches complexes en monde réel.
  • Le système réussit à généraliser à de nouvelles positions d'objets et à planifier des séquences d'actions inédites.

5. Signification et Perspectives

Cet article démontre qu'il est possible de combiner la puissance de raisonnement des LLM avec la précision du contrôle robotique via une couche d'abstraction neuro-symbolique apprise.

• Impact : Cela permet de réduire la dépendance aux données étiquetées massives et aux simulations parfaites, rendant l'apprentissage de tâches robotiques complexes plus accessible.
• Limites : Le système dépend de la qualité de la perception de l'agent externe (LLM/VLM) et suppose que les démonstrations suivent une distribution similaire.
• Travaux Futurs : L'intégration de prédicats d'effets pour la détection d'erreurs et l'amélioration de la robustesse des plans à long horizon sont identifiés comme des pistes prometteuses.

En résumé, cette approche offre un cadre robuste pour transformer des démonstrations brutes en compétences symboliques réutilisables, comblant ainsi le fossé entre l'intelligence artificielle générale et la robotique physique.