SLAP: Shortcut Learning for Abstract Planning

Ce papier présente SLAP, une méthode qui combine l'apprentissage par renforcement sans modèle et la planification TAMP pour découvrir automatiquement de nouvelles options d'actions abstraites, permettant ainsi de réduire la longueur des plans de plus de 50 % et d'améliorer les taux de réussite dans des environnements robotiques complexes.

L'essentiel

🤖 SLAP : L'Art de Tricher (Intelligemment) pour les Robots

Imaginez que vous devez apprendre à un robot à ranger une pièce remplie de jouets, de boîtes et d'obstacles. C'est un défi énorme pour l'intelligence artificielle.

1. Le Problème : Le Robot Trop "Rigide"

Actuellement, il existe deux façons principales de faire faire des tâches aux robots :

• La méthode "Planificateur" (TAMP) : C'est comme un architecte très sérieux. Il a un manuel d'instructions strict : "Prends l'objet A, pose-le ici, puis prends l'objet B". Il est très logique et ne se trompe jamais de logique, mais il est lourd et lent. S'il y a une tour de blocs qui bloque le chemin, il va essayer de déplacer chaque bloc, un par un, avec une extrême précaution. C'est sûr, mais ça prend une éternité.
• La méthode "Apprentissage par Renforcement" (RL) : C'est comme un enfant qui apprend à marcher en tombant. Il essaie, il rate, il recommence. Il peut être très rapide et créatif, mais dans des tâches complexes et longues, il se perd souvent et n'arrive jamais à finir le travail.

Le problème ? Le planificateur est trop lent, et l'apprenti robot est trop brouillon.

2. La Solution : SLAP (L'Art du "Raccourci")

Les auteurs de l'article proposent SLAP. Imaginez SLAP comme un coach de vie pour robots qui a lu le manuel d'instructions (le planificateur) mais qui a aussi vu des vidéos de gens débrouillards.

L'idée centrale est simple : Pourquoi suivre le chemin officiel si on peut trouver un raccourci ?

• L'analogie du "Slap" (Gifle) :
  Dans l'article, ils montrent un exemple génial. Un robot doit déplacer un bloc qui est coincé sous une tour d'autres blocs.
  • Le planificateur classique : "Je vais enlever le bloc du haut, puis celui du milieu, puis celui du bas, puis je prends mon bloc." (Très long).
  • L'enfant intelligent (ou SLAP) : "Je prends mon bloc, et je gifle la tour de blocs avec mon bras pour les faire tomber sur le côté !" (Très court).

SLAP apprend au robot à faire ce genre de "gifle" (ou de secousse, de balayage) qui n'est pas dans le manuel officiel.

3. Comment ça marche ? (Le Processus en 3 Étapes)

1. La Carte (Le Planificateur) : Le robot commence avec une carte des chemins officiels (les actions qu'il connaît déjà : prendre, poser, déplacer).
2. L'Exploration (L'Apprentissage) : Le robot regarde cette carte et se dit : "Et si je connectais le point A au point C directement, sans passer par B ?" Il utilise une méthode d'essai-erreur (Reinforcement Learning) pour apprendre à faire ce mouvement "sauvage" (comme la gifle) qui permet de passer d'un état à un autre beaucoup plus vite.
3. Le Nouveau Chemin (Le Raccourci) : Une fois qu'il a appris ce mouvement, il l'ajoute à sa carte. La prochaine fois qu'il doit faire la tâche, il utilise ce nouveau "raccourci" magique pour gagner du temps.

4. Pourquoi c'est génial ?

• C'est adaptable : SLAP ne réinvente pas tout à zéro. Il utilise ce que le robot sait déjà faire, mais il l'améliore. C'est comme si vous appreniez à conduire en sachant déjà marcher : vous ne repartez pas de zéro, vous apprenez juste à utiliser les pédales.
• C'est robuste : Même si vous changez le nombre de blocs ou si les objets sont plus lourds, SLAP sait s'adapter. Si le robot a appris à "gifer" une tour de 3 blocs, il saura probablement "gifer" une tour de 5 blocs, car le principe physique est le même.
• C'est rapide : Dans les tests, SLAP a réduit la longueur des tâches de plus de 50 %. C'est comme passer de la route nationale (pleine de feux rouges) à l'autoroute (raccourci direct).

En résumé

SLAP, c'est comme donner un cerveau de génie à un robot qui a déjà un manuel d'instructions. Au lieu de suivre le manuel mot à mot, le robot apprend à improviser des mouvements astucieux (comme pousser, glisser ou secouer) pour résoudre les problèmes beaucoup plus vite.

C'est le mélange parfait entre la logique stricte d'un ingénieur et la créativité débrouillarde d'un enfant qui trouve toujours une solution rapide. 🚀

Résumé technique

Titre : SLAP : Shortcut Learning for Abstract Planning

Auteurs : Y. Isabel Liu, Bowen Li, Benjamin Eysenbach, Tom Silver (Princeton University & Carnegie Mellon University)

1. Problématique

La prise de décision à long horizon dans les environnements robotiques continus (états et actions) reste un défi majeur en IA et en robotique, principalement en raison de la rareté des récompenses (sparse rewards) et de la complexité des interactions physiques.

• Limites de la planification TAMP (Task and Motion Planning) : Les systèmes TAMP classiques utilisent une approche hiérarchique basée sur des actions abstraites (options) définies manuellement (ex: saisir, placer, déplacer). Bien qu'ils soient efficaces pour la décomposition de tâches, ils sont limités aux comportements que les ingénieurs humains ont programmés. Ils supposent souvent des interactions physiques simplifiées (contact uniquement par les doigts, manipulation d'un seul objet à la fois), ce qui conduit à des plans longs et inefficaces (ex: déplacer un à un des obstacles pour atteindre une cible).
• Limites de l'Apprentissage par Renforcement (RL) : Les méthodes de RL "plate" (flat) ou hiérarchique peinent à résoudre ces tâches à long horizon en raison de la difficulté d'exploration et de la rareté des signaux de récompense. Elles ont du mal à généraliser et à trouver des solutions optimales sans un temps d'entraînement prohibitif.

Objectif : Comment permettre à un agent intelligent d'improviser autonomement de nouvelles compétences (skills) qui transcendent les hypothèses traditionnelles de la programmation robotique pour générer des plans plus courts et plus efficaces, tout en s'appuyant sur une structure de planification existante ?

2. Méthodologie : SLAP

Les auteurs proposent SLAP (Shortcut Learning for Abstract Planning), une méthode hybride qui utilise l'apprentissage par renforcement (RL) pour découvrir automatiquement de nouveaux "raccourcis" (shortcuts) au sein d'un graphe de planification abstraite induit par des options préexistantes.

Le processus se déroule en trois phases principales :

A. Construction du Graphe de Planification Abstraite

• L'agent dispose d'un ensemble d'options prédéfinies $A$ (compétences de haut niveau).
• Un graphe à deux niveaux est construit :
  • Niveau supérieur : États abstraits (basés sur des prédicats symboliques) et options.
  • Niveau inférieur : États continus de l'environnement et actions de bas niveau.
• Une recherche de chemin (ex: Dijkstra) est effectuée pour trouver une solution de base, mais celle-ci est souvent sous-optimale en termes de temps d'exécution.

B. Apprentissage des Raccourcis (Shortcut Learning)

• Idée clé : Identifier les connexions prometteuses entre des états abstraits qui ne sont pas directement reliés par les options existantes.
• Création de MDPs : Pour chaque paire d'états abstraits $(s_{init}, s_{term})$ potentielle, un environnement d'apprentissage (MDP) est créé.
  • L'objectif est d'apprendre une politique $\pi_\theta$ qui permet de passer de $s_{init}$ à $s_{term}$ le plus rapidement possible.
  • La récompense est une pénalité de -1 par pas de temps (pour minimiser la durée).
• Pruning (Élagage) : Avant d'entraîner le RL, des rollouts aléatoires sont effectués. Si l'état terminal n'est pas atteint rapidement, le raccourci potentiel est élagué pour éviter d'entraîner des politiques sur des tâches impossibles.
• Algorithme : L'apprentissage utilise PPO (Proximal Policy Optimization) dans des environnements parallélisés.

C. Planification avec Raccourcis Appris

• Lors de l'évaluation, les politiques de raccourcis apprises sont ajoutées à l'ensemble des options originales.
• Le planificateur abstrait reconstruit le graphe en incluant ces nouvelles arêtes (raccourcis).
• Si un raccourci permet d'atteindre l'objectif plus rapidement, le planificateur l'intègre automatiquement dans la solution finale.
• Généralisation aux objets : SLAP utilise une projection d'état basée sur les objets pertinents (définis par les atomes symboliques ajoutés/supprimés par le raccourci). Cela permet de généraliser à des tâches avec un nombre différent d'objets ou de nouvelles configurations physiques, tant que la structure symbolique (relations entre objets) est préservée.

3. Contributions Clés

1. Cadre Hybride Unifié : SLAP combine la robustesse de la planification symbolique (TAMP) pour la décomposition de tâches à long horizon avec la flexibilité du RL pour l'improvisation de comportements de bas niveau.
2. Découverte Automatique de Compétences Physiques : Contrairement aux méthodes qui apprennent des compétences de zéro, SLAP découvre des comportements dynamiques et contre-intuitifs (ex: "frapper" une tour d'obstacles pour l'écarter, "secouer" un tiroir, "essuyer" une table) qui ne sont pas programmés manuellement.
3. Efficacité et Généralisation : La méthode permet de réduire significativement la longueur des plans tout en maintenant un taux de réussite élevé, même dans des environnements avec de nouveaux objets ou des propriétés physiques différentes.
4. Module Plug-and-Play : SLAP fonctionne comme un module autonome qui peut être intégré à n'importe quel planificateur abstrait existant sans nécessiter de réingénierie majeure du système.

4. Résultats Expérimentaux

Les expériences ont été menées sur quatre environnements robotiques simulés (PyBullet) : Obstacle 2D, Obstacle Tower, Cluttered Drawer (Tiroir encombré) et Cleanup Table (Nettoyage de table).

• Réduction de la longueur des plans : SLAP réduit la longueur des plans de plus de 50 % par rapport à la planification pure (Pure Planning).
  • Exemple : Dans Obstacle Tower, réduction de 68 % (de ~246 étapes à ~79 étapes).
  • Exemple : Dans Cleanup Table, réduction de 73 %.
• Taux de réussite :
  • SLAP atteint un taux de réussite de 100 % sur tous les environnements.
  • Les méthodes de RL pures (PPO, SAC+HER) et hiérarchiques échouent presque systématiquement (0 % de réussite) sur ces tâches à long horizon en raison de la rareté des récompenses.
• Généralisation :
  • SLAP généralise efficacement à des tâches avec un nombre d'objets différent (plus ou moins d'obstacles) et à des changements de propriétés physiques (masse, friction).
  • Dans des environnements stochastiques ou partiellement observables, SLAP surpasse également la planification pure, car les raccourcis appris (ex: "slap") sont plus robustes aux incertitudes que les compétences prédéfinies.
• Analyse des politiques : L'apprentissage indépendant de politiques pour chaque raccourci (parallélisation) s'est avéré supérieur à l'apprentissage d'une politique universelle partagée, car la difficulté des raccourcis varie considérablement.

5. Signification et Impact

Ce travail représente une avancée significative vers des systèmes robotiques unifiés capables de :

• Raisonner à long terme grâce à la planification abstraite (TAMP).
• S'adapter dynamiquement et improviser des solutions physiques complexes grâce au RL.

SLAP résout le compromis traditionnel entre la rigueur de la planification (qui garantit la faisabilité mais manque de flexibilité) et l'adaptabilité du RL (qui est flexible mais difficile à entraîner sur des horizons longs). En apprenant des "raccourcis" qui améliorent l'efficacité d'exécution sans sacrifier la complétude du planificateur, SLAP ouvre la voie à des robots plus autonomes capables de gérer des environnements réels complexes et imprévisibles.

Limites et travaux futurs :

• La méthode dépend de la qualité des options prédéfinies initiales.
• L'exécution des raccourcis appris peut être moins prévisible que les compétences traditionnelles (nécessité d'intégrer des contraintes de sécurité).
• L'extension vers des environnements réels (Real-to-Sim-to-Real) et l'apprentissage d'abstractions à partir de données démonstratives sont des pistes de recherche prometteuses.

Ressource : Le code source est disponible sur GitHub : https://github.com/isabelliu0/SLAP.