SCALAR: Learning and Composing Skills through LLM Guided Symbolic Planning and Deep RL Grounding

Le papier présente SCALAR, un cadre bidirectionnel qui couple la planification guidée par les LLM et l'apprentissage par renforcement profond via une bibliothèque de compétences apprise, permettant une itération corrective des spécifications et surpassant les méthodes existantes sur l'environnement Craftax.

L'essentiel

Imaginez que vous essayez d'enseigner à un robot comment survivre et prospérer dans un monde complexe, comme un jeu vidéo de survie où il faut couper du bois, fabriquer des outils, miner des diamants et combattre des monstres.

Le problème, c'est que les intelligences artificielles actuelles sont comme des architectes géniaux mais impuissants. Elles peuvent lire le manuel d'instructions, comprendre la logique et dire : "Pour avoir un diamant, il faut d'abord une pioche en fer, qui nécessite du fer, qui nécessite une pioche en pierre...". Mais si on leur demande de faire le mouvement physique pour couper le bois ou frapper un monstre, elles échouent lamentablement. Elles savent quoi faire, mais pas comment le faire.

D'un autre côté, les robots qui apprennent par essais et erreurs (comme un chien qui apprend à faire des tours) sont très forts pour le mouvement, mais ils sont perdus dans un labyrinthe sans boussole. Ils ne savent pas par où commencer pour atteindre un objectif lointain.

SCALAR est la solution proposée par les chercheurs pour marier ces deux mondes. Voici comment cela fonctionne, expliqué simplement :

1. Le Duo : L'Architecte (LLM) et l'Artisan (RL)

SCALAR utilise une équipe de deux :

• L'Architecte (le Grand Modèle de Langage ou LLM) : C'est le cerveau qui lit le manuel. Il propose des "compétences" (skills). Par exemple : "Fabriquer une pioche". Il dit : "Pour ça, il faut du bois et de la pierre".
• L'Artisan (l'Apprentissage par Renforcement ou RL) : C'est le corps qui essaie de faire le travail. Il essaie de fabriquer la pioche.

2. Le Problème de la "Spécification Ratée"

Dans les méthodes précédentes, l'Architecte donnait ses instructions une seule fois, et l'Artisan essayait. Si l'Architecte se trompait (par exemple, il pensait qu'il fallait 10 blocs de bois alors qu'il n'en fallait que 2), l'Artisan échouait, et personne ne corrigeait l'Architecte. C'était comme si un chef cuisinier donnait une recette fausse à un apprenti, et l'apprenti brûlait le plat sans que le chef ne s'en rende compte.

3. La Magie de SCALAR : La Boucle de Rétroaction

SCALAR change la donne avec une boucle de rétroaction bidirectionnelle (un aller-retour constant) :

1. Proposition : L'Architecte propose une compétence : "Pour faire une pioche en fer, il faut 3 blocs de fer".
2. Essai : L'Artisan essaie de le faire.
3. Analyse (Le moment clé) : Si l'Artisan réussit, il regarde ce qui s'est vraiment passé. Il se rend compte : "Attends, j'ai réussi avec seulement 1 bloc de fer, pas 3 ! L'Architecte s'est trompé."
4. Correction : L'Artisan renvoie cette information à l'Architecte. L'Architecte met à jour son manuel : "Ah bon ? Il ne faut que 1 bloc de fer. Je corrige ma recette."
5. Répétition : On recommence avec la nouvelle recette, jusqu'à ce que tout soit parfait.

C'est comme un professeur et un élève qui travaillent ensemble. L'élève fait des exercices, et le professeur corrige non seulement la réponse, mais aussi la méthode d'enseignement pour la prochaine fois.

4. Les Deux Astuces de Génie

Pour que ce système fonctionne vite et bien, SCALAR utilise deux techniques ingénieuses :

• L'Analyse des Trajectoires (Trajectory Analysis) : C'est comme regarder une vidéo d'un match de football pour voir exactement où l'équipe a marqué. Au lieu de juste dire "On a marqué", le système regarde chaque mouvement. Cela permet de corriger les erreurs subtiles de l'Architecte (comme le nombre exact de ressources nécessaires) que l'humain ou le modèle de langage aurait pu mal estimer au départ.
• Le Point de Contrôle Frontière (Frontier Checkpointing) : Imaginez que vous apprenez à conduire. Vous ne voulez pas recommencer à allumer la voiture et démarrer à chaque fois pour pratiquer le stationnement. Vous gardez la voiture en mode "stationnement" et vous recommencez juste l'exercice de stationnement.
  • Dans le jeu, pour miner un diamant, il faut d'abord couper du bois, puis faire une table, puis une pioche, etc. C'est long.
  • SCALAR sauvegarde l'état du jeu juste après avoir fait toutes ces étapes préliminaires. Ensuite, pour entraîner l'IA à miner le diamant, il ne refait pas tout le chemin depuis le début. Il reprend exactement là où il s'est arrêté. Cela économise énormément de temps et d'énergie.

5. Le Résultat : Un Robot qui Devient un Expert

Sur le jeu vidéo Craftax (un monde complexe inspiré de Minecraft), SCALAR a obtenu des résultats impressionnants :

• Il a collecté 88% de diamants, contre seulement 47% pour les meilleures méthodes précédentes.
• Il est parvenu à atteindre les "Mines des Gnomes" (un niveau très difficile) 9% du temps, alors que les autres méthodes échouaient à 100%.

En Résumé

SCALAR est comme un atelier d'apprentissage collaboratif.

• L'Architecte (IA textuelle) a la théorie mais fait des erreurs de calcul.
• L'Artisan (IA de contrôle) a la pratique mais manque de vision d'ensemble.
• Ensemble, en se corrigeant mutuellement grâce à l'observation de leurs actions, ils apprennent à accomplir des tâches complexes qui étaient auparavant impossibles pour une seule intelligence.

C'est une avancée majeure pour créer des agents intelligents capables non seulement de penser à la solution, mais aussi de réussir à l'exécuter dans le monde réel.

Résumé technique

Voici un résumé technique détaillé du papier de recherche "SCALAR: Learning and Composing Skills through LLM Guided Symbolic Planning and Deep RL Grounding".

1. Problématique

Le défi central abordé par ce travail est le problème de l'ancrage (grounding) des agents basés sur les Grands Modèles de Langage (LLM) dans des environnements de contrôle bas niveau.

• Limitation des LLM : Bien que les LLM excellent dans la planification de haut niveau et la génération de code pour des API abstraites, ils échouent souvent à maîtriser le contrôle moteur fin et l'exploration dans des environnements à récompenses clairsemées (sparse rewards).
• Limitation du RL : L'apprentissage par renforcement (RL) peut apprendre des politiques de contrôle, mais il souffre d'une exploration inextricable lorsque les tâches sont à long horizon et que les récompenses sont rares.
• Échec des approches existantes : Les travaux précédents combinant LLM et RL utilisent souvent des approches "one-shot" (un seul coup) où le LLM génère une fonction de récompense ou une séquence de sous-objectifs. Ces méthodes manquent de boucle de rétroaction : si la spécification du LLM est erronée (ex: sur-estimation des ressources nécessaires), l'agent RL échoue sans que l'erreur ne soit jamais diagnostiquée ni corrigée.

L'objectif est de définir des tâches à la granularité idéale : suffisamment structurées pour que les LLM puissent les spécifier à partir de connaissances préalables, mais suffisamment courtes pour que le RL puisse les apprendre par exploration.

2. Méthodologie : SCALAR

Les auteurs proposent SCALAR (Self-Supervised Composition and Learning of Skills with LLM Planning and Reinforcement Learning), un cadre bidirectionnel couplant la planification symbolique des LLM et l'apprentissage par renforcement profond (Deep RL) via une bibliothèque de compétences apprises.

Le processus fonctionne en boucle itérative :

A. Proposition de Compétences par le LLM

Le LLM lit le manuel du jeu (ou la documentation) et propose des opérateurs symboliques (compétences) définis par :

• Préconditions (PRE) : État abstrait requis avant l'exécution.
• Effets (EFF+ / EFF-) : Ce qui est acquis (EFF+) et ce qui est consommé (EFF-) après succès.
• Fonctions de récompense et de terminaison : Code exécutable pour guider l'agent RL.
  Ces propositions sont traitées comme des hypothèses qui peuvent être incorrectes.

B. Composition et Planification

Un planificateur symbolique (style STRIPS) utilise la bibliothèque de compétences validées pour séquencer les compétences nécessaires afin d'atteindre les préconditions d'une compétence cible. Cela permet de construire des chaînes de dépendances complexes (ex: pour miner du diamant, il faut d'abord fabriquer une pioche en fer, ce qui nécessite du bois, de la pierre, etc.).

C. Entraînement par RL (Options)

Pour chaque compétence cible, un agent RL entraîne une politique (option) :

1. Exécution des prérequis : L'agent exécute d'abord les compétences déjà apprises pour atteindre l'état de départ.
2. Apprentissage de la compétence cible : L'agent apprend la politique spécifique pour accomplir la tâche.
3. Mise à jour conjointe : Contrairement aux méthodes qui figent les compétences précédentes, SCALAR met à jour toutes les politiques actives simultanément pour éviter l'oubli catastrophique et optimiser les avantages globaux (GAE) à travers les frontières des compétences.

D. Analyse de Trajectoire et Affinement (Le cœur de l'innovation)

Une fois qu'une compétence atteint un taux de succès non nul, une Analyse de Trajectoire se déclenche :

• Le LLM analyse les trajectoires réussies (états initiaux, intermédiaires et finaux).
• Il compare les résultats réels avec les spécifications initiales (préconditions, effets, consommation).
• Correction : Si le LLM avait surestimé les ressources (ex: 3 fers au lieu de 1) ou manqué une précondition, il réviser la spécification de l'opérateur.
• Reprise : Si la spécification est modifiée, la politique partiellement entraînée est rejetée et l'entraînement redémarre avec la nouvelle spécification correcte. Cela permet de corriger les erreurs de "priors" du LLM.

E. Checkpointing de Frontière (Frontier Checkpointing)

Pour améliorer l'efficacité de l'échantillonnage dans les chaînes de dépendances profondes, SCALAR sauvegarde l'état de l'environnement dès que les prérequis d'une compétence sont satisfaits (la "frontière"). Lors des réinitialisations d'épisode, l'agent a une probabilité de restaurer cet état, évitant ainsi de ré-exécuter inutilement les compétences déjà maîtrisées et se concentrant sur l'apprentissage de la compétence cible.

3. Contributions Clés

1. Cadre Bidirectionnel LLM-RL : Une boucle de rétroaction où les résultats d'exécution du RL corrigent les spécifications symboliques du LLM, résolvant le problème des erreurs de spécification "one-shot".
2. Analyse de Trajectoire Pivotal : Un mécanisme pour détecter et corriger les erreurs de préconditions et d'effets en observant les exécutions réussies, permettant une adaptation aux dynamiques de l'environnement.
3. Checkpointing de Frontière : Une technique pour réduire le gaspillage de frames d'entraînement sur les compétences prérequis, augmentant considérablement l'efficacité de l'échantillonnage pour les tâches à long horizon.
4. Apprentissage Compositionnel : Une architecture "Mixture-of-Experts" où les compétences partagent un backbone mais ont des têtes actor-critic séparées, permettant un apprentissage stable sans interférence.

4. Résultats Expérimentaux

Les expériences ont été menées sur Craftax (un benchmark RL inspiré de Minecraft et NetHack), un environnement à récompenses clairsemées avec des chaînes de dépendances complexes.

• Performance sur Craftax-Classic : SCALAR atteint un taux de réussite de 88,2 % pour la collecte de diamants, contre 46,9 % pour la meilleure baseline (PQN-RNN). C'est une amélioration de 1,9x.
• Performance sur Craftax (Complexe) : Pour la tâche la plus difficile, "Entrer dans les Mines Gnomes" (nécessitant de tuer 8 orques et de naviguer dans des donjons), SCALAR atteint un taux de réussite de 9,1 %. Toutes les méthodes de référence (baselines) échouent à 0 %.
• Efficacité de l'Analyse de Trajectoire : Sans cette analyse, le taux de réussite pour la collecte de diamants chute à 67,3 % et celui des Mines Gnomes à 0 %. L'analyse permet de réduire la collecte de ressources superflues de 50 à 67 %.
• Robustesse aux changements : SCALAR s'adapte dynamiquement aux modifications des recettes de craft (ex: changer le nombre de fers nécessaires) en révisant ses spécifications, là où les méthodes statiques échouent.

5. Signification et Impact

Ce travail démontre que l'intégration de la planification symbolique (via LLM) et de l'apprentissage par renforcement (via RL) peut surmonter les limitations de chaque approche prise isolément :

• Réduction de l'ingénierie manuelle : Le cadre réduit le besoin de définir manuellement des récompenses complexes ou des hiérarchies de compétences.
• Apprentissage auto-supervisé : La capacité du système à se corriger lui-même via l'analyse de trajectoire ouvre la voie à des agents autonomes capables de s'adapter à des environnements dynamiques ou à des spécifications initiales imparfaites.
• Passage à l'échelle : La méthode prouve qu'il est possible d'apprendre des compétences complexes à long horizon (plus de 10 étapes de dépendance) dans des environnements réalistes, là où le RL monolithique échoue.

En résumé, SCALAR propose une nouvelle architecture pour les agents autonomes où le LLM agit comme un architecte de compétences qui s'améliore continuellement grâce aux retours d'expérience concrets du RL, créant un cycle vertueux de planification et d'exécution.