💻 computer science

LEACL: LLM-Enhanced Automatic Curriculum Learning for Reinforcement Learning in Long-Horizon Manipulation Tasks

Cet article propose LEACL, un cadre qui exploite les grands modèles de langage pour décomposer automatiquement les tâches de manipulation à long terme et générer les spécifications nécessaires, permettant ainsi aux agents d'apprentissage par renforcement d'atteindre des performances supérieures grâce à un apprentissage de curriculum automatique utilisant uniquement des récompenses éparses, sans nécessiter de fonctions de récompense denses conçues manuellement.

Auteurs originaux : Faraz Heravi, James Ouyang, Zifan Xu, Arjun Kumar, Yoonchang Sung, Peter Stone

Publié 2026-07-28

📖 9 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Faraz Heravi, James Ouyang, Zifan Xu, Arjun Kumar, Yoonchang Sung, Peter Stone

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayiez d'apprendre à un robot à préparer un repas complexe, comme un sandwich gourmet. Vous ne pouvez pas simplement dire au robot : « Fais un sandwich », et espérer qu'il devinera comment couper la tomate, beurrer le pain et empiler les couches parfaitement. Si vous ne donnez au robot qu'un signal « bon travail » ou « mauvais travail » à la toute fin, il risque de errer sans but pendant des années, sans jamais apprendre les étapes spécifiques. C'est le monde de l'apprentissage par renforcement (Reinforcement Learning - RL), où les agents logiciels apprennent par essais et erreurs. La partie délicate est le problème de la « récompense parcellaire » (sparse reward) : si le robot ne reçoit une récompense que lorsque la tâche est terminée à 100 %, il n'a aucune idée s'il se rapproche ou s'éloigne de l'objectif. Pour corriger cela, les scientifiques utilisent souvent l'apprentissage par curriculum (Curriculum Learning), une méthode où le robot s'exerce sur des versions faciles d'une tâche (comme simplement ramasser le pain) avant de passer à des tâches plus difficiles (comme couper la tomate). Mais voici le hic : concevoir ces étapes du plus facile au plus difficile nécessite généralement qu'un expert humain écrive manuellement chaque règle et chaque paramètre de difficulté, ce qui est lent, ennuyeux et difficile à faire pour chaque nouvelle tâche.

Entrez en scène LEACL (LLM-Enhanced Automatic Curriculum Learning), une nouvelle approche qui pose une question très intelligente : « Pouvons-nous utiliser un modèle de langage IA super-intelligent pour faire le travail de planification ennuyeux à notre place ? » Les chercheurs derrière cet article voulaient voir s'ils pouvaient utiliser un grand modèle de langage (LLM) — la même technologie qui alimente les chatbots — pour agir comme un maître enseignant. Au lieu que les humains écrivent manuellement les plans de cours, le LLM lirait un objectif en langage naturel (comme « ouvrir le tiroir ») et le décomposerait automatiquement en une séquence d'étapes plus petites et gérables. Mieux encore, le LLM concevrait ensuite les « roues de soutien » spécifiques (les paramètres et les niveaux de difficulté) pour chaque étape, permettant au robot d'apprendre en utilisant uniquement le simple signal « succès/échec » à la fin, sans avoir besoin d'instructions de récompense complexes et écrites à la main pour chaque petit mouvement.

L'article teste cette idée sur cinq tâches robotiques complexes, telles que l'ouverture d'un tiroir de placard, la pose d'un bol sur une assiette ou l'allumage d'une cuisinière. Les résultats sont très prometteurs. Les chercheurs ont constaté que lorsqu'ils laissaient le LLM concevoir le curriculum, le robot apprenait ces tâches longues et complexes beaucoup plus rapidement et avec plus de succès que s'il essayait de les apprendre toutes à la fois sans aide. En fait, le système conçu par le LLM a performé aussi bien, voire mieux, que les systèmes où des experts humains avaient passé des heures à élaborer manuellement les étapes et les règles de récompense. L'étude suggère qu'en laissant l'IA gérer la « planification des leçons », nous pouvons enseigner aux robots des tâches complexes à plusieurs étapes sans avoir besoin qu'un humain micro-gère chaque détail du processus d'apprentissage.

La journée d'école du robot : Comment fonctionne LEACL

Pensez à un robot essayant d'apprendre une tâche à long horizon (une tâche « à long horizon » est simplement une façon sophistiquée de dire un travail qui nécessite de nombreuses étapes pour être terminé) comme un étudiant essayant de réussir un examen final. Si l'enseignant ne donne qu'une note à la toute fin, l'étudiant pourrait étudier les mauvaises choses ou abandonner complètement. L'apprentissage par curriculum automatique (Automatic Curriculum Learning - ACL) est comme un tuteur qui crée un programme scolaire, en commençant par des questions faciles et en les rendant progressivement plus difficiles. Mais généralement, un humain doit écrire ce programme.

LEACL change la donne en faisant entrer un LLM en tant que directeur d'école. Le processus se déroule en trois étapes amusantes :

La Décomposition (Task Decomposition) :
Imaginez que vous disiez au robot : « Ouvre le tiroir supérieur du placard. » Un humain pourrait penser : « D'accord, c'est juste un travail. » Mais le LLM regarde cela et dit : « Pas du tout ! C'est en fait trois travaux : Premièrement, tendre le bras vers le tiroir. Deuxièmement, saisir la poignée. Troisièmement, tirer pour l'ouvrir. » Le LLM utilise sa connaissance massive du fonctionnement du monde (comme savoir qu'on ne peut pas tirer un tiroir si on ne tient pas la poignée) pour décomposer le grand objectif en une chaîne logique de sous-tâches plus petites. Il écrit ces étapes dans un « langage de recette » spécial appelé PDDL, que le robot peut comprendre.
Le Plan de Leçon (Meta-Task Generation) :
Maintenant que le robot a les étapes, il doit savoir comment les pratiquer. Doit-il commencer avec le tiroir légèrement ouvert ? Ou complètement fermé ? La poignée doit-elle être proche ou loin ? C'est là que le LLM brille à nouveau. Il agit comme un concepteur de curriculum créatif, générant un « espace de tâches » pour chaque étape. Il crée un script Python capable de générer des milliers de versions légèrement différentes de la tâche « saisir la poignée ». Certaines sont super faciles (la poignée est juste devant le robot), et d'autres sont plus difficiles (la poignée est légèrement plus loin). Le LLM détermine également quelles versions sont « plus difficiles » que d'autres, créant ainsi une échelle de difficulté parfaite pour que le robot puisse la gravir.
La Pratique (Automatic Curriculum Learning) :
Enfin, le robot commence l'entraînement. Il utilise un algorithme qui observe les performances du robot. Si le robot réussit haut la main les versions « faciles » de la tâche, le système passe automatiquement aux versions de difficulté « moyenne ». S'il a du mal, il revient aux versions faciles. Le robot apprend en utilisant uniquement un simple « 1 » pour le succès et un « 0 » pour l'échec à la fin de chaque sous-tâche. Il n'a pas besoin qu'un humain dise : « Bon travail, tu as déplacé ton bras de 2 pouces vers l'avant. » Le curriculum pré-planifié par le LLM fait tout le travail difficile pour guider le robot.

Les Résultats : Le robot a-t-il réussi le test ?

Les chercheurs ont testé ce système sur cinq défis distincts en utilisant une simulation appelée LIBERO (qu'ils ont améliorée en LIBERO+ pour gérer ces nouveaux types de tâches). Les tâches comprenaient :

Ouvrir un tiroir du bas.
Poser un bol blanc sur une assiette.
Prendre du ketchup et le mettre dans un panier.
Allumer une cuisinière et placer une marmite dessus.
Mettre une tasse dans un micro-ondes et fermer la porte.

Ils ont comparé leur système alimenté par le LLM (LEACL) à plusieurs autres méthodes :

L'approche « Ne rien faire » : Laisser simplement le robot essayer d'apprendre toute la tâche avec une récompense parcellaire. (Spoiler : Cela a totalement échoué, obtenant 0 % de réussite sur la plupart des tâches).
L'approche « Sans curriculum » : Décomposer la tâche mais laisser le robot apprendre chaque étape sans une échelle de difficulté intelligente. (Cela a également échoué lamentablement, avec des taux de réussite proches de 0 % ou très faibles).
L'approche « Expert Humain » : Où des humains conçoivent manuellement les étapes et les fonctions de récompense (donnant des points supplémentaires au robot pour se rapprocher de l'objectif). C'est ce qui est généralement considéré comme la référence absolue.
L'approche « LEAGUE » : Une méthode précédente qui utilise des LLM pour écrire des fonctions de récompense denses (des règles de score complexes) pour chaque étape.

Voici ce qui s'est passé :
Le système LEACL, qui utilisait le LLM pour planifier le curriculum mais reposait uniquement sur le simple signal « succès/échec », a surpassé les systèmes qui tentaient d'apprendre sans curriculum. Plus impressionnant encore, il a performé mieux que le système LEAGUE (qui utilisait des règles de récompense complexes et ajustées manuellement) sur quatre des cinq tâches.

En termes de chiffres bruts, le système LEACL a atteint des taux de réussite comme 99,8 % pour l'ouverture du tiroir et 90,7 % pour la pose du bol sur l'assiette. Ces chiffres étaient très proches, et dans certains cas égalaient, les performances du « Curriculum Humain » où des experts ont tout conçu manuellement. Par exemple, sur la tâche « ouvrir le tiroir du bas », le système conçu par l'humain a obtenu 99,8 ± 0,2 %, et LEACL a obtenu 99,8 ± 0,1 %. Sur la tâche « mettre la tasse dans le micro-ondes », le système humain a obtenu 89,0 ± 7,5 %, tandis que LEACL a obtenu 75,9 ± 3,4 %.

Pourquoi cela importe (et ce que cela ne fait pas)

Le point essentiel est que concevoir des fonctions de récompense complexes est difficile et souvent inutile. L'article soutient que tenter de donner au robot une récompense « dense » (comme « tu gagnes 0,5 point pour déplacer le bras plus près ») est en réalité un pière. Cela peut confondre le robot, le poussant à privilégier les mauvaises choses ou à développer des habitudes « négligentes » où il se rapproche de l'objectif mais ne termine jamais vraiment le travail. En laissant le LLM gérer la structure de l'apprentissage (le curriculum) et en laissant le robot apprendre de la vérité simple du succès ou de l'échec, le robot acquiert des compétences plus précises et plus fiables.

Cependant, l'article note avec prudence quelques limites. Le LLM a toujours besoin d'un « dictionnaire » de ce qui est possible (un ensemble prédéfini de règles ou de prédicats) pour fonctionner. Il ne peut pas inventer de nouvelles lois de la physique ou de nouveaux objets à partir de rien ; il doit travailler dans le cadre des règles de la simulation (comme l'environnement LIBERO+). De plus, bien que le LLM ait fait du bon travail, le curriculum conçu par l'humain a encore légèrement devancé le sien sur trois des cinq tâches, suggérant que l'intuition humaine joue encore un rôle, même si le LLM devient très performant.

En bref, LEACL suggère que nous n'avons plus besoin d'écrire les manuels d'instruction détaillés pour les robots. Nous pouvons simplement donner un objectif au robot, laisser un modèle de langage IA trouver la meilleure façon de l'enseigner, et regarder le robot apprendre à accomplir des tâches complexes à plusieurs étapes tout seul.

Résumé Technique : LEACL - Apprentissage de Curriculum Automatique Amélioré par les LLM pour l'Apprentissage par Renforcement dans les Tâches de Manipulation à Longue Horizon

Énoncé du Problème

Les tâches de manipulation à longue horizon présentent des défis importants pour l'apprentissage par renforcement (RL) en raison de signaux de récompense parcimonieux (sparse rewards) et de la complexité de l'exploration d'espaces d'états continus et de haute dimension sur des horizons temporels étendus. Bien que l'Apprentissage de Curriculum Automatique (ACL) soit apparu comme une solution pour améliorer l'efficacité de l'échantillonnage en entraînant les agents sur une séquence de tâches allant du plus facile au plus difficile, son succès dépend fortement de spécifications dépendantes de la tâche. Ces spécifications incluent des espaces de paramètres de tâches bien définis et des mesures de difficulté, qui sont traditionnellement conçus manuellement. Cet effort manuel limite la généralisation à travers diverses tâches.

De plus, les méthodes existantes qui tentent d'automatiser la conception de curriculum reposent souvent sur des Modèles de Langage de Grande Taille (LLM) pour générer des fonctions de récompense denses pour les sous-tâches. Cependant, la conception de récompenses denses est sujette aux biais, nécessite une supervision humaine significative et peut ne pas s'aligner avec les objectifs réels parsemés (sparse), ce qui peut conduire à l'échec de la tâche ou à des comportements « imprécis » qui ne satisfont pas les prédicats précis.

Méthodologie : Cadre LEACL

Les auteurs proposent le LEACL (LLM-Enhanced Automatic Curriculum Learning), un cadre qui intègre les LLM avec l'ACL pour éliminer le besoin de fonctions de récompense denses conçues manuellement. LEACL opère en trois étapes séquentielles :

1. Décomposition de Tâche Basée sur le LLM

Au lieu d'entraîner l'agent directement sur la tâche cible, le cadre décompose d'abord une tâche complexe à longue horizon (décrite en langage naturel) en une séquence de sous-tâches sémantiquement significatives.

Processus : Un LLM génère une séquence de sous-tâches en langage naturel. Celles-ci sont ensuite converties en spécifications PDDL (Planning Domain Definition Language).
Mécanisme : Le système emploie une stratégie de prompting à deux niveaux avec des mécanismes de réflexion (validation syntaxique et raffinement itératif) pour garantir que les spécifications PDDL générées sont syntaxiquement valides et exécutables.
Sortie : Une séquence de sous-tâches, chacune définie par un ensemble de littéraux initiaux ( $I_i$ ) et de littéraux d'objectif ( $G_i$ ), formant une séquence de MDP.

2. Génération de Méta-Tâches par LLM

Pour faciliter l'ACL sans récompenses denses, le LLM génère des spécifications dépendantes de la tâche pour chaque sous-tâche.

Espace de Paramètres de la Tâche : Le LLM identifie un vecteur de paramètres (par exemple, positions initiales des objets, distances d'ouverture cibles) qui définit un espace de contrôle. Il génère une fonction Python pour mapper ces paramètres vers des spécifications PDDL valides, créant ainsi un espace de tâches paramétrique.
Mesure de Difficulté : Le LLM génère une séquence de vecteurs de paramètres explicitement ordonnés par difficulté. Cela permet au curriculum de progresser d'instances plus faciles (ex: un tiroir ouvert à 25 %) vers des instances plus difficiles (ex: 100 %).
Distinction Clé : Contraque les travaux antérieurs, le LLM ne génère pas de fonctions de récompense ; il génère les spécifications structurelles nécessaires au fonctionnement de l'algorithme d'ACL.

3. Apprentissage de Curriculum Automatique (ACL)

Le cadre utilise des algorithmes d'ACL établis (spécifiquement la Randomisation de Domaine Active dans les expériences) pour entraîner l'agent.

Processus : L'algorithme d'ACL sélectionne de manière adaptative les tâches d'entraînement à partir de l'espace de paramètres généré par le LLM en fonction des capacités actuelles de l'agent (par exemple, les récompenses épisodiques passées ou les erreurs de différence temporelle).
Signal de Récompense : L'agent apprend en utilisant uniquement des récompenses de complétion de tâche parcimonieuses (récompense = 1 lors de la satisfaction de l'objectif, 0 sinon). Aucune récompense de façonnage (shaping) dense n'est utilisée.
Agrégation : Une fois que l'agent maîtrise la séquence de sous-tâches, les politiques sont agrégées pour résoudre la tâche cible originale.

Contributions Clés

Cadre Novateur : L'introduction de LEACL, qui intègre la génération de curriculum par LLM avec les méthodes d'ACL, permettant aux agents de RL de résoudre des tâches de manipulation à longue horizon en utilisant uniquement des récompenses parcimonieuses.
Élimination des Récompenses Denses : Le cadre supprime la dépendance aux fonctions de récompense denses conçues par des experts ou par LLM, qui sont souvent difficiles à généraliser et peuvent introduire des biais.
Le LLM comme Générateur de Méta-Tâches : L'article démontre l'utilisation des LLM pour générer des spécifications dépendantes de la tâche (espaces de paramètres et mesures de difficulté) plutôt que des curricula directs ou des récompenses, simplifiant ainsi la conception du prompt et réduisant la surcharge de requêtes LLM pendant l'entraînement.
Validation Empirique : Évaluation étendue sur le benchmark LIBERO+ (une extension du benchmark LIBERO avec des prédicats paramétrés) à travers cinq tâches de manipulation diverses.

Résultats Expérimentaux

Les auteurs ont évalué LEACL par rapport à plusieurs lignes de base sur cinq tâches à longue horizon (ex: "ouvrir le tiroir du bas", "mettre la tasse dans le micro-ondes") :

vs. RL à Récompense Parcimonieuse : LEACL a nettement surpassé le RL standard entraîné uniquement avec des récompenses parcimonieuses (qui a atteint 0 % de succès sur la plupart des tâches).
vs. LEACL sans ACL : LEACL a surpassé une version utilisant la décomposition par LLM mais sans apprentissage de curriculum, démontrant que la décomposition seule est insuffisante pour l'apprentissage à récompense parcimonieuse.
vs. LEAGUE (Récompenses Denses) : LEACL a obtenu des performances supérieures ou compétitives par rapport à LEAGUE, une ligne de base utilisant des fonctions de récompense denses conçues par des experts. Notamment, LEACL a surpassé LEAGUE sur 4 tâches sur 5, suggérant que les récompenses denses peuvent parfois entraver l'apprentissage de comportements précis requis pour des conjonctions complexes de prédicats.
vs. Curriculum Humain : LEACL a obtenu des performances compétitives par rapport à une ligne de base de "Curriculum Humain" (où des experts ont conçu à la fois la décomposition et les espaces de tâches). Bien que la ligne de base humaine ait légèrement mieux performé sur 3 tâches, les auteurs notent que la ligne de base humaine nécessitait un effort itératif important, tandis que LEACL opère de manière "zero-shot".

Signification et Revendications

L'article affirme que LEACL offre une approche scalable et adaptable à l'acquisition de compétences robotiques en exploitant le sens commun des LLM pour structurer le processus d'apprentissage sans intervention humaine dans la conception des récompenses.

Efficacité : La méthode atteint une performance asymptotique supérieure (taux de succès) par rapport aux lignes de base sans ACL et une performance compétitive face aux solutions conçues par l'homme.
Généralisation : En évitant l'ingénierie de récompenses denses spécifiques à la tâche, le cadre vise à être plus généralisable à travers diverses tâches de manipulation.
Limites : Les auteurs reconnaissent que LEACL repose actuellement sur une grammaire prédéfinie (un ensemble de prédicats disponibles a priori, comme dans LIBERO+). Des travaux futurs sont suggérés pour explorer des méthodes où les LLM peuvent proposer automatiquement des grammaires spécifiques aux tâches afin de réduire davantage la dépendance humaine.

En résumé, LEACL soutient que la combinaison de la décomposition structurelle pilotée par LLM et de l'ACL, opérant sur des récompenses parcimonieuses, constitue une voie plus robuste et moins laborieuse pour résoudre les tâches de manipulation à longue horizon que les approches traditionnelles de récompenses denses.