💬 NLP

Self-Guided Plan Extraction for Instruction-Following Tasks with Goal-Conditional Reinforcement Learning

Le papier présente SuperIgor, un cadre d'apprentissage par renforcement conditionnel aux objectifs qui permet aux modèles de langage de générer et d'affiner autonomement des plans de haut niveau pour exécuter des tâches suivant des instructions, améliorant ainsi la rigueur et la généralisation sans annotation manuelle.

Auteurs originaux : Zoya Volovikova, Nikita Sorokin, Dmitriy Lukashevskiy, Aleksandr Panov, Alexey Skrynnik

Publié 2026-04-23

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Zoya Volovikova, Nikita Sorokin, Dmitriy Lukashevskiy, Aleksandr Panov, Alexey Skrynnik

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

🌟 Le Concept : Un Chef d'Orchestre et un Apprenti

Imaginez que vous voulez apprendre à quelqu'un à construire une maison complexe en Lego, mais vous ne pouvez lui donner qu'une seule phrase : "Fais une maison."

Si vous donnez cette phrase à un robot (une intelligence artificielle) sans plus d'explications, il va probablement se tromper, casser des briques ou construire un tas informe. C'est le problème des robots actuels : ils sont forts pour bouger, mais ils ont du mal à comprendre les grandes instructions.

SuperIgor, c'est comme si vous aviez deux personnes travaillant ensemble :

Le Chef de Chantier (le Modèle de Langage / LLM) : Il est très intelligent, il lit les livres et connaît la théorie. Il a l'idée de comment construire la maison.
L'Apprenti (l'Agent de Renforcement / RL) : C'est celui qui a les mains dans le cambouis. Il pose les briques, mais il ne sait pas toujours si c'est bien fait.

🔄 La Magie : L'Apprentissage par "Essais et Erreurs"

Avant SuperIgor, les chercheurs devaient écrire manuellement des listes de tâches pour chaque instruction (ex: "1. Prends du bois, 2. Coupe-le, 3. Fais un mur"). C'était long, cher et impossible à faire pour tout.

SuperIgor change la donne avec une boucle de rétroaction automatique, un peu comme un jeu de rôle où le scénariste s'améliore grâce aux acteurs :

Le Chef propose un plan : Le Chef de Chantier (l'IA) lit l'instruction "Fais une maison" et écrit un plan détaillé : "D'abord, ramasse du bois. Ensuite, fais des planches. Puis, construis un mur."
L'Apprenti essaie : L'Apprenti (le robot) essaie d'exécuter ce plan dans le jeu. S'il réussit, super ! S'il échoue (parce qu'il a oublié de faire un outil avant), il échoue.
Le Feedback (La clé du succès) : C'est ici que la magie opère.
- Si l'Apprenti échoue, il ne dit pas juste "J'ai raté". Il envoie un signal au Chef : "Hé Chef, ton plan était nul, j'ai essayé de faire des planches sans avoir de bois, impossible !".
- Le Chef écoute cette critique. Il ne se contente pas de réécrire le plan au hasard. Il apprend de ses erreurs. La prochaine fois, il proposera un plan plus logique.
La Boucle : Ils répètent ce processus encore et encore. Le Chef devient un meilleur planificateur, et l'Apprenti devient un meilleur exécutant. Ils s'améliorent ensemble, sans qu'un humain ait besoin de corriger un seul plan à la main.

🎓 La Méthode "Curriculum" : Apprendre à marcher avant de courir

Le papier mentionne un concept appelé "Skill Curriculum Learning" (Apprentissage par curriculum de compétences).

Imaginez un entraîneur de sport. Si vous demandez à un débutant de faire un marathon demain, il va s'effondrer.

L'approche classique : On lance le robot dans le marathon (la tâche complexe) et on espère qu'il comprendra.
L'approche SuperIgor : L'entraîneur (le système) commence par des tâches simples.
- Jour 1 : "Ramasse juste une brindille." (L'apprenti réussit).
- Jour 2 : "Maintenant, fais une planche." (L'apprenti a déjà la brindille, c'est plus facile).
- Jour 3 : "Construis un petit mur."

Le système détecte automatiquement quand l'apprenti a maîtrisé une compétence (comme ramasser du bois) et passe à la suivante. Cela permet au robot d'apprendre des tâches très complexes sans se décourager par des récompenses trop rares.

🏆 Le Résultat : Pourquoi c'est génial ?

Grâce à cette méthode, SuperIgor a été testé dans un monde virtuel complexe (CrafText, un peu comme Minecraft).

Moins de travail manuel : Plus besoin d'humains pour annoter des milliers de vidéos de réussite. L'IA génère ses propres plans.
Meilleure généralisation : Si vous changez les mots de l'instruction (ex: au lieu de "Fabrique un four", vous dites "Construis un appareil pour cuire", ou si vous ajoutez de nouveaux objets), SuperIgor s'adapte beaucoup mieux que les autres robots. Il comprend la logique derrière l'action, pas juste la phrase exacte.
Robustesse : Même si le plan initial n'est pas parfait, le système de feedback permet de le corriger et de trouver la meilleure façon de faire.

🚀 En résumé

SuperIgor, c'est comme donner à un robot un cerveau capable de réfléchir (le Chef) et un corps capable d'agir (l'Apprenti), et de les faire travailler en équipe pour apprendre par eux-mêmes. Au lieu de leur donner un manuel d'instructions rigide, on leur apprend à inventer leur propre manuel en essayant, en échouant, et en s'ajustant mutuellement.

C'est un pas de géant vers des robots qui peuvent vraiment comprendre et suivre des ordres complexes dans le monde réel, sans qu'il faille les programmer à la main pour chaque petite action.

1. Problématique et Contexte

Le suivi d'instructions (Instruction Following) par des agents IA dans des environnements dynamiques et partiellement observables (POMDP) pose un défi majeur : l'alignement entre les instructions en langage naturel et les comportements à long terme, surtout lorsque les récompenses sont rares et différées (seulement à la fin de la tâche).

Les approches existantes souffrent de deux limitations principales :

Méthodes basées sur la démonstration : Elles nécessitent des quantités massives de données d'experts annotées manuellement, ce qui limite leur évolutivité.
Méthodes basées sur l'expérience (RL) : Elles peinent à ancrer les instructions complexes sans sous-objectifs prédéfinis ou bibliothèques de compétences existantes. De plus, les méthodes de planification actuelles reposent souvent sur des sous-objectifs fixes ou des modèles de langage (LLM) très coûteux (100B+ paramètres) qui ne s'adaptent pas bien aux dynamiques de l'environnement.

L'objectif est de développer un système capable d'apprendre à suivre des instructions complexes sans sous-tâches prédéfinies et sans annotation manuelle, en utilisant une boucle d'apprentissage autonome entre un planificateur (LLM) et un agent d'exécution (RL).

2. Méthodologie : Le Framework SuperIgor

SuperIgor propose un paradigme d'entraînement auto-supervisé et itératif qui combine la planification par LLM et l'apprentissage par renforcement (RL). Le processus repose sur une boucle de rétroaction où le planificateur et l'agent s'améliorent conjointement.

A. Architecture Globale

Le système fonctionne par cycles itératifs comprenant quatre étapes clés :

Génération de Plans : Le LLM extrait des sous-tâches à partir des instructions et génère plusieurs plans candidats.
Apprentissage de la Politique (RL) : Un agent RL (utilisant l'algorithme PPO) apprend à exécuter ces plans dans l'environnement.
Validation des Plans : La qualité des plans est évaluée via le taux de succès de l'agent.
Affinement du LLM (Fine-tuning) : Le LLM est mis à jour en utilisant les retours de l'agent pour améliorer la génération de plans futurs.

B. Composants Clés

Génération de Plans et Ontologie (Cycle 1) :
- Au lieu de générer des plans libres, le système construit d'abord une base de sous-tâches normalisée (vocabulary) à partir des instructions.
- Il induit une ontologie (graphe de dépendances) qui définit quelles sous-tâches doivent précéder d'autres (ex: "collecter du bois" avant "fabriquer une hache").
- Les plans sont ensuite expansés à partir de cette ontologie pour garantir la cohérence logique et éviter les contradictions.
Apprentissage de Politique avec "Skill Curriculum Learning" :
- Pour résoudre le problème de la récompense rare, SuperIgor introduit un curriculum dynamique.
- L'agent commence par apprendre des sous-tâches simples (un seul objectif). Dès qu'un sous-objectif est maîtrisé (taux de succès > seuil $\tau$ ), il est ajouté à la liste des compétences acquises.
- Le curriculum s'élargit progressivement pour inclure des plans combinant des compétences maîtrisées et au plus une nouvelle compétence non maîtrisée. Cela permet une courbe d'apprentissage lisse.
Optimisation par Préférence Directe (DPO) :
- Au lieu d'utiliser des récompenses brutes pour entraîner le LLM, SuperIgor utilise le DPO (Direct Preference Optimization).
- Le LLM apprend à classer les plans en fonction de leur succès empirique observé par l'agent RL. Les plans qui mènent à un meilleur comportement sont favorisés, créant un biais de sélection automatique vers des plans "exécutables".
Boucle Itérative (Cycles 2-N) :
- Les plans sont réévalués et reclassés à chaque cycle. Le LLM affine sa distribution de probabilité pour privilégier les structures de plans que l'agent peut apprendre efficacement, réduisant ainsi l'espace de recherche.

3. Contributions Principales

Nouveau Paradigme d'Entraînement : Une méthode auto-supervisée où les plans sont générés et affinés par l'interaction entre un LLM et un agent RL, éliminant le besoin de datasets annotés manuellement.
Curriculum d'Apprentissage de Compétences : Une stratégie spécifique pour entraîner un agent RL à suivre des plans complexes malgré des récompenses très clairsemées, en construisant progressivement un arbre de compétences.
Intégration LLM-RL via DPO : Utilisation du DPO pour aligner la génération de plans du LLM sur les capacités réelles d'exécution de l'agent, agissant comme un mécanisme de sélection de curriculum automatisé.
Validation sur CrafText : Implémentation réussie dans l'environnement CrafText (monde ouvert, dynamique, partiellement observable), démontrant une robustesse supérieure aux benchmarks existants.

4. Résultats Expérimentaux

Les expériences ont été menées sur le benchmark FOCUS (dérivé de CrafText), comprenant des tâches atomiques, des combinaisons (Combo), et des tests de généralisation (Paraphrases, Nouveaux Objets).

Efficacité et Généralisation :
- Les agents SuperIgor surpassent largement les méthodes de base (RL sans plans ou avec plans statiques). Sur les tâches atomiques, le taux de succès passe de ~0.15 (baselines) à 0.44.
- Généralisation : Sur les tâches "Nouveaux Objets" (combinaisons d'objectifs jamais vues ensemble), SuperIgor montre une meilleure stabilité que les agents entraînés avec des plans "Oracle" (experts). Bien que le taux de succès absolu soit plus faible que l'Oracle, la dégradation est moins sévère, prouvant une meilleure capacité à généraliser grâce à l'exposition à une variété de plans alternatifs.
- Robustesse Linguistique : Les agents maintiennent leurs performances même lorsque les instructions sont reformulées (Paraphrases), contrairement aux agents purement basés sur LLM qui échouent sur les tâches compositionnelles.
Impact du Curriculum et de la Qualité des Plans :
- L'ablation montre que le curriculum n'est efficace que s'il est couplé à une génération de plans structurée par ontologie. Sans ontologie, le curriculum échoue (taux de succès ~0.06).
- L'utilisation de DPO pour réorganiser les plans accélère l'apprentissage au deuxième cycle, confirmant que l'adaptation itérative du planificateur est cruciale.
Comparaison avec les LLM seuls :
- Les agents basés uniquement sur des LLM (sans RL) échouent presque totalement sur les tâches complexes (Combo), confirmant que l'apprentissage ancré dans l'environnement est indispensable pour le suivi d'instructions à long terme.

5. Signification et Conclusion

Le framework SuperIgor représente une avancée significative pour l'agentique incarnée (Embodied AI). Il démontre qu'il est possible de créer des agents capables de suivre des instructions complexes dans des environnements ouverts et dynamiques sans dépendre de démonstrations humaines coûteuses ni de sous-objectifs pré-définis.

En combinant la flexibilité sémantique des LLM avec la robustesse de l'apprentissage par renforcement, et en utilisant un mécanisme de rétroaction itérative (DPO + Curriculum), SuperIgor résout le problème de l'ancrage (grounding) des instructions à long terme. Cette approche ouvre la voie à des systèmes plus évolutifs et autonomes capables de s'adapter à de nouveaux environnements et de nouvelles tâches par l'expérience, plutôt que par la simple mémorisation de données d'entraînement.