Agentic LLM Planning via Step-Wise PDDL Simulation: An Empirical Characterisation

Cette étude évalue l'efficacité d'un moteur de simulation PDDL interactif (PyPDDLEngine) permettant aux modèles de langage d'agir comme des agents de planification itérative, révélant que bien que cette approche agentic offre un léger avantage en taux de réussite par rapport à la planification directe, elle reste nettement moins performante que les solveurs symboliques classiques et souffre d'un manque de vérification externe contrairement aux agents de codage.

L'essentiel

🧠 Le Grand Débat : L'Intuition vs. La Méthode

Imaginez que vous devez résoudre un casse-tête géant (comme déplacer des blocs de Lego d'une tour à une autre). Il existe deux façons de le faire :

1. Le Grand Architecte (Les Planners Classiques) : C'est un robot très logique, comme un super-calculateur. Il ne "devine" rien. Il examine chaque possibilité, calcule des millions de chemins en une seconde et vous sort le chemin parfait. C'est fiable, mais ça ne "sent" pas les choses.
2. Le Génie Créatif (Les IA comme Claude) : C'est une IA entraînée sur tout Internet. Elle a lu des millions de livres et de manuels. Quand on lui demande de résoudre le problème, elle utilise son "intuition" et sa mémoire pour écrire une solution d'un seul coup, comme si elle avait déjà vu ce casse-tête des milliers de fois.

La question de l'article : Si on donne à l'IA un petit coup de pouce pour qu'elle agisse pas à pas, en vérifiant ses erreurs au fur et à mesure (comme un humain qui essaie, se trompe, et recommence), deviendra-t-elle aussi bonne que le Grand Architecte ?

🛠️ L'Expérience : PyPDDLEngine (Le Terrain de Jeu)

Les chercheurs ont créé un nouvel outil appelé PyPDDLEngine. Imaginez-le comme un simulateur de réalité virtuelle pour robots.

• Sans l'outil (Approche Directe) : On demande à l'IA : "Voici le problème, donne-moi la solution complète tout de suite." Si elle se trompe, on efface tout et on lui redemande, sans lui dire où elle a fait l'erreur. C'est comme essayer de deviner le mot de passe d'un coffre-fort en lançant des mots au hasard.
• Avec l'outil (Approche "Agent") : On dit à l'IA : "Fais un mouvement, puis dis-moi ce qui s'est passé." L'IA déplace un bloc, le simulateur lui dit "OK, le bloc est là", puis l'IA décide du mouvement suivant. Si elle se rend compte qu'elle est dans une impasse, elle peut dire "Attends, je recommence de zéro". C'est comme apprendre à faire du vélo : on tombe, on se relève, et on ajuste l'équilibre.

📊 Les Résultats : Qui gagne ?

Les chercheurs ont testé cela sur 102 casse-têtes de difficulté croissante, avec un chrono de 3 minutes pour chacun.

1. Le Grand Architecte (Fast Downward) : Il a gagné 85% des parties. C'est le champion incontesté. Il est rapide et ne se trompe jamais.
2. L'IA Directe : Elle a gagné 64% des parties. Elle est bonne, mais elle se trompe souvent.
3. L'IA "Agent" (avec le simulateur) : Elle a gagné 67% des parties.

Le verdict ? L'approche "pas à pas" a permis à l'IA de gagner 3% de plus que l'approche directe. C'est une amélioration, mais très modeste. De plus, pour obtenir ces 3% de victoire en plus, l'IA a consommé 5,7 fois plus d'énergie (de "tokens", c'est-à-dire de calculs) que l'approche directe.

🤔 Le Mystère : Pourquoi l'IA fait-elle de si bons plans ?

C'est ici que ça devient fascinant. Sur les problèmes où tout le monde a réussi, l'IA a produit des plans plus courts que le Grand Architecte, même si ce dernier a eu le temps de perfectionner sa solution !

L'explication des chercheurs : L'IA ne "réfléchit" pas vraiment comme un humain qui apprend. Elle se souvient.

• Imaginez un étudiant qui a lu tous les manuels de Lego du monde. Quand on lui donne un casse-tête, il ne cherche pas la solution ; il se souvient d'une solution similaire qu'il a déjà vue dans un livre.
• C'est pour ça que ses plans sont courts : il a "recopié" la solution idéale de sa mémoire.
• Si on changeait les noms des blocs (pour qu'ils ne correspondent plus à ce qu'il a lu), l'IA perdrait tout son talent et tomberait à zéro.

🚗 La Leçon pour les Robots du Futur

C'est la partie la plus importante pour l'avenir de la robotique.

Dans le monde du code informatique, les agents IA sont incroyables. Pourquoi ? Parce que quand ils font une erreur, l'ordinateur leur crie : "ERREUR DE SYNTAXE ! LIGNE 42 !". C'est un signal clair, objectif et extérieur. L'IA sait exactement où elle a raté.

Dans notre expérience avec les blocs (PDDL), l'IA se juge elle-même. Elle regarde le monde et se dit : "Hmm, je pense que je suis dans une impasse". Mais elle n'a pas de signal extérieur pour confirmer.

• Résultat : Elle a souvent arrêté de jouer trop tôt, pensant que le problème était impossible, alors qu'une solution existait. Elle s'est trompée sur sa propre progression.

La conclusion en image :
Donner à un robot une intelligence artificielle (le cerveau) et lui dire "avance pas à pas" ne suffit pas. Il faut aussi lui donner des yeux et des oreilles qui lui disent clairement : "Non, tu t'éloignes du but" ou "Bravo, tu es sur la bonne voie". Sans ce feedback extérieur fiable, l'IA reste un peu perdue, même si elle est très intelligente.

En résumé

Cette étude nous dit que :

1. Les IA actuelles sont de superbes mémoire (elles se souviennent de solutions), mais pas encore de vrais planificateurs (elles ne savent pas raisonner de zéro sur des problèmes nouveaux).
2. L'approche "pas à pas" aide un peu, mais pas autant qu'on l'espérait, car l'IA manque de feedback extérieur pour corriger ses erreurs.
3. Pour que les robots deviennent vraiment autonomes, il ne suffit pas de leur donner un cerveau puissant ; il faut leur construire un environnement qui leur donne des signaux clairs quand ils font une erreur.

Résumé technique

1. Problématique

La planification de tâches (séquence d'actions pour atteindre un objectif) est une capacité fondamentale pour les systèmes robotiques autonomes. Bien que les planificateurs symboliques classiques (comme Fast Downward) soient efficaces grâce à une recherche systématique sur des modèles formels, l'utilisation des Grands Modèles de Langage (LLM) comme planificateurs viables reste une question ouverte.

L'hypothèse sous-jacente est que les systèmes d'agents LLM, qui interagissent de manière itérative avec un environnement, pourraient surpasser la génération directe de plans en observant les retours d'état après chaque action. Cependant, il manque un cadre d'évaluation systématique pour déterminer si cette interaction pas à pas (step-wise) dans un simulateur de planification (PDDL) améliore réellement les performances par rapport à une génération directe, et dans quelles conditions.

2. Méthodologie

Outil Principal : PyPDDLEngine

Les auteurs ont développé PyPDDLEngine, une bibliothèque Python open-source qui implémente un moteur de simulation PDDL.

• Interface MCP : L'outil expose les opérations de planification via le Model Context Protocol (MCP), permettant aux LLM d'appeler des outils spécifiques.
• Fonctionnalités : Il permet d'initialiser un problème, de requérir l'état courant, de lister les actions applicables, d'exécuter une action unique, de réinitialiser l'environnement, d'inspecter l'historique et de valider un plan complet.
• Rôle de l'LLM : Contrairement aux validateurs classiques qui rejettent un plan complet, PyPDDLEngine permet à l'LLM de naviguer dans l'espace d'états pas à pas, agissant comme une politique de recherche interactive.

Protocole Expérimental

L'étude compare quatre approches sur 102 instances du domaine "Blocksworld" (International Planning Competition - IPC) avec un budget de temps uniforme de 180 secondes :

1. Fast Downward (lama-first) : Planificateur classique gourmand (satisfaisant), servant de référence de base.
2. Fast Downward (seq-sat-lama-2011) : Planificateur classique "anytime" qui itère pour améliorer la qualité du plan.
3. Génération Directe (Direct LLM) : Utilisation de Claude Haiku 4.5 pour générer un plan complet en une seule passe. En cas d'échec, le modèle est réinterrogé sans feedback d'erreur.
4. Planification Agente (Agentic LLM) : Utilisation de Claude Haiku 4.5 via PyPDDLEngine. Le modèle exécute une action, observe l'état résultant, et peut décider de continuer, de réessayer ou de réinitialiser le problème s'il juge la trajectoire improductive.

Les métriques évaluées incluent le taux de réussite, la longueur des plans, les modes d'échec et le coût en tokens.

3. Contributions Clés

1. PyPDDLEngine : Un moteur de simulation PDDL open-source avec interface MCP, positionnant l'LLM comme une politique de recherche interactive au sein du système de transition, plutôt que comme un simple générateur de texte.
2. Caractérisation Empirique : Une évaluation comparative rigoureuse montrant que l'avantage des approches agentes est modeste et dépend fortement de la nature du feedback environnemental.
3. Analyse de la Qualité des Plans : Une observation contre-intuitive où les LLM produisent des plans plus courts que les planificateurs classiques itératifs, suggérant un mécanisme de "rappel" (recall) plutôt que de recherche itérative.

4. Résultats Principaux

• Taux de Réussite :

  • Fast Downward : 85,3 % (87/102 instances).
  • LLM Direct : 63,7 %.
  • LLM Agente : 66,7 %.
  • Observation : L'approche agente offre un avantage constant mais modeste de 3 points de pourcentage par rapport à la génération directe.

• Coût et Efficacité :

  • L'approche agente coûte 5,7 fois plus cher en tokens par solution réussie que l'approche directe.
  • Les gains de réussite sont concentrés dans des régimes de difficulté spécifiques (moyenne à élevée), mais l'approche agente échoue parfois à identifier des problèmes solubles (sorties anticipées incorrectes).

• Qualité des Plans (Longueur) :

  • Sur les instances résolues par les quatre méthodes, les deux approches LLM produisent des plans plus courts que ceux de Fast Downward seq-sat-lama-2011 (qui est conçu pour optimiser la longueur).
  • Cela suggère que les LLM ne "rationalisent" pas leur chemin via l'interaction, mais semblent rappeler des solutions quasi-optimales issues de leurs données d'entraînement.

• Analyse des Échecs :

  • L'approche agente a produit 6 "sorties anticipées" (early exits) où le modèle a jugé le problème insoluble alors qu'il l'était (démontré par le fait que la génération directe a réussi sur 4 de ces cas). Cela indique une incapacité de l'agent à évaluer correctement sa propre progression sans feedback externe.

5. Signification et Discussion

• Limites du Feedback Auto-évalué : La différence majeure entre les agents de codage (qui réussissent grâce à des erreurs de compilation ou des tests unitaires) et les agents de planification PDDL réside dans la nature du feedback.
  • En codage, le feedback est externement ancré (objectif, directionnel).
  • En PDDL pas à pas, le feedback est auto-généré (l'agent sait seulement si une action est applicable, pas s'il progresse vers l'objectif). Sans signal externe de progression, l'auto-correction est inefficace.
• Hypothèse de Mémorisation : Le fait que les LLM produisent des plans plus courts que les planificateurs itératifs, sans mécanisme d'amélioration de la qualité, soutient l'hypothèse que les LLM sur Blocksworld fonctionnent par rappel de motifs d'entraînement plutôt que par raisonnement de planification généralisable.
• Implications pour la Robotique : Pour qu'un LLM soit un planificateur efficace en robotique, le système de perception ne doit pas seulement fournir l'état du monde, mais doit fournir des signaux de feedback externes et objectifs indiquant si l'agent progresse vers l'objectif. La performance d'un agent LLM est limitée par la richesse de ce feedback, et non par ses connaissances du monde.

Conclusion : Bien que l'interaction agentique apporte un léger gain de réussite, elle ne transforme pas fondamentalement la capacité de planification des LLM actuels. Les résultats suggèrent que les LLM agissent davantage comme des navigateurs adaptatifs d'espaces de problèmes familiers que comme des planificateurs généraux capables de raisonner à partir de zéro.