Localizing and Correcting Errors for LLM-based Planners

Cet article propose une méthode d'apprentissage par contexte localisé (L-ICL) qui corrige itérativement les erreurs des planificateurs basés sur les grands modèles de langage en injectant des exemples ciblés pour les étapes violant les contraintes, améliorant ainsi considérablement leur capacité à générer des plans valides par rapport aux approches traditionnelles.

L'essentiel

Le Problème : L'IA qui rêve de traverser les murs

Imaginez que vous demandez à un robot très intelligent (une IA basée sur un "Grand Modèle de Langage" ou LLM) de vous aider à sortir d'un labyrinthe complexe. Vous lui donnez la carte, vous lui dites : "Il y a des murs, tu ne peux pas les traverser, et tu dois aller d'ici à là-bas."

Le problème ? Ce robot est un génie des mathématiques et du code, mais c'est un rêveur quand il s'agit de logique spatiale. Souvent, au lieu de faire un détour, il propose de marcher tout droit à travers un mur, comme s'il était un fantôme. Il ignore les règles du jeu qu'on lui a pourtant données.

Les chercheurs ont découvert que ces IA échouent souvent non pas parce qu'elles ne connaissent pas les règles, mais parce qu'elles ne les appliquent pas correctement à chaque étape de leur plan.

La Solution : L'Entraînement par "Corrections Localisées" (L-ICL)

Pour régler ce problème, les auteurs proposent une méthode appelée L-ICL (Localized In-Context Learning). Pour faire simple, c'est comme passer d'un cours magistral ennuyeux à un tuteur personnel ultra-efficace.

Voici l'analogie pour comprendre la différence :

1. L'approche traditionnelle (ICL classique) :
   Imaginez que vous apprenez à conduire. Le tuteur vous donne un livre entier rempli de 100 histoires de gens qui ont conduit parfaitement d'un point A à un point B.

   • Le problème : Vous voyez le résultat final (la voiture est arrivée), mais vous ne savez pas exactement pourquoi le conducteur a tourné à gauche à la troisième rue plutôt qu'à droite. Vous apprenez par cœur des trajets, mais pas les règles de la route. C'est long et inefficace.

2. L'approche L-ICL (La méthode du papier) :
   Imaginez maintenant que vous conduisez avec un tuteur à côté de vous. Dès que vous faites une erreur (par exemple, vous tentez de vous garer sur un trottoir), le tuteur ne vous donne pas tout le livre de la route. Il s'arrête, pointe du doigt exactement l'erreur et dit :

   "Attends, ici, tu ne peux pas tourner à droite à cause du panneau STOP. Voici un petit exemple : Si tu es à cet endroit, tu dois aller tout droit."

   Le tuteur ne vous donne que l'exemple précis de l'erreur que vous venez de commettre. Il ne vous donne pas tout le trajet, juste la correction de ce moment précis.

Comment ça marche concrètement ?

Le processus fonctionne comme un jeu de "Trouvez l'erreur" en boucle :

1. Le test : L'IA essaie de résoudre un problème (comme traverser un labyrinthe).
2. La détection : Un système automatique (l'oracle) regarde le plan de l'IA et repère la première fois où elle enfreint une règle (ex: "Elle a voulu traverser un mur").
3. La correction ciblée : Au lieu de rejeter tout le plan, le système crée un petit "fiche de correction" : "Pour cette situation précise, la bonne réponse est X".
4. L'accumulation : Cette petite fiche est ajoutée aux instructions de l'IA pour la prochaine fois.
5. La répétition : On recommence avec de nouveaux problèmes. L'IA accumule une petite bibliothèque de "rappels" précis sur ses erreurs passées.

Pourquoi c'est génial ? (Les résultats)

Les chercheurs ont testé cette méthode sur des jeux comme des labyrinthes, Sokoban (pousser des boîtes) et des blocs empilés.

• Efficacité incroyable : Avec seulement 60 exemples de corrections ciblées, l'IA réussit à faire des plans valides 89 % du temps.
• Comparaison : Les autres méthodes, qui donnaient des milliers de pages de solutions complètes (20 000 caractères), n'arrivaient qu'à 59 % de réussite.
• L'analogie : C'est comme si, pour apprendre à jouer aux échecs, il valait mieux recevoir 60 fiches disant "Ne fais jamais ce coup précis ici" plutôt que de lire 10 livres entiers de parties gagnées.

En résumé

Ce papier nous apprend que pour rendre une IA plus fiable, il ne faut pas lui donner plus d'informations brutes, mais lui donner les bonnes informations au bon moment.

Au lieu de lui montrer tout le chemin (ce qui la noie), on lui montre exactement où elle trébuche et on lui donne la solution pour ce pas précis. C'est une méthode d'apprentissage par l'erreur, très ciblée, qui transforme un rêveur qui traverse les murs en un planificateur rigoureux qui respecte les règles.

C'est comme passer d'un professeur qui vous donne tout le manuel à un coach sportif qui vous corrige instantanément votre posture à chaque mouvement, rendant l'apprentissage beaucoup plus rapide et solide.

Résumé technique

1. Problématique

Les grands modèles de langage (LLM) ont démontré des capacités de raisonnement impressionnantes dans des domaines comme les mathématiques et la programmation. Cependant, ils échouent fréquemment sur des tâches de planification classique symbolique, même lorsque les instructions et les contraintes du domaine sont fournies explicitement.

Les études antérieures et les travaux des auteurs montrent que les plans générés par les LLM violent systématiquement les contraintes du domaine (par exemple, traverser des murs dans un labyrinthe ou saisir un bloc lorsque le préhenseur est déjà occupé).

• Hypothèse centrale : Les LLM ne parviennent pas à accéder de manière cohérente aux connaissances spécifiques au domaine nécessaires pour appliquer les règles lors de la génération du plan.
• Échec des approches existantes : Les méthodes traditionnelles d'apprentissage en contexte (ICL) qui fournissent des trajectoires de résolution complètes (ex: RAG-ICL) se révèlent inefficaces. Elles montrent que la solution fonctionne, mais n'expliquent pas implicitement pourquoi chaque étape individuelle est valide, laissant les contraintes sous-entendues et difficiles à inférer.

2. Méthodologie : L-ICL (Localized In-Context Learning)

Pour résoudre ce problème, les auteurs proposent une méthode appelée L-ICL (Localized In-Context Learning). Cette approche s'appuie sur le Program Trace Prompting (PTP) et introduit un mécanisme de correction itérative et localisée.

A. Fondement : Program Trace Prompting (PTP)

Au lieu de demander au LLM de générer un plan libre, le PTP recadre le raisonnement comme la production d'une "trace d'exécution" pour un programme partiellement spécifié.

• Le prompt contient la documentation des sous-routines (noms, types d'arguments, description du but) mais pas leur implémentation.
• Le LLM doit inférer le comportement correct en appelant ces sous-routines (ex: get_applicable_actions, apply_action).
• Cette structure explicite offre des points d'insertion naturels pour des corrections ciblées.

B. Le mécanisme L-ICL

L'innovation clé réside dans la nature des exemples fournis en contexte. Au lieu de montrer une solution complète, L-ICL injecte des exemples localisés corrigeant spécifiquement les étapes où le modèle échoue.

Le processus d'entraînement est itératif :

1. Génération de trace : Le LLM génère une trace de raisonnement pour un problème d'entraînement.
2. Identification de la première défaillance : Un oracle (un simulateur symbolique ou un planificateur vérificateur) analyse la trace et identifie le premier appel de sous-routine dont la sortie viole une contrainte du domaine.
3. Correction localisée : L'oracle fournit la sortie correcte pour cette entrée spécifique. Une paire entrée-sortie minimale (formatée comme un exemple de test Python/doctest) est générée.
   • Exemple : Si le modèle propose de se déplacer vers l'est depuis la case (3,4) alors qu'un mur bloque, l'oracle génère l'exemple : get_applicable_actions((3,4)) -> ['move north', 'move south'].
4. Injection et accumulation : Cette correction est insérée dans la documentation de la sous-routine concernée dans le prompt. Le processus se répète sur plusieurs problèmes d'entraînement, accumulant une banque d'exemples ciblés qui "durcissent" progressivement la compréhension des contraintes par le modèle.

Avantage clé : L'oracle n'est nécessaire qu'au moment de l'entraînement. À l'inférence (test), le LLM fonctionne en un seul passage (single-pass) sans dépendances externes.

3. Contributions Clés

1. Diagnostic précis : En utilisant le PTP, les auteurs ont pu mesurer avec précision les taux de violation de contraintes, confirmant qu'il s'agit du mode d'échec dominant des LLM en planification.
2. Introduction de L-ICL : Une méthode qui améliore la validité des plans via des corrections localisées et guidées par l'échec.
3. Efficacité supérieure aux trajectoires complètes : Démonstration que des exemples ciblés (2 000 caractères) surpassent largement des trajectoires de résolution complètes (20 000 caractères) en termes de performance et d'efficacité des échantillons.
4. Généralisation : Validation de la méthode sur plusieurs domaines (navigation, labyrinthes, Sokoban, BlocksWorld) et plusieurs architectures de LLM (DeepSeek V3, Claude 4.5, etc.).
5. Ressources ouvertes : Publication d'une suite de benchmarks et du code pour faciliter la recherche future.

4. Résultats Expérimentaux

Les expériences ont été menées sur une suite de domaines progressifs (du simple 8x8 Gridworld au complexe Sokoban et BlocksWorld) en utilisant principalement le modèle DeepSeek V3.

• Performance brute : Sur un Gridworld 8x8, L-ICL atteint 89 % de plans valides et réussis avec seulement 60 exemples d'entraînement, contre 59 % pour la meilleure méthode de base (Self-Consistency) et 0 % pour le "Zero-Shot".
• Efficacité des échantillons (Sample Efficiency) : L-ICL atteint son pic de performance avec 30 à 60 exemples. Il surpasse les méthodes basées sur la récupération (RAG-ICL) tout en utilisant 4 à 10 fois moins de contexte (caractères).
• Robustesse aux architectures : Les gains sont observés sur DeepSeek V3, V3.1, Claude Haiku 4.5 et Claude Sonnet 4.5. Les modèles plus performants (comme Sonnet) bénéficient davantage de l'accumulation de corrections.
• Indépendance visuelle : L-ICL apprend les contraintes même sans représentation visuelle (ASCII grid) du domaine, bien que la présence d'une grille accélère l'apprentissage initial.
• Limites identifiées : Bien que L-ICL résolve presque tous les problèmes de validité (respect des règles physiques), un écart persiste entre "plan valide" et "plan réussi" dans des tâches complexes comme Sokoban (46 % de validité vs 20 % de succès). Cela indique que L-ICL maîtrise la satisfaction des contraintes locales, mais que le raisonnement stratégique à long terme (éviter les états piégés irréversibles) reste un défi nécessitant d'autres approches (recherche, fonctions de valeur).

5. Signification et Implications

Ce travail apporte une clarification conceptuelle importante sur le fonctionnement des LLM en planification :

• L-ICL comme "Tests Unitaires" : Les auteurs comparent L-ICL aux tests unitaires en génie logiciel. Alors que les trajectoires complètes sont des tests "end-to-end" (vérifiant le résultat final), les corrections localisées agissent comme des tests unitaires qui "durcissent" chaque sous-routine individuellement, rendant le comportement du modèle plus fiable et prévisible.
• Décomposition du problème : La recherche suggère de décomposer la planification en deux couches :
  1. Une couche de base "durcie" par L-ICL pour garantir que chaque action respecte la physique du domaine.
  2. Une couche de raisonnement stratégique (recherche, heuristiques) construite au-dessus de cette base fiable pour atteindre les objectifs complexes.
• Réduction de la charge d'ingénierie de prompt : Au lieu d'essayer de spécifier exhaustivement toutes les contraintes dans le prompt initial, L-ICL permet de découvrir et d'encoder ces contraintes dynamiquement à travers des échecs, rendant le système plus robuste et adaptable.

En conclusion, L-ICL ne résout pas le problème de la planification complexe à elle seule, mais elle fournit une fondation essentielle en éliminant les erreurs de violation de contraintes, permettant ainsi aux LLM de fonctionner comme des composants fiables dans des systèmes de planification agentic.