🤖 AI

Training the Orchestrator: A Supervised Approach to End-to-End PDDL Planning with LLM Agents

Cet article introduit HALO, un orchestrateur hybride appris par agent qui exploite des trajectoires de raffinement certifiées par un vérificateur pour entraîner une politique petite et rentable pour la planification PDDL de bout en bout, atteignant des taux de réussite comparables aux LLM de pointe tout en réduissant les coûts d'orchestration d'un ordre de grandeur.

Auteurs originaux : Rajesh Mangannavar, Zachary Coalson, Pranay Dugar, Prasad Tadepalli

Publié 2026-06-23

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Rajesh Mangannavar, Zachary Coalson, Pranay Dugar, Prasad Tadepalli

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le gros problème : Le goulot d'étranglement du « Traducteur »

Imaginez que vous vouliez construire un meuble complexe. Vous avez un croquis sommaire et une liste d'idées écrites en langage naturel (en français ou en anglais). Cependant, la machine qui construit réellement le meuble (le Planificateur Classique) ne comprend qu'un code très strict et robotique appelé PDDL.

Si vous demandez à une IA classique (un Grand Modèle de Langage ou LLM) d'écrire ce code, elle fait souvent des erreurs. Elle pourrait inventer des pièces qui n'existent pas, oublier de lister les vis, ou écrire des instructions que la machine ne peut pas lire.

Pour corriger cela, les chercheurs ont créé une « équipe de réparation ». Ils ont un Manager (l'Orchestrateur) qui examine le code défectueux et engage une équipe de Spécialistes (des Agents) pour corriger des erreurs spécifiques. Un spécialiste corrige la grammaire, un autre la logique, et un autre vérifie si les pièces s'emboîtent correctement.

Le hic : Dans l'ancien système, le Manager était une IA de haut niveau très coûteuse (comme GPT-5 ou Gemini). Chaque fois que l'équipe avait besoin de corriger une erreur, vous deviez payer le Manager une somme énorme pour qu'il réfléchisse au problème et choisisse le prochain spécialiste. Si un projet nécessitait 10 étapes de correction, vous payiez le Manager 10 fois. Cela rendait tout le processus trop coûteux pour les petits laboratoires ou les ordinateurs locaux.

La solution : HALO (Le Manager-Stagiaire)

Les auteurs de cet article, Rajesh Mangannavar et son équipe, se sont demandé : « Avons-nous vraiment besoin d'un Manager ultra-coûteux pour chaque étape ? Pouvons-nous entraîner un stagiaire local et bon marché pour faire le travail ? »

Ils ont créé HALO (Hybrid Agent-Learned Orchestrator). Voici comment cela fonctionne, grâce à trois astuces clés :

1. Apprendre des « Playbooks » gagnants

Habituellement, entraîner une IA est difficile car on ne connaît pas la « bonne » réponse pour chaque étape. Mais dans ce système, il y a un Arbitre (un Vérificateur) qui contrôle le meuble final.

Si le plan final fonctionne, l'Arbitre dit : « Bon travail ! »
L'équipe a réalisé : Chaque fois que l'Arbitre disait « Bon travail », la séquence de Managers et de Spécialistes utilisée était une stratégie gagnante.

Ils ont pris des milliers de ces « playbooks gagnants », ont supprimé la voix du Manager coûteux, et ont simplement gardé l'enregistrement suivant : « Quand le code ressemblait à X, l'équipe gagnante a choisi le Spécialiste Y. » Ils ont utilisé ces données pour entraîner une petite IA peu coûteuse (HALO) à imiter ces décisions gagnantes.

2. Le raccourci du « Livre de règles »

HALO n'est pas seulement un cerveau ; c'est un cerveau doté d'un aide-mémoire. Les auteurs ont réalisé que certaines décisions sont si évidentes que même un humain n'aurait pas besoin d'y réfléchir.

Exemple : Si le code est vide, la règle est : « Appeler l'Agent d'Urgence ».
Exemple : Si le code contient une faute d'orthographe, la règle est : « Appeler l'Agent de Syntaxe ».
Exemple : Si le plan est parfait, la règle est : « S'arrêter ».

HALO vérifie ces règles simples en premier. Si une règle s'applique, il agit immédiatement sans utiliser son « cerveau » (le modèle d'IA). Cela permet de gagner du temps et de l'argent. Ce n'est que lorsque le problème est vraiment confus que HALO utilise son IA entraînée pour prendre une décision.

3. Une boîte à outils plus grande

L'équipe a également agrandi l'équipe de Spécialistes. Ils ont ajouté 8 nouveaux experts aux 13 originaux, portant le total à 21. Certains de ces nouveaux experts sont « déterministes », ce qui signifie qu'il s'agit de simples scripts informatiques qui s'exécutent instantanément et ne coûtent rien, plutôt que de modèles d'IA coûteux. Cela a donné à HALO plus d'outils pour résoudre les problèmes rapidement.

Les résultats : Plus rapide, moins cher et tout aussi efficace

L'équipe a testé HALO contre les Managers d'IA haut de gamme sur 11 types différents de problèmes de planification (comme la logistique, le mouvement de robots et l'ordonnancement).

Taux de réussite : HALO était aussi bon, voire parfois meilleur, que l'IA coûteuse. Il résolvait les problèmes au même taux.
Vitesse : Parce que HALO utilise des règles simples pour les problèmes faciles et un petit modèle local pour les problèmes difficiles, il prend des décisions beaucoup plus rapidement.
Coût : C'est la plus grande victoire.
- L'ancienne méthode (en utilisant GPT-5) coûtait environ 0,18 $ par tâche.
- HALO coûte environ 0,004 $ par tâche.
- C'est environ 45 fois moins cher. C'est comme passer de l'embauche d'un chef de cuisine célèbre pour chaque repas à l'emploi d'un cuisinier local bien formé qui utilise un livre de recettes pour les plats simples.

L'essentiel à retenir

L'article prouve que vous n'avez pas besoin d'une IA « super-intelligente » pour gérer une équipe d'agents de réparation. Si vous avez un arbitre strict (le Vérificateur) qui vous indique quand un plan est réussi, vous pouvez entraîner une petite IA peu coûteuse à apprendre de ces succès.

Cela permet à des systèmes de planification complexes de fonctionner sur un simple ordinateur dans un laboratoire (ou même sur un ordinateur portable) sans avoir besoin de payer des API cloud coûteuses chaque fois qu'ils prennent une décision. Cela transforme un service de luxe en quelque chose que n'importe qui peut exécuter localement.

Résumé Technique : HALO – Une approche supervisée de la planification de bout en bout en PDDL avec des agents LLM

1. Énoncé du Problème

La planification automatisée nécessite de traduire des objectifs en langage naturel en spécifications formelles en langage PDDL (Planning Domain Definition Language), que les solveurs classiques peuvent traiter. Bien que les grands modèles de langage (LLM) offrent un pont entre le langage naturel et les représentations formelles, ils sont peu fiables lorsqu'ils sont utilisés de manière isolée, produisant souvent des hallucinations de prédicats, des erreurs d'encodage de contraintes ou des plans invalides.

Des cadres agentiques récents (par exemple, La Malfa et al. [2026]) traitent cela en orchestrant un ensemble d'agents de réparation spécialisés au sein d'une boucle de raffinement vérifiée par un validateur. Dans ces systèmes, un LLM « frontière » (par exemple, GPT-5, Gemini-3) agit comme l'orchestrateur, inspectant l'état actuel (PDDL, journaux du solveur, erreurs de validation) et sélectionnant l'agent de réparation approprié à chaque étape. Bien qu'efficace, cette approche crée un goulot d'étranglement important : l'orchestrateur nécessite lui-même un appel API coûteux à un LLM frontière à chaque étape de raffinement. Cette dépendance limite le déploiement aux scénarios bénéficiant d'un accès continu aux API, rendant le cadre prohibitif pour les environnements de laboratoire, de bord (edge) ou isolés (air-gapped).

Le défi central abordé par ce papier est le suivant : L'orchestrateur LLM frontière peut-il être remplacé par un petit modèle servi localement sans sacrifier les taux de succès de la planification ?

2. Méthodologie : HALO

Les auteurs proposent HALO (Hybrid Agent-Learned Orchestrator), un système qui remplace l'orchestrateur frontière par un prompt par une politique entraînée via QLoRA couplée à une couche de règles codées en dur.

2.1 Le Signal d'Entraînement : Trajectoires Guidées par le Vérificateur

Une idée clé du papier est que le vérificateur externe (compilateur et validateur) fournit déjà un signal de supervision robuste. Dans le cadre agentique, une trajectoire de raffinement est une séquence de décisions (état, agent). Si la trajectoire se termine par un plan valide (certifié par le vérificateur), chaque décision au sein de cette trajectoire est implicitement « correcte » dans le sens où elle a contribué à un résultat réussi.

Collecte de Données : Les auteurs font fonctionner un enseignant puissant par prompt (GPT-5-mini) sur des problèmes d'entraînement à travers 11 domaines PDDL.
Filtrage : Les trajectoires sont filtrées strictement par le vérificateur externe. Seules celles se terminant par un plan valide sont conservées.
Supervision : L'ensemble d'entraînement consiste en des paires (état, agent) extraites de ces trajectoires vérifiées. La politique est entraînée par apprentissage supervisé (SFT) pour prédire l'ID de l'agent que l'enseignant a sélectionné, conditionné par l'état.

2.2 Espace d'Action Étendu

Le cadre étend le pool d'agents de 13 à 21 agents, classés comme suit :

Agents de Base (13) : Routines de réparation par prompt LLM (ex: correcteur de syntaxe, suppresseur d'hallucinations) issues de travaux antérieurs.
Agents de Réparation de Plan Déterministes (5) : Routines non-LLM (ex: permutation de variables, réordonnancement d'actions, suppression de redondances) qui s'exécutent en millisecondes avec un coût LLM nul.
Agents LLM Sensibles au PDDL (3) : Agents spécialisés pour les erreurs de modélisation (ex: corrections de hiérarchie de types, généralisation de prédicats).

2.3 Politique d'Inférence Hybride

Au moment de l'inférence, HALO opère selon une politique à deux couches ( $\pi_{hybrid}$ ) :

Couche 1 (Règles Codées en Dur) : Trois cas trivialement décidables sont résolus par des règles sans invoquer de modèle :
- Démarrage à froid (PDDL vide) $\rightarrow$ Sélectionne AgentEmergency.
- Erreurs de syntaxe détectées $\rightarrow$ Sélectionne AgentSyntaxPDDL.
- Plan valide atteint $\rightarrow$ Sélectionne NoOpAgent (terminaison).
Couche 2 (Politique Apprise) : Si aucune règle ne s'applique, un petit LLM entraîné par QLoRA (ex: Llama-3-8B) prédit l'ID de l'agent suivant. Le modèle est affiné pour produire un jeton unique correspondant à l'ID de l'agent (0–20).

2.4 Détails de l'Entraînement

Architecture : Fine-tuning QLoRA (quantification 4-bit, rang LoRA 16) sur des modèles de base comme Llama-3-8B, Qwen-2.5-7B et Gemma-2-9B.
Fonction de Perte : Cross-entropy sur un jeton unique sur l'ID de l'agent, avec les jetons de prompt masqués.
Volume de Données : Environ 12 000 à 15 000 paires (état, agent) dérivées d'environ 2 000 trajectoires de haute qualité acceptées par le vérificateur.

3. Contributions Clés

HALO (Hybrid Agent-Learned Orchestrator) : Un orchestrateur entraîné qui remplace l'appel API du LLM frontière par l'inférence d'un petit modèle servi localement. Il égale ou dépasse les performances des bases GPT-5-mini et Gemini-3-Flash tout en réduisant les coûts d'orchestration d'un ordre de grandeur.
Supervision de Trajectoire Guidée par le Vérificateur : Les auteurs formulent l'entraînement de l'orchestrateur comme un apprentissage par imitation sur des trajectoires certifiées par un compilateur/validateur externe. Le vérificateur agit comme un filtre d'acceptation de données plutôt que comme une fonction de perte, fournissant un signal de supervision fort et sans bruit qui se généralise à travers les domaines.
Espace d'Action Étendu avec Politique Hybride : L'introduction de 21 agents (incluant des routines de réparation déterministes) et d'une politique hybride qui délègue les décisions triviales à des règles codées en dur. Cela permet à la politique apprise de concentrer sa capacité sur des décisions véritablement ambiguës, améliorant l'efficacité et réduisant la charge d'entraînement.

4. Résultats Expérimentaux

Le système a été évalué sur 11 domaines PDDL couvrant les benchmarks PlanBench, Google Natural Plan et Classical Planning.

Taux de Succès :
- HALO égale ou dépasse la base de référence par prompt GPT-5-mini sur toutes les familles (ex: +3,3 % sur PlanBench, +37,3 % sur Natural Plan).
- HALO se situe à 3 points de pourcentage près de la base plus forte Gemini-3-Flash sur PlanBench et Natural Plan, et dépasse cette dernière sur la planification classique (95,8 % contre 93,0 %).
Efficacité et Coût :
- Appels LLM : HALO réduit le nombre total d'appels LLM par épisode de 40 à 50 % par rapport aux bases de référence, principalement grâce à la couche de règles hybride qui résout environ 35 % des décisions sans appel de modèle.
- Coût : Le coût d'orchestration chute de ~ $0,18–$ 0,22 par tâche (GPT-5-mini) et ~ $0,06–$ 0,08 (Gemini-3-Flash) à $0,004 par tâche pour HALO. Cela représente une réduction de 45× par rapport à GPT-5-mini et une réduction de 15× par rapport à Gemini-3-Flash.
Généralisation : Le modèle se généralise à des domaines non vus avec une baisse de performance de seulement ~5 à 8 points de pourcentage, suggérant que le signal appris capture des motifs d'orchestration généraux au domaine plutôt que de mémoriser des raccourcis spécifiques.

5. Signification et Revendications

Le papier affirme que les cadres agentiques construits autour de vérificateurs formels admettent une simplification structurelle : l'orchestrateur n'a pas besoin d'être un LLM frontière généraliste. Au contraire, il peut être un petit modèle entraîné et servi localement, à condition que le vérificateur fournisse des signaux d'acceptation par trajectoire.

Cette conclusion a des implications significatives pour le déploiement :

Découplage des API : Cela élimine la dépendance à un accès continu aux API coûteuses des LLM frontières.
Accessibilité : Cela rend la planification en langage naturel de bout en bout réalisable pour des contextes de laboratoire, de bord ou isolés où l'accès aux API est impraticable ou interdit.
Efficacité des Coûts : Cela démontre qu'une planification de haute qualité peut être obtenue pour une fraction du coût (environ 45 fois moins cher) en exploitant la supervision « gratuite » inhérente à la boucle de vérification.

Les auteurs notent des limites, notamment la dépendance au comportement de l'enseignant (bornée par les trajectoires filtrées par le vérificateur) et l'incapacité à gérer les extensions PDDL en dehors du champ des 21 agents (ex: fluents numériques). Cependant, ils posent que cette approche supervisée sert de base solide, les travaux futurs pouvant explorer l'apprentissage par renforcement à partir de récompenses vérifiables (RLVR) pour briser le « plafond de l'enseignant ».