Résumé technique : Une étude complémentaire sur PlanGPT

Énoncé du problème

La planification automatisée, un sous-domaine de l'intelligence artificielle, consiste à générer des séquences d'actions (plans) pour passer d'un état initial à un état cible, généralement formalisé à l'aide du langage PDDL (Planning Domain Definition Language). Bien que les planificateurs traditionnels soient depuis longtemps la norme, des recherches récentes ont exploré l'utilisation des grands modèles de langage (LLM) pour cette tâche. PlanGPT, un LLM de pointe construit de toutes pièces et inspiré de GPT-2, a été proposé comme un planificateur capable d'apprendre des politiques générales pour résoudre des problèmes de planification à travers des domaines spécifiques.

Cependant, l'article original sur PlanGPT présentait des limites dans son évaluation. Il se concentrait principalement sur la « couverture de plan » (le pourcentage de plans valides générés) sans fournir de mesures de performance complètes telles que le coût du plan (qualité de la solution) ou le temps de génération du plan. De plus, les problèmes de référence spécifiques de la compétition internationale de planification (IPC) n'étaient pas détaillés explicitement, et la comparaison était limitée aux autres LLM et réseaux de neurones graphiques plutôt qu'aux planificateurs optimaux traditionnels. Cette étude répond à la question de savoir si la planification avec les LLM est pertinente et utile, compte tenu des ressources computationnelles considérables requises, en menant une évaluation complémentaire rigoureuse de PlanGPT par rapport aux stratégies de planification traditionnelles.

Méthodologie

Les auteurs ont mené une réévaluation complète de PlanGPT en utilisant les problèmes de référence de l'IPC à travers sept domaines : BlocksWorld, Depot, Driverlog, Logistics, Satellite, Zenotravel et Floortile (Visitall ayant été exclu). Le dispositif expérimental impliquait trois stratégies distinctes :

1. PlanGPT : Le planificateur basé sur un LLM, qui prédit des jetons (tokens) correspondant à des actions et des objets pour générer un plan.
2. FastDownward (A) :* Un planificateur optimal traditionnel utilisant l'heuristique de recherche A*, qui garantit un coût de plan optimal mais peut être coûteux en termes de calcul.
3. FastDownward (Greedy) : Un planificateur traditionnel utilisant une heuristique de recherche gloutonne (Greedy), qui privilégie la vitesse au détriment de l'optimalité.

Procédure expérimentale :

• Traitement des entrées : Les fichiers de problèmes PDDL ont été normalisés à l'aide de scripts shell dépendants du domaine. PlanGPT a tokenisé les « fluents » (prédicats et objets) des sections :init et :goal, prédisant les jetons d'action séquentiellement jusqu'à ce qu'un jeton <end> soit généré.
• Validation : Les plans générés ont été validés à l'aide du validateur officiel VAL pour déterminer la couverture de plan.
• Métriques : L'étude a évalué trois métriques clés :
  • Couverture de plan : Le pourcentage de problèmes pour lesquels un plan valide a été généré.
  • Coût du plan : Le nombre total d'actions dans le plan généré.
  • Temps de planification : Le temps requis pour génire le plan.
• Notation : Des scores normalisés de l'IPC ont été calculés pour le coût et le temps. Pour le coût, la stratégie ayant le coût le plus bas pour un problème a reçu un score de 1, les autres étant mis à l'échelle proportionnellement. Pour le temps, une formule logarithmique a été utilisée par rapport à un délai d'expiration de 300 secondes.

Les expériences ont été menées sur le cluster GPU LIG Aker, bien que les auteurs notent qu'un GPU standard (par exemple, NVIDIA GTX 1080 TI) ou même un CPU est suffisant pour exécuter PlanGPT.

Contributions clés

1. Vérification de la couverture de plan : L'étude a confirmé que les résultats de couverture de plan de PlanGPT sont largement cohérents avec ceux rapportés dans l'article original, avec une différence moyenne d'environ 10 % attribuée à des paramètres différents et à l'utilisation de l'ensemble de référence IPC.
2. Évaluation élargie des performances : Contra\à l'œuvre originale, cet article introduit le Coût du plan et le Temps de génération du plan comme métriques d'évaluation critiques, offrant une vue plus holistique de l'utilité de PlanGPT.
3. Comparaison directe avec les planificateurs traditionnels : L'étude compare directement PlanGPT à FastDownward en utilisant à la fois des heuristiques A* (optimale) et Greedy (rapide), offrant une base pour déterminer si les LLM peuvent rivaliser avec les algorithmes de planification établis.
4. Analyse des ressources : L'article souligne l'intensité des ressources de PlanGPT, notant qu'il nécessite un modèle distinct pour chacun de ses 8 domaines supportés, ce qui soulève des questions sur l'efficacité d'une telle approche par rapport aux planificateurs à usage général.

Résultats

Les résultats indiquent que les performances de PlanGPT sont mitigées et ne surpassent généralement pas les stratégies de planification traditionnelles lorsque l'on considère l'ensemble des métriques :

• Couverture de plan : PlanGPT a atteint une couverture moyenne de 79 % sur les domaines testés. Cela est comparable à la stratégie Greedy (88 %) mais est nettement inférieur à la stratégie optimale A* dans certains domaines (par exemple, Logistics, où A* a résolu 71 % contre 43 % pour PlanGPT).
• Coût du plan :
  • Dans le domaine BlocksWorld, PlanGPT a bien performé, égalant souvent le coût optimal trouvé par A* et surpassant la stratégie Greedy.
  • Dans d'autres domaines comme Driverlog, PlanGPT a fréquemment échoué à trouver des plans valides. Lorsqu'il réussissait, le coût était souvent plus élevé que celui de la stratégie Greedy.
  • Globalement : La stratégie Greedy a généralement surpassé PlanGPT en termes de score de coût IPC total (5,36 contre 5,02). Bien que PlanGPT ait montré une supériorité dans des domaines spécifiques (BlocksWorld, Depot, Floortile), il était moins efficace globalement.
• Temps de planification :
  • La stratégie Greedy a été systématiquement la plus rapide, atteignant des scores de temps IPC quasi parfaits (5,82) dans la plupart des domaines.
  • Le temps de génération de PlanGPT était variable ; il était parfois plus rapide que A* mais généralement plus lent que Greedy.
  • Globalement : Greedy a obtenu le score de temps IPC total le plus élevé (5,82), suivi de PlanGPT (4,95), tandis qu'A* a obtenu le score le plus bas (2,46) en raison de problèmes de dépassement de délai (timeout) sur des problèmes complexes.

Résumé des scores IPC (Total) :

• Coût : Greedy (5,36) > PlanGPT (5,02) > A* (3,26)
• Temps : Greedy (5,82) > PlanGPT (4,95) > A* (2,46)

Signification et affirmations

L'article conclut par une évaluation modeste de l'état actuel des LLM dans la planification automatisée. Les auteurs affirment que leurs conclusions ne confirment ni n'infirment définitivement l'hypothèse selon laquelle les LLM sont actuellement des planificateurs compétents.

• Limites : L'étude souligne que PlanGPT n'est actuellement pas meilleur qu'une stratégie de recherche Greedy en termes d'efficacité globale et de qualité de solution. L'exigence d'un modèle distinct par domaine et les limites fixes sur le nombre d'objets restreignent sa scalabilité et son applicabilité à des problèmes complexes du monde réel.
• Efficacité des ressources : Les auteurs questionnent la « valeur » de l'utilisation des LLM pour la planification compte tenu des ressources consommées. Même si un LLM devait surpasser la recherche Greedy dans des métriques spécifiques, le coût computationnel (incluant le temps d'entraînement, qui n'a pas été pris en compte dans la métrique de temps de génération) peut rendre l'approche moins « compétente » que les approches traditionnelles.
• Directions futures : L'article suggère que bien que les LLM ne soient peut-être pas la solution optimale pour la planification générale à l'heure actuelle, le domaine nécessite des recherches supplémentaires. Il postule que des architectures alternatives, telles que les Modèles de Raisonnement Large (Large Reasoning Models ou LRMs), pourraient être mieux adaptées aux tâches de planification que les LLM actuels.

En fin de compte, l'article sert de rappel à la réalité critique pour la communauté de la planification automatisée, démontant que si les LLM montrent des promesses dans des niches spécifiques, ils n'offrent actuellement pas d'alternative généraliste et efficace en termes de ressources aux planificateurs traditionnels comme FastDownward.