Résumé Technique : Une Étude Empirique des Représentations de Planification pour les Agents Web LLM

Énoncé du Problème

Malgré les récents progrès des Modèles de Langage de Grande Taille (LLM), les agents web continuent de lutter contre une exploration limitée, l'omission d'étapes critiques et une sensibilité aux contraintes de la tâche. Bien que la planification soit largement reconnue comme une stratégie clé pour décomposer des tâches complexes, la recherche existante s'est principalement concentrée sur les algorithmes de planification plutôt que sur la représentation de ces plans. La plupart des approches actuelles reposent sur des listes séquentielles de sous-objectifs exprimés en langage naturel. Cependant, l'impact des représentations alternatives de plans en langage naturel (NL) sur la robustesse de l'agent et le succès de la tâche reste largement inexploré. De plus, les benchmarks existants manquent souvent d'un classement de difficulté reproductible, rendant difficile l'évaluation systématique des stratégies de planification sous des niveaux de complexité variables.

Méthodologie

Cadre : PLANAHEAD

Les auteurs introduisent PLANAHEAD, un cadre statique de planificateur-exécuteur conçu pour isoler et évaluer l'impact de la représentation du plan. Contrairement aux méthodes de planification dynamique où l'agent régénère des plans à chaque étape, PLANAHEAD génère un plan statique unique au début d'une tâche. Ce plan est ensuite fourni à un LLM exécuteur, qui effectue des actions de bas niveau basées sur l'état actuel du navigateur. Cette configuration garantit que les différences de performance proviennent de la formulation du plan et des modèles sous-jacents plutôt que de la stochasticité au niveau des actions ou des frais généraux de replanification dynamique.

Benchmark et Difficulté des Tâches

L'étude utilise WebArena, un environnement fermé et reproductible contenant diverses interactions web réalistes. Pour pallier l'absence de classement de difficulté standardisé, les auteurs ont développé un pipeline automatisé pour catégoriser 381 tâches WebArena en trois niveaux : Facile, Moyen et Difficile.

• Logique de catégorisation : Les tâches ont été évaluées à l'aide d'un GenericAgent léger sur cinq différents modèles de base LLM, avec cinq essais indépendants chacun.
  • Facile : Taux de réussite de 100 % sur tous les modèles et tous les essais.
  • Difficile : Taux de réussite de 0 % sur tous les modèles et tous les essais.
  • Moyen : Taux de réussite intermédiaires.
    L'étude se concentre spécifiquement sur le sous-ensemble Difficile (158 tâches), car il offre le cadre le plus informatif pour évaluer les capacités de planification dans des conditions difficiles.

Configuration Expérimentale

Les auteurs ont évalué quatre représentations de plans distinctes sur les tâches difficiles à travers différentes familles de LLM multimodaux (OpenAI, Alibaba et Google) :

1. Sous-objectifs séquentiels : L'approche standard utilisant une liste ordonnée de sous-objectifs de haut niveau.
2. Liste de contrôle des exigences : Une liste non ordonnée d'exigences qui doivent être satisfaites, laissant l'ordre d'exécution à l'exécuteur.
3. Pseudocode : Un format structuré utilisant des fonctions intuitives, des conditionnels et des boucles pour capturer les contingences.
4. Narratif : Une description verbeuse en langage naturel du processus de réalisation de la tâche.

Les expériences ont testé diverses combinaisons planificateur-exécuteur, incluant des configurations homogènes (même modèle pour les deux rôles) et hétérogènes (modèles différents pour la planification et l'exécution).

Métriques d'Évaluation

Reconnaissant que le Taux de Succès (SR) standard traite chaque essai comme indépendant et ne parvient pas à capturer la nature stochastique des LLM, les auteurs ont introduit deux nouvelles métriques :

• Taux de Réalisation (AR) : Mesure la réalisabilité au niveau de la tâche sur plusieurs exécutions. Une tâche est considérée comme « réalisée » si au moins une des $N$ exécutions réussit. Cela distingue les tâches « rarement solubles » de celles qui sont « complètement non résolues ».
• Cohérence des Tâches Résolues (STC) : Une métrique de robustesse qui mesure la fiabilité de la performance à travers les essais pour les tâches qui ont été réalisées au moins une fois.

Contributions Clés

1. Classement Automatisé de la Difficulté des Tâches : L'article présente un pipeline reproductible pour partitionner les tâches de benchmark en niveaux de difficulté sans annotation humaine, permettant une évaluation systématique des stratégies de planification.
2. Évaluation de Nouvelles Représentations de Planification : L'étude propose et évalue trois formats de planification alternatifs basés sur le NL (Narratif, Pseudocode, Liste de contrôle) par rapport aux Sous-objectifs Séquentiels standard.
3. Nouvelles Métriques d'Évaluation : L'introduction du AR et du STC offre une vision plus nuancée de la performance de l'agent, capturant à la fois la réalisabilité et la cohérence dans des environnements stochastiques.

Résultats et Analyse

L'étude empirique a produit plusieurs découvertes significatives :

• La Représentation du Plan Compte : L'efficacité d'une stratégie de planification dépend fortement du LLM sous-jacent.
  • GPT-4.1-mini a constamment obtenu les meilleurs résultats avec des plans Narratifs, suggérant que les modèles entraînés de manière extensive sur du texte en langage naturel exploitent efficacement des instructions descriptives cohérentes.
  • Qwen-2.5-VL a obtenu les meilleurs résultats avec des représentations de Liste de contrôle, bénéficiant d'un guidage explicite et structuré.
  • Les modèles Gemini ont montré des performances compétitives sur plusieurs formats et ont notablement bénéficié de formats non standard ; spécifiquement, le Pseudocode a généré des taux de réalisation élevés lorsque Gemini agissait à la fois comme planificateur et exécuteur.
• Séparation Planificateur-Exécuteur : Les paires mixtes planificateur-exécuteur ont généralement surpassé les configurations homogènes. Par exemple, combiner GPT-4.1-mini comme planificateur avec Gemini comme exécuteur a atteint les performances globales les plus fortes. Cela suggère que différents modèles possèdent des forces complémentaires : certains sont supérieurs dans la planification structurelle de haut niveau, tandis que d'autres excellent dans l'exécution d'actions de bas niveau.
• Planification Statique vs Dynamique : Contrairement à l'intuition selon laquelle la replanification dynamique est supérieure, la Planification Statique a souvent surpassé la planification dynamique par un agent unique. L'analyse qualitative a révélé que les agents dynamiques entraient fréquemment dans des boucles d'actions, perdaient le fil de l'avancement de la tâche ou marquaient prématurément des sous-tâches comme terminées. La configuration statique planificateur-exécuteur a permis à l'exécuteur de se concentrer exclusivement sur la sélection d'actions sans la charge cognitive d'une replanification continue.

Importance et Revendications

L'article affirme que la formulation d'un plan et le LLM spécifique qui le génère influencent considérablement la robustesse de l'agent web et le succès de la tâche. En remettant en question l'hypothèse selon laquelle les plans doivent prendre la forme de sous-objectifs séquentiels, les auteurs démontrent que des formats non standard peuvent être bénéfiques, en particulier pour les tâches difficiles.

L'étude souligne que l'efficacité de la planification n'est pas uniquement une fonction de la capacité du modèle, mais est également profondément liée à la forme représentative du plan. Les résultats soutiennent l'adoption d'architectures d'agents modulaires qui exploitent les forces complémentaires des modèles (par exemple, utiliser un modèle pour la planification et un autre pour l'exécution) et suggèrent que la planification statique peut être une alternative plus robuste et efficace à la planification dynamique dans certains contextes.

Les auteurs restent modestes quant à leur portée, reconnaissant des limitations telles que l'ensemble restreint de backends LLM, l'utilisation d'un seul benchmark (WebArena) et un nombre limité d'exécutions ($N=5$). Ils postulent que l'expansion de ces variables fournirait une image plus complète de l'efficacité de la planification.