Why Do LLM-based Web Agents Fail? A Hierarchical Planning Perspective

Cette étude propose une perspective de planification hiérarchique pour diagnostiquer les échecs des agents web basés sur les LLM, révélant que si les plans structurés améliorent la stratégie, le goulot d'étranglement principal réside dans l'exécution de bas niveau, soulignant ainsi la nécessité d'améliorer l'ancrage perceptif et le contrôle adaptatif.

L'essentiel

Imaginez que vous avez un Chef Cuisinier Robot (c'est l'IA ou "LLM") dont le but est de préparer un repas complexe en commandant des ingrédients sur Internet. Le problème ? Ce chef est brillant pour comprendre la recette, mais il trébuche souvent quand il doit réellement aller au supermarché, attraper les produits et les mettre dans son panier.

Les chercheurs de cette étude (de l'Université George Mason) se sont demandé : "Pourquoi ce chef échoue-t-il si souvent sur des tâches longues et réalistes ?"

Au lieu de simplement regarder si le plat est fini (réussite ou échec), ils ont décidé d'analyser la cuisine en trois étages, comme un immeuble :

1. Le Premier Étage : Le Chef Stratège (La Planification)

C'est ici que le chef imagine le plan : "D'abord, je vais acheter des tomates, puis des oignons, enfin je vais faire la sauce."

• Le problème : Souvent, le chef écrit des plans trop bavards ou trop précis (ex: "Acheter la tomate rouge spécifique de la marque X"), alors qu'il devrait être plus général.
• La découverte : Les chercheurs ont découvert que si on demande au chef d'écrire son plan dans un langage de code très structuré (appelé PDDL, comme une liste de courses rigoureuse avec des cases à cocher) plutôt qu'en langage naturel (des phrases normales), le plan devient beaucoup plus clair, plus court et plus logique. C'est comme passer d'une lettre de motivation poétique à un formulaire administratif précis : ça évite les malentendus.

2. Le Deuxième Étage : Le Stagiaire Maladroit (L'Exécution)

C'est l'étage où le chef doit réellement cliquer sur les boutons, scroller la page et remplir les formulaires.

• Le gros problème : C'est ici que tout se brise ! Même si le plan du chef (étage 1) est parfait, le "stagiaire" (l'IA qui exécute) est souvent perdu.
  • Il clique sur le mauvais bouton (comme confondre un bouton "Acheter" avec un bouton "Publicité").
  • Il invente des liens qui n'existent pas (hallucinations).
  • Il tourne en rond en cliquant trois fois sur le même bouton qui ne marche pas.
• La métaphore : C'est comme si vous aviez un chef d'orchestre génial, mais que les violonistes jouaient faux et cassaient leurs archets. Le problème n'est pas la musique (le plan), c'est la capacité à jouer les notes (l'action).

3. Le Troisième Étage : Le Chef de Cuisine qui se reprend (Le Re-planification)

Quand le chef voit que le plan ne fonctionne pas (ex: le site web a changé, ou le bouton n'est pas là), il doit pouvoir dire : "Bon, ça ne marche pas comme prévu, je change de stratégie."

• La découverte : C'est le moment magique. Quand on permet au chef de réviser son plan une seule fois après avoir vu l'échec, ses chances de succès explosent.
• L'analogie : C'est comme si vous étiez perdu en voiture. Au lieu de continuer à rouler dans le mur parce que votre GPS vous a dit de tourner à gauche, vous dites : "Attends, je suis bloqué, je vais recalculer l'itinéraire." Cette petite pause pour réfléchir sauve la mission.

En résumé, que nous disent ces chercheurs ?

1. Le plan n'est pas le plus gros problème : Les IA sont déjà assez bonnes pour imaginer la stratégie.
2. Le vrai ennemi, c'est la "vue" et les "mains" : Le plus gros obstacle est de faire en sorte que l'IA comprenne vraiment ce qu'elle voit sur l'écran et qu'elle clique au bon endroit sans se tromper. C'est le "goulot d'étranglement".
3. La structure aide : Utiliser des langages de plan rigoureux (comme le PDDL) aide à clarifier les idées, mais ne résout pas le problème des mains maladroites.
4. L'erreur est une opportunité : Laisser l'IA se corriger elle-même (replanifier) est la clé pour atteindre un niveau de fiabilité humain.

La conclusion en une phrase :
Pour que nos robots agents web deviennent vraiment utiles, il ne faut pas seulement les rendre plus intelligents pour penser (planifier), il faut surtout les rendre plus habiles pour agir (cliquer et naviguer) et plus capables de se corriger quand ils font une erreur.

Résumé technique

1. Problématique

Les agents web basés sur les grands modèles de langage (LLM) ont montré des progrès significatifs dans la navigation web et l'exécution de workflows en ligne. Cependant, leur fiabilité sur des tâches réalistes, dynamiques et à long horizon reste bien inférieure à celle des humains.

Le problème central identifié par les auteurs réside dans les méthodes d'évaluation actuelles, qui se concentrent principalement sur le succès global « bout-en-bout » (end-to-end). Ces métriques agrégées masquent l'origine précise des échecs. Il est difficile de déterminer si un agent a échoué à cause d'une mauvaise interprétation de la tâche, d'une stratégie de haut niveau défectueuse, d'une mauvaise exécution des actions concrètes (ancrage/perception), ou d'une incapacité à récupérer après un changement d'environnement.

2. Méthodologie

Pour combler ce vide, les auteurs proposent un cadre d'évaluation basé sur la planification hiérarchique, décomposant le processus de l'agent en trois couches distinctes :

1. Planification de Haut Niveau (High-level Planning) : Capacité du LLM à décomposer une instruction complexe en une séquence de sous-objectifs abstraits (ex: « filtrer par prix », « trier les résultats »).
2. Exécution de Bas Niveau (Low-level Execution) : Capacité à transformer ces sous-objectifs abstraits en une séquence d'actions exécutables et concrètes sur l'interface utilisateur (ex: clics, saisie de texte, défilement).
3. Replanification (Replanning) : Capacité à adapter la stratégie lorsque l'environnement ne correspond pas aux attentes (ex: page chargée différemment, résultats de recherche inattendus).

Expérimentation et Données :

• Benchmark : Extension du benchmark Mind2Web-Live avec des plans de haut niveau annotés par des experts humains (gold-standard).
• Modèles évalués : Trois LLMs de pointe : gpt-5-nano (OpenAI), claude-haiku-4.5 (Anthropic) et gemini-flash-2.5 (Google).
• Représentations comparées : Les auteurs comparent deux formats pour la planification de haut niveau :
  • Langage Naturel (NL) : Plans textuels libres.
  • PDDL (Planning Domain Definition Language) : Représentation structurée et symbolique imposant des préconditions et des effets explicites.
• Méthode d'évaluation : Utilisation d'un « LLM-as-Judge » pour vérifier les post-conditions (si un sous-objectif est atteint) et évaluer l'alignement des plans générés avec les plans humains.

3. Contributions Clés

• Cadre d'analyse hiérarchique : Une méthodologie systématique pour diagnostiquer les échecs des agents web en isolant les capacités de planification, d'exécution et de récupération.
• Comparaison NL vs PDDL : Introduction et évaluation de l'utilisation du PDDL pour la planification de haut niveau dans les agents web, démontrant que les représentations structurées améliorent la concision et l'alignement avec les intentions humaines.
• Analyse des modes d'échec : Identification précise des goulots d'étranglement, notamment la difficulté des LLM à ancrer les concepts abstraits dans des actions UI concrètes (perception et contrôle).
• Validation de la replanification : Démonstration qu'une seule itération de replanification, guidée par des retours d'exploration, améliore significativement le taux de réussite global.

4. Résultats Principaux

A. Planification de Haut Niveau

• Alignement Humain : Les plans générés en PDDL sont plus concis et mieux alignés avec les plans humains que ceux en Langage Naturel (NL).
  • Taux de correspondance parfaite : 67,7 % (PDDL) vs 60,6 % (NL).
  • Réduction des étapes inutiles : Le PDDL réduit les étapes « non appariées » (redondantes) de 29,4 % (NL) à 15,4 %.
• Exécutabilité : Bien que les plans humains restent les plus efficaces, les plans PDDL se rapprochent davantage de la performance humaine que les plans NL. Les plans NL ont tendance à être trop détaillés (sur-spécification) ou à manquer d'abstraction.

B. Exécution de Bas Niveau (Le Goulot d'Étranglement)

• Performance Faible : Même avec des plans de haut niveau parfaits (générés par des humains), les agents LLM échouent souvent à exécuter les actions de bas niveau.
  • Taux de complétion du plan : ~38,5 %.
  • Taux de réussite final : ~36,4 %.
• Modes d'échec dominants :
  • Hallucinations : Création de liens inexistants ou d'éléments UI fictifs (32 % des actions goto mènent à des liens invalides).
  • Redondance : Répétition d'actions sans changement d'état (34 % des actions ne modifient pas le DOM).
  • Navigation hors domaine : Les agents sortent souvent du site cible pour effectuer des recherches Google, perdant le contexte de la tâche.
• Conclusion : La capacité d'ancrage perceptuel (relier le texte à l'interface) et de contrôle adaptatif est le principal obstacle, bien plus que le raisonnement logique de haut niveau.

C. Replanification

• Efficacité : Une seule round de replanification améliore drastiquement les performances.
  • Pour les plans PDDL, le taux de réussite passe de 36,4 % à 45,1 %.
  • Le taux de complétion des sous-objectifs augmente de manière significative (de 70,3 % à 93,3 % pour PDDL).
• Observation : La replanification permet de corriger les erreurs d'exécution en réajustant le plan en fonction de l'état réel de l'environnement, même si cela réduit légèrement l'alignement strict avec le plan humain initial.

D. Comparaison des Modèles

• gpt-5-nano : Surperforme les autres modèles sur tous les fronts, notamment l'exécution de bas niveau.
• gemini-flash-2.5 : Génère des plans très concis mais échoue massivement à l'exécution (taux de réussite le plus bas, taux d'actions redondantes le plus élevé à 41,2 %).
• claude-haiku-4.5 : Évite les hallucinations de liens mais souffre de répétitions d'actions, indiquant une mauvaise utilisation des retours d'information.

5. Signification et Implications

Cette étude remet en question l'approche actuelle qui se focalise uniquement sur l'amélioration des capacités de raisonnement (Chain of Thought, etc.) pour les agents web. Les auteurs concluent que :

1. Séparation des compétences : La planification et l'exécution sont des compétences distinctes. Améliorer l'un ne garantit pas l'amélioration de l'autre. Il faut concevoir des agents avec des modules séparés : un planificateur abstrait (où le PDDL est prometteur) et un contrôleur d'exécution robuste.
2. Nécessité d'un meilleur ancrage : Le défi majeur n'est pas de mieux « penser », mais de mieux « voir » et « agir » sur l'interface. Des représentations d'état plus riches et une meilleure gestion de l'incertitude sont cruciales.
3. Standard d'évaluation : L'évaluation doit passer d'une métrique binaire (succès/échec) à une analyse de processus fine (planification, exécution, récupération) pour guider efficacement la recherche future.

En résumé, ce papier fournit une fondation principielle pour diagnostiquer les échecs des agents web et suggère que la voie vers une fiabilité humaine passe par l'amélioration de l'ancrage perceptuel et du contrôle adaptatif, plutôt que par la seule optimisation du raisonnement de haut niveau.