Enhancing Web Agents with a Hierarchical Memory Tree

Ce papier propose le Hierarchical Memory Tree (HMT), un cadre structuré en trois niveaux qui découple la planification logique de l'exécution des actions pour améliorer la généralisation des agents web sur des sites inconnus, surpassant ainsi les méthodes à mémoire plate sur les benchmarks Mind2Web et WebArena.

L'essentiel

Imagine que vous apprenez à conduire une voiture. Si vous apprenez uniquement à conduire une Ford spécifique (en mémorisant exactement où se trouve le bouton de l'essuie-glace, la forme du volant, etc.), vous serez perdu dès que vous essayerez de conduire une Renault. C'est exactement le problème que rencontrent les intelligences artificielles (les "agents web") lorsqu'elles essaient d'automatiser des tâches sur Internet.

Voici une explication simple de la solution proposée par les auteurs, appelée HMT (Arbre de Mémoire Hiérarchique), en utilisant des analogies du quotidien.

1. Le Problème : Le "Mémorisateur de Liste" (Mémoire Plate)

Actuellement, la plupart des agents web apprennent comme un étudiant qui recopie une recette de cuisine mot à mot, sans comprendre les ingrédients.

• L'approche actuelle : L'IA se souvient : "Cliquez sur le bouton bleu avec l'ID #12345 pour acheter un billet."
• Le souci : Si vous lui demandez d'acheter un billet sur un autre site, le bouton bleu n'a plus l'ID #12345. L'IA panique, clique au hasard, ou échoue. Elle est trop collée aux détails spécifiques d'un seul site, comme si elle ne savait conduire que sur une seule route précise.

Les chercheurs appellent cela l'"enchevêtrement intention-exécution". L'IA confond ce qu'elle veut faire (l'intention) avec comment elle l'a fait la dernière fois (l'exécution).

2. La Solution : L'Arbre de Mémoire Hiérarchique (HMT)

Pour résoudre ce problème, les auteurs proposent de transformer la mémoire de l'IA en un arbre généalogique de compétences plutôt qu'en une simple liste de courses. Imaginez que l'IA ne se souvienne plus des boutons précis, mais de la logique derrière l'action.

L'arbre se divise en trois niveaux, comme un plan d'architecte :

Niveau 1 : L'Intention (Le "Pourquoi")

C'est le sommet de l'arbre. Ici, l'IA apprend à généraliser les demandes.

• Exemple : Au lieu de se souvenir de "Réserver un vol pour New York sur Expedia", elle apprend le concept abstrait : "Réserver un vol".
• Analogie : C'est comme savoir que vous voulez "manger un sandwich", peu importe si vous êtes dans un restaurant français, un kiosque japonais ou une cantine scolaire.

Niveau 2 : Les Étapes (Le "Quand")

C'est la branche intermédiaire. L'IA découpe la tâche en étapes logiques avec des conditions de début et de fin.

• Exemple : Pour réserver un vol, il y a une étape "Rechercher les vols".
• La condition : "Je ne peux faire cette étape que si je vois un formulaire de recherche."
• L'analogie : C'est comme un chef cuisinier qui dit : "Je ne commence à couper les oignons que lorsque je vois qu'ils sont sur la planche." Si la planche n'est pas là, il ne coupe rien, même s'il a la recette. Cela évite de faire des actions au mauvais moment.

Niveau 3 : Les Actions (Le "Comment" flexible)

C'est la racine de l'arbre. Au lieu de mémoriser "Cliquez sur #12345", l'IA mémorise une description sémantique.

• Exemple : "Cliquez sur le bouton qui dit 'Rechercher' et qui se trouve en bas à droite du formulaire."
• L'analogie : Au lieu de dire "Tournez la clé dans la serrure de la porte bleue de la maison 42", l'IA dit "Tournez la clé dans la serrure de la porte d'entrée". Peu importe la couleur de la porte ou le numéro de la maison, l'action reste la même.

3. Comment ça marche en pratique ? (Le Chef et le Serviteur)

Pour utiliser cette mémoire, l'IA utilise deux "personnalités" qui travaillent ensemble :

1. Le Planificateur (Le Chef) : Il regarde la situation actuelle (la page web) et vérifie : "Où en suis-je ? Est-ce que je vois le formulaire de recherche ? Oui ? Alors, passons à l'étape 'Rechercher'." Il s'assure que l'IA ne saute pas d'étapes.
2. L'Acteur (Le Serviteur) : Une fois que le Chef a dit "Fais la recherche", le Serviteur regarde la page et cherche le bouton qui correspond à la description ("Bouton 'Rechercher'"). Il ignore les IDs bizarres et se fie à la description logique.

4. Les Résultats : Pourquoi c'est génial ?

Les tests montrent que cette méthode fonctionne beaucoup mieux, surtout quand l'IA doit aller sur des sites qu'elle n'a jamais vus.

• Avant : Si le site changeait un peu, l'IA se perdait (comme un touriste qui ne trouve pas son hôtel car la rue a changé de nom).
• Après (HMT) : L'IA comprend la logique. Même si le site est différent, elle sait qu'elle doit d'abord "chercher", puis "sélectionner", puis "payer". Elle s'adapte comme un vrai humain.

De plus, comme l'IA ne stocke pas des milliers de détails inutiles (comme les codes des boutons), elle est plus rapide et consomme moins d'énergie.

En résumé

Imaginez que vous apprenez à un robot à faire du vélo.

• L'ancienne méthode : Lui dire "Pédale quand le sol est rouge, tourne le guidon à gauche quand il y a un arbre". Si le sol devient gris, le robot s'arrête.
• La méthode HMT : Lui apprendre les principes : "Pour avancer, il faut pédaler. Pour éviter un obstacle, il faut tourner." Peu importe la couleur du sol ou la forme de l'arbre, le robot sait s'adapter.

C'est exactement ce que fait HMT : il donne aux agents web une compréhension profonde de la logique des tâches, les rendant capables de voyager sur n'importe quel site web sans se perdre.

Résumé technique

1. Problématique : L'Enchevêtrement Intention-Exécution

Les agents web basés sur les grands modèles de langage (LLM) ont démontré un potentiel prometteur pour automatiser les interactions web. Cependant, leur capacité à généraliser sur des sites web non vus (cross-website) reste limitée.

Les méthodes actuelles reposent souvent sur une mémoire plate (flat memory) qui stocke les trajectoires d'interaction passées sous forme de séquences linéaires d'observations et d'actions. Cette approche souffre d'un problème critique appelé « enchevêtrement intention-exécution » (intention-execution entanglement) :

• La logique de haut niveau (l'intention de l'utilisateur) est transférable, mais les détails d'exécution spécifiques au site (comme les identifiants d'éléments DOM, ex: #btn-123) ne le sont pas.
• Lorsqu'un agent récupère une trajectoire d'un site source pour l'appliquer à un site cible, il tente souvent d'exécuter des actions avec des identifiants qui n'existent pas ou des étapes séquentielles inadaptées au contexte actuel.
• Cela entraîne un désalignement du flux de travail (workflow mismatch) et une pollution du contexte, empêchant l'agent de réussir des tâches complexes sur de nouveaux sites.

2. Méthodologie : L'Arbre de Mémoire Hiérarchique (HMT)

Pour résoudre ce problème, les auteurs proposent HMT (Hierarchical Memory Tree), un cadre structuré conçu pour découpler explicitement la planification logique de l'exécution des actions.

A. Construction de la Mémoire (Pipeline d'Abstraction)

HMT transforme les trajectoires brutes en une hiérarchie à trois niveaux via un pipeline automatisé :

1. Niveau Intention (Intent Level) : Les instructions utilisateurs diverses sont normalisées en objectifs de tâches standardisés (ex: « Réserver un vol ») avec des contraintes, éliminant les variations de formulation.
2. Niveau Étape (Stage Level) : La trajectoire est segmentée en sous-objectifs sémantiques réutilisables (ex: « Rechercher un vol », « Sélectionner un vol »). Chaque nœud est défini par des pré-conditions et post-conditions observables (états de l'interface utilisateur), permettant à l'agent de s'aligner sur sa progression actuelle plutôt que sur l'historique brut.
3. Niveau Action (Action Level) : Au lieu de stocker des identifiants d'éléments bruts, ce niveau enregistre des modèles d'action couplés à des descriptions sémantiques transférables. Ces descriptions incluent le rôle de l'élément (ex: bouton), son texte, sa position relative et son contexte structurel, rendant l'action applicable sur n'importe quel site.

B. Mécanisme d'Inférence Sensible aux Étapes (Stage-Aware Inference)

L'inférence est décomposée en deux modules coopératifs :

• Le Planificateur (Planner) : Il vérifie l'état actuel de la page (via les pré-conditions) pour sélectionner le sous-objectif logique approprié. Il agit comme un filtre pour éviter les désalignements temporels.
• L'Acteur (Actor) : Une fois l'étape validée, l'Acteur utilise les descriptions sémantiques récupérées pour ancrer (ground) l'action sur les éléments du DOM de la page cible. Il ne copie pas les IDs, mais recherche l'élément correspondant à la description sémantique.
• Mécanisme de Repli (Fallback) : Un mécanisme basé sur la confiance gère les incertitudes. Si la sélection d'une étape est peu fiable, l'agent élargit la recherche ou revient à une politique de base sans mémoire pour éviter les boucles d'erreur.

3. Contributions Clés

1. Architecture HMT : Une nouvelle architecture de mémoire hiérarchique (Intention → Étape → Action) qui résout l'enchevêtrement intention-exécution en séparant la logique du transfert des détails d'implémentation.
2. Abstraction au niveau de l'étape : Une méthode de stockage des modèles d'action avec des descriptions sémantiques d'éléments, permettant un ancrage robuste sur de nouveaux sites sans dépendre des IDs bruts.
3. Inférence Planner-Actor : Un mécanisme d'inférence décomposé avec vérification d'état et gestion de la confiance, améliorant la robustesse face aux environnements incertains.
4. Validation Empirique : Des évaluations exhaustives démontrant la supériorité de l'approche dans des scénarios de généralisation croisée.

4. Résultats Expérimentaux

Les expériences ont été menées sur deux benchmarks majeurs : Mind2Web (évaluation hors ligne) et WebArena (évaluation en ligne).

• Généralisation Cross-Site (Mind2Web) : HMT surpasse significativement les méthodes à mémoire plate (comme AWM et MindAct), en particulier dans le scénario « Cross-Website » (sites jamais vus).
  • Preuve de concept : Le taux de réussite des étapes (StepSR) passe de 12,4 % (avec des identifiants bruts) à 39,7 % (avec des descriptions sémantiques), prouvant que les IDs bruts échouent lorsque la structure DOM change.
• Performance Globale (WebArena) : HMT atteint le meilleur taux de réussite global (38,7 %), surpassant les agents de référence. Les gains sont particulièrement marqués dans les domaines complexes logiquement (GitLab, CMS).
• Efficacité : En compressant les trajectoires brutes en nœuds sémantiques, HMT réduit la longueur du contexte de 72,7 %, ce qui diminue la latence par étape (3,5s vs 5,2s) et le coût d'inférence de 71 %.
• Analyse d'Ablation : La suppression de la hiérarchie ou des conditions pré/post entraîne une chute drastique des performances, confirmant que la structure et la vérification d'état sont essentielles.

5. Signification et Conclusion

Ce travail établit un nouveau standard pour les agents web capables d'apprentissage continu et de généralisation.

• Dépassement des limites actuelles : HMT démontre que la clé de la généralisation ne réside pas seulement dans la puissance du LM, mais dans la structure de la mémoire. En découplant la logique du contexte spécifique au site, les agents peuvent transférer des compétences d'un domaine à un autre.
• Robustesse : La capacité à ignorer les identifiants fragiles (IDs) au profit de descriptions sémantiques stables rend les agents beaucoup plus résilients face aux changements de design des sites web.
• Limites identifiées : L'étude note que des échecs peuvent survenir dans des cas de « ancrage ambigu » (quand plusieurs éléments correspondent à une description générique) ou de vérification d'état rigide (dans les applications monopage où l'URL ne change pas), suggérant des pistes pour des descripteurs structurels plus riches à l'avenir.

En résumé, HMT propose une solution élégante et efficace pour transformer les agents web d'outils fragiles et spécifiques en systèmes autonomes capables de naviguer de manière fiable sur l'ensemble du web.