Résumé Technique : Apprentissage de Compétences en Ligne pour les Agents Web via la Récupération Dynamique Fondée sur l'État

Énoncé du Problème

Les agents de langage sont de plus en plus utilisés pour des tâches d'automatisation web multi-étapes (par exemple, la recherche d'informations, le remplissage de formulaires). Bien que la recherche actuelle ait exploré l'apprentissage de compétences en ligne — où les agents induisent des connaissances procédurales réutilisables à partir de trajectoires de tâches passées pour améliorer les performances futures — une limitation critique persiste dans les méthodologies actuelles.

Les approches actuelles d'apprentissage de compétences en ligne opèrent principalement au niveau de la tâche. Elles récupèrent un ensemble fixe de compétences basé uniquement sur l'instruction initiale de la tâche au début d'une exécution et maintiennent cet ensemble constant tout au long du processus. Cette stratégie statique est en décalage avec la nature de l'exécution web interactive, où la prochaine action appropriée dépend non seulement de l'objectif global de la tâche, mais aussi de l'état actuel de la page web. À mesure que l'agent navigue, l'état de la page web transite, rendant souvent les compétences initialement sélectionnées non pertinentes ou échouant à couvrir de nouvelles situations qui surviennent. De plus, les méthodes existantes peinent avec la granularité des compétences : les compétences de trajectoire complète sont trop spécifiques pour s'appliquer à des états intermédiaires, tandis que les compétences d'action unique manquent d'abstraction procédurale significative.

Le défi central abordé par cet article est : Comment un agent en ligne peut-il récupérer dynamiquement la bonne compétence réutilisable à chaque étape de décision, conditionnée à la fois par l'objectif de la tâche évolutif et par l'état actuel de la page web ?

Méthodologie : Récupération Dynamique Fondée sur l'État (SGDR)

Les auteurs proposent la Récupération Dynamique Fondée sur l'État (SGDR - State-Grounded Dynamic Retrieval), un cadre d'apprentissage de compétences en ligne conçu pour remplacer la réutilisation de compétences statiques au niveau de la tâche par une récupération adaptative au niveau de l'étape. La méthode opère dans un contexte de flux de tâches séquentielles où les agents doivent mettre à jour leur bibliothèque de compétences à la volée sans accès à des signaux de succès de vérité terrain pendant l'exécution.

La SGDR se compose de trois composantes clés :

1. Extraction de Compétences par Fenêtre Glissante

Pour répondre au défi de la granularité, la SGDR ne stocke pas des trajectoires de tâches entières comme des compétences uniques. Au lieu de cela, après qu'une tâche est terminée et jugée réussie par un modèle évaluateur, le système applique un processus d'extraction par fenêtre glissante à la trajectoire.

• Processus : La trajectoire est segmentée en sous-procédures locales (fenêtres de longueurs variables).
• Vérification : Chaque segment candidat est converti en une compétence et vérifié en remplaçant les actions correspondantes dans la trajectoire originale par un appel de compétence. Seules les compétences qui préservent le succès de la trajectoire sont ajoutées à la bibliothèque.
• Résultat : Cela produit des sous-procédures compactes et réutilisables (par exemple, "remplir un formulaire court", "appliquer un filtre") qui sont applicables à des états de page web intermédiaires plutôt qu'à de simples contextes de tâche complète.

2. Représentation Duale Texte-Code

Chaque compétence induite $s_k$ est représentée par une paire $(d_k, c_k)$ :

• Description ($d_k$) : Un résumé en langage naturel utilisé pour la récupération.
• Code ($c_k$) : Une fonction exécutable utilisée pour l'exécution de l'action.
  Cette double représentation garantit que les compétences sont à la fois sémantiquement récupérables et fonctionnellement exécutables dans l'environnement du navigateur.

3. Récupération Dynamique Fondée sur l'État

Contrairement aux méthodes statiques qui récupèrent les compétences une seule fois au début, la SGDR récupère les compétences à chaque étape de décision $t$ basée sur l'état actuel.

• Construction de la Requête : La requête de récupération combine l'instruction de la tâche originale $g$ et un résumé compact de l'état actuel de la page web $r_t$ (dérivé de l'arbre d'accessibilité).
• Score de Pertinence : Un score de pertinence est calculé à l'aide d'une similitude cosinus pondérée entre la description de la compétence et la requête combinée :
  $$score_t(s_k) = \alpha \cos(\phi(g), \phi(d_k)) + (1-\alpha) \cos(\phi(r_t), \phi(d_k))$$
  où $\alpha$ équilibre l'importance de l'objectif de la tâche par rapport à l'état actuel.
• Reranking MMR : Pour éviter la redondance (puisque les fenêtres glissantes peuvent produire des compétences chevauchantes), les $M$ meilleurs candidats sont reclassés à l'aide de la Pertinence Maximale Marginale (MMR - Maximal Marginal Relevance). Cela maximise la pertinence par rapport à la requête actuelle tout en pénalisant la similitude avec les compétences déjà sélectionnées, assurant un ensemble diversifié d'options actionnables.
• Injection : Les compétences sélectionnées sont injectées uniquement pour l'étape actuelle, permettant à l'assistance de l'agent de s'adapter au fur et à mesure que l'exécution se déroule.

Contributions Clés

1. Formulation du Problème : L'article identifie et formalise la limitation de la réutilisation de compétences en une seule fois au niveau de la tâche pour les agents web en ligne, soulignant la nécessité d'une récupération dynamique fondée sur l'état pour gérer les contextes web évolutifs.
2. Innovation Méthodologique : Il introduit la SGDR, un cadre qui permet la réutilisation de compétences étape par étape. Les innovations clés incluent :
   • L'extraction par fenêtre glissante pour générer des compétences de granularité intermédiaire.
   • La représentation duale texte-code liant la sémantique de récupération aux actions exécutables.
   • Des mécanismes de récupération dynamique qui conditionnent la sélection des compétences à la fois sur les objectifs de la tâche et les observations d'état en temps réel.
3. Validation Empirique : La méthode est évaluée sur le benchmark WebArena à travers cinq domaines (Shopping, Admin, Reddit, Gitlab, Map) en utilisant deux modèles de base (GPT-4.1 et QWEN3-4B).

Résultats Expérimentaux

Les expériences démontrent que la SGDR surpasse systématiquement les bases solides, incluant Vanilla (sans compétences), Agent Workflow Memory (AWM), Agent Skill Induction (ASI) et Contextual Experience Replay (CER).

• Taux de Succès :
  • Avec GPT-4.1, la SGDR a atteint un taux de succès moyen de 37,5%, soit un gain relatif de 10,6% par rapport à la base la plus forte (CER à 33,9%).
  • Avec QWEN3-4B, la SGDR a atteint 24,3%, soit un gain relatif de 10,0% par rapport à CER (22,1%).
  • Des améliorations ont été observées dans quatre des cinq domaines, avec des gains notables dans Admin (47,7% contre 41,4% pour ASI) et Shopping.
• Efficacité d'Exécution : La SGDR a réduit le nombre moyen d'étapes nécessaires pour accomplir les tâches. Avec GPT-4.1, elle a utilisé en moyenne 4,8 étapes contre 6,4 pour CER, indiquant que l'abstraction de compétences de haut niveau remplace efficacement de multiples interactions de bas niveau avec le navigateur.
• Études d'Ablation :
  • Signal de Récupération : La combinaison des informations de tâche et d'état ($\alpha=0,5$) a donné les meilleurs résultats, surpassant la récupération basée uniquement sur la tâche ou uniquement sur l'état.
  • Reranking : Le reranking par MMR a considérablement amélioré les performances par rapport à une simple récupération de pertinence top-$M$ en réduisant la redondance.
  • Granularité : L'extraction par fenêtre glissante a surpassé l'extraction de trajectoire complète et l'extraction d'action unique, confirmant la nécessité d'une granularité intermédiaire.

Signification et Revendications

L'article affirme que la SGDR représente un changement de la réutilisation statique au niveau de la tâche vers une réutilisation adaptative fondée sur l'état. En alignant dynamiquement la récupération des compétences sur l'état évolutif de la page web, la méthode permet aux agents de mieux exploiter les connaissances procédurales accumulées dans des environnements interactifs du monde réel.

Les auteurs positionnent ce travail comme une étape vers une automatisation web plus réaliste, où les agents doivent gérer des tâches qui arrivent séquentiellement et nécessitent une adaptation continue. La méthode ne repose pas sur des bibliothèques pré-construites hors ligne mais apprend et affine ses capacités "à la volée", ce qui la rend adaptée aux scénarios de déploiement où les distributions de tâches peuvent changer ou évoluer. Les résultats suggèrent que traiter le décalage entre l'injection de compétences statiques et les états web dynamiques est crucial pour améliorer les taux de succès et l'efficacité des agents de langage dans des environnements web complexes.