AutoSurfer -- Teaching Web Agents through Comprehensive Surfing, Learning, and Modeling
AutoSurfer est un nouveau générateur de trajectoires web qui utilise une exploration systématique en largeur, une synthèse de tâches guidée par l'exploration et un raffinement basé sur les trajectoires pour surmonter les problèmes de pénurie de données et d'hallucinations, améliorant ainsi considérablement les performances des agents web et la diversité des tâches sur le benchmark WebArena.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez que vous vouliez enseigner à un robot comment naviguer dans une immense et complexe bibliothèque (un site web) pour y trouver des livres spécifiques, les emprunter ou y écrire des critiques. Le problème est que le robot ne connaît pas la disposition de la bibliothèque, et personne n'a rédigé de manuel à son intention.
AutoSurfer est un nouveau système conçu pour enseigner à ces « robots du web » (appelés agents web) en agissant comme un bibliothécaire humain très méticuleux et organisé qui explore d'abord la bibliothèque, rédige un guide parfait, puis enseigne au robot en utilisant ce guide.
Voici comment AutoSurfer fonctionne, décomposé en étapes simples :
1. Le Problème : Les Robots qui se Perdent
Les robots actuels tentant de naviguer sur des sites web échouent souvent car ils n'ont pas été entraînés sur suffisamment de bons exemples.
- L'Ancienne Méthode : Les méthodes précédentes tentaient d'enseigner aux robots soit :
- En devinant depuis la porte d'entrée : Ils regardaient la page d'accueil et devinaient quelles tâches étaient possibles, manquant ainsi les pièces cachées au fond de la bibliothèque.
- En errant sans but : Ils se promenaient au hasard, comme un touriste cognant contre les murs. Cela conduisait souvent le robot à inventer des tâches qui n'existaient pas réellement (hallucinations) ou à manquer des fonctionnalités importantes comme les menus déroulants cachés jusqu'à ce qu'on clique dessus.
2. La Solution : La Stratégie en Trois Étapes d'AutoSurfer
AutoSurfer résout ce problème en utilisant une approche « Apprendre en Avancant » qui imite la façon dont un humain apprend un nouveau site web.
Étape A : L'Explorateur Systématique (La Recherche en Largeur)
Au lieu d'errer au hasard, AutoSurfer agit comme un détective avec une liste de contrôle.
- La File d'Attente : Il maintient une liste de chaque page qu'il a trouvée mais qu'il n'a pas encore pleinement explorée. Il commence par la page d'accueil, puis vérifie chaque lien sur cette page, puis chaque lien sur ces pages, et ainsi de suite.
- L'Astuce du « Déploiement » : Imaginez un menu qui cache des options jusqu'à ce que vous cliquiez sur « Plus ». Les anciennes méthodes manquaient souvent ces éléments. AutoSurfer est assez intelligent pour cliquer sur le bouton « Plus », voir les nouvelles options, et ajouter immédiatement ces nouvelles options à sa liste de contrôle. Il le fait de manière récursive, dépliant les couches de menus tout comme un humain le ferait.
- Pas de Redondance : S'il trouve une boîte de « Recherche » sur la page d'accueil, il ne perd pas de temps à chercher une boîte de « Recherche » sur chaque autre page. Il se souvient de ce qu'il sait déjà et saute les doublons.
Étape B : Écrire l'Histoire (Synthèse de Tâches)
Une fois qu'AutoSurfer a exploré le site web, il ne se contente pas de dire : « J'ai cliqué ici ». Il écrit une histoire.
- Relier les Points : Il examine le chemin qu'il a parcouru (la trajectoire d'exploration) et crée une tâche basée sur ce chemin réel.
- La Métaphore : Imaginez que vous enseignez à quelqu'un comment faire un gâteau.
- Les anciennes méthodes pourraient dire : « Achetez de la farine, puis achetez des œufs, puis faites cuire. » (Étapes isolées).
- AutoSurfer dit : « D'abord, vous vous êtes rendu au rayon, avez pris la farine, vous êtes allé à la caisse, avez payé, puis vous êtes allé au four... » Il ancre la tâche dans le voyage réel, rendant les instructions beaucoup plus difficiles à mal interpréter.
Étape C : Le Polissage (Raffinement)
Le premier brouillon des instructions peut être désordonné. Peut-être que le robot a fait un détour ou a cliqué deux fois sur un bouton par erreur.
- L'Éditeur : AutoSurfer prend son propre « brouillon » du voyage et le donne à un agent web (un robot intelligent) avec un indice : « Voici le chemin que nous avons parcouru ; maintenant, veuillez effectuer cette tâche parfaitement. »
- Le Résultat : L'agent nettoie le chemin, supprime les étapes inutiles et s'assure que les instructions sont 100 % exactes. Cela crée un « manuel » de haute qualité pour l'entraînement.
3. Le Résultat : Un Super-Étudiant
AutoSurfer transforme ces chemins propres et vérifiés en un ensemble de données pour entraîner un « LLM Spécifique au Site Web » (un cerveau de robot dédié à un seul site web).
- Le Test : Les chercheurs ont testé cela sur une référence appelée WebArena (un internet simulé avec des sites comme Reddit, un magasin de shopping et un dépôt de code).
- Le Score : Le robot entraîné par AutoSurfer a réussi 24,23 % des tâches. La meilleure méthode précédente n'en a réussi que 19,59 %.
- La Diversité : Non seulement il était plus précis, mais il a également appris une plus grande variété de tâches. Il n'a pas seulement appris les choses faciles ; il a trouvé les fonctionnalités profondes et complexes des sites web que les autres méthodes avaient manquées.
Analogie de Résumé
Pensez à l'entraînement d'un agent web comme à l'entraînement d'un nouvel employé pour un immeuble de bureaux gigantesque et confus.
- Les anciennes méthodes donnaient à l'employé une carte avec seulement le hall marqué et lui disaient de « trouver la salle de pause ». Il se perdait.
- AutoSurfer envoie un employé senior parcourir tous les couloirs, ouvrir toutes les portes, vérifier tous les placards et rédiger un guide étape par étape basé sur la marche réelle. Ensuite, il envoie ce guide au nouvel employé. Le nouvel employé arrive en sachant exactement où se trouve la salle de pause, comment y arriver et quoi faire une fois arrivé.
L'article affirme qu'en étant aussi méticuleux et systématique, AutoSurfer crée de meilleures données d'entraînement, conduisant à des agents web plus précis, moins enclins à inventer des choses et capables de gérer des tâches complexes et multi-étapes sur le web.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.