Go-Browse: Training Web Agents with Structured Exploration

Le papier présente Go-Browse, une méthode d'exploration structurée des environnements web qui permet de collecter à grande échelle des données d'entraînement pour agents, améliorant ainsi significativement les performances des modèles de langage de moins de 10 milliards de paramètres sur le benchmark WebArena.

L'essentiel

🌐 Go-Browse : Le Guide de Voyage qui Apprend aux Robots à Naviguer sur le Web

Imaginez que vous donnez à un robot un objectif : "Achetez-moi des chaussures de running sur ce site web". Le robot se lance, mais il est perdu. Il clique partout, tourne en rond, et finit par abandonner. Pourquoi ? Parce qu'il ne connaît pas le terrain. C'est comme envoyer quelqu'un dans une ville inconnue sans carte, sans GPS et sans savoir lire les panneaux.

C'est le problème que les chercheurs de l'Université Carnegie Mellon ont voulu résoudre avec Go-Browse.

1. Le Problème : Le Robot Perdu dans la Forêt

Les intelligences artificielles (IA) actuelles sont très intelligentes pour écrire des poèmes ou coder, mais dès qu'elles doivent naviguer sur un site web réel, elles se comportent comme des touristes paniqués. Elles ne savent pas quelles pages visiter pour atteindre leur but.

• L'ancienne méthode : On leur donnait des manuels d'instructions (des tutoriels) ou on les laissait errer au hasard. C'était inefficace, comme essayer d'apprendre à conduire en lisant un livre sur la mécanique sans jamais toucher le volant.

2. La Solution : Go-Browse, le Cartographe Intelligent

Go-Browse est une nouvelle méthode qui permet de créer automatiquement un manuel de navigation pour ces robots. Au lieu de leur donner des instructions toutes faites, Go-Browse envoie des "explorateurs" (des IA spécialisées) pour découvrir le site web par eux-mêmes et cartographier le chemin.

Imaginez que vous voulez apprendre à quelqu'un à traverser une forêt inconnue. Au lieu de lui donner une carte dessinée à la main, vous envoyez d'abord un groupe d'explorateurs courageux. Ils marchent, trouvent des sentiers, découvrent des ponts et notent tout ce qu'ils voient. Ensuite, vous utilisez ces notes pour créer la carte parfaite.

Go-Browse fait exactement cela, mais en deux étapes clés :

• L'Exploration Globale (Le Grand Tour) : L'algorithme maintient une "frontière" de pages découvertes mais pas encore bien explorées. Il choisit une page, s'y rend, et demande : "Quelles autres pages intéressantes puis-je atteindre depuis ici ?". C'est comme si l'explorateur disait : "J'ai trouvé une porte, je vais voir où elle mène."
• L'Exploration Locale (Le Détour) : Une fois sur une page, l'IA se demande : "Que peut-on faire ici ?". Peut-on commander un produit ? Peut-on changer une configuration ? Peut-on chercher une information ? Elle teste ces actions pour voir si elles fonctionnent.

3. L'Analogie du "Reset" (Le Retour en Arrière Magique)

C'est ici que Go-Browse devient génial.
Dans les anciennes méthodes, si un robot échouait à trouver une page difficile, il recommençait tout depuis le début (la page d'accueil), perdant tout son temps.

Go-Browse utilise une astuce inspirée des jeux vidéo complexes (comme Montezuma's Revenge). Si l'IA découvre une page intéressante mais difficile d'accès, elle enregistre ce point précis. La prochaine fois, au lieu de repartir de zéro, elle "se téléporte" directement sur cette page pour continuer l'exploration.

• En langage simple : C'est comme si vous appreniez à quelqu'un à cuisiner. Au lieu de lui faire refaire les courses et la préparation des légumes à chaque fois, vous lui dites : "Tu es déjà à l'étape où les légumes sont coupés, concentre-toi maintenant sur la cuisson." Cela permet d'apprendre beaucoup plus vite.

4. Le Résultat : Un Robot qui Devient un Expert

Les chercheurs ont utilisé cette méthode sur WebArena, un terrain de jeu virtuel contenant des sites web réalistes (comme un site de shopping, un forum Reddit, ou un outil de gestion de projet).

• Ils ont collecté 10 000 trajets réussis (des histoires de robots qui ont réussi leur mission).
• Ils ont entraîné un modèle d'IA (une version de 7 milliards de paramètres, ce qui est "petit" pour une IA moderne) sur ces données.

Le résultat est bluffant :
Ce petit modèle, entraîné avec Go-Browse, a battu des géants comme GPT-4o mini (un modèle très puissant d'OpenAI) et a surpassé toutes les autres méthodes pour les modèles de cette taille. Il est passé de 8% de réussite à 21,7%.

5. Pourquoi c'est important ?

Avant, pour avoir un bon agent web, il fallait soit des humains qui passent des heures à montrer comment faire (très cher), soit des modèles géants et coûteux.
Go-Browse montre que si on donne aux robots les bons outils pour explorer et apprendre par eux-mêmes (en construisant leur propre carte du monde numérique), même de petits modèles peuvent devenir des experts.

En Résumé

Go-Browse, c'est comme donner à un robot un passeport et un carnet de voyage plutôt qu'une simple liste de courses. Au lieu de lui dire "Va là", on lui apprend à découvrir le chemin, à noter les étapes clés, et à savoir exactement où il doit se trouver pour réussir sa mission. C'est une révolution pour rendre les assistants numériques plus autonomes, plus intelligents et moins perdus.

Résumé technique

1. Problématique

Les agents web basés sur les grands modèles de langage (LLM) souffrent d'un manque fondamental de compréhension de leur environnement. Bien que performants dans d'autres domaines, ils ont tendance à se perdre sur des sites web inconnus, incertains des pages à visiter pour atteindre leurs objectifs.

• Limites actuelles : Sur le benchmark WebArena, les modèles de pointe (comme GPT-4o) obtiennent des scores modestes (38 % pour GPT-4o, 19 % pour GPT-4o-mini), tandis que les petits modèles (ex: Qwen-2.5-7B) échouent massivement (8 %).
• Défi de la collecte de données : Les données générées par des humains sont coûteuses et lentes à produire. Les méthodes automatiques existantes souffrent de deux approches principales :
  • Interaction-first (Interaction d'abord) : L'agent explore sans but précis. Cela génère beaucoup de redondance et de données peu utiles car chaque épisode est indépendant.
  • Instruction-first (Instruction d'abord) : L'agent tente de résoudre des tâches générées à partir d'une observation statique. Cela limite l'exploration aux pages initiales et ignore les parties profondes du site.

2. Méthodologie : Go-Browse

Les auteurs proposent Go-Browse, une méthode entièrement non supervisée et évolutive pour collecter des données d'agents web via une exploration structurée. L'idée centrale est de traiter la collecte de données comme un problème de recherche de graphe, permettant de réutiliser les informations d'un épisode à l'autre.

L'algorithme fonctionne selon deux boucles imbriquées (voir Figure 1 du papier) :

A. Boucle Externe : Couverture Globale du Site (Frontier Exploration)

• Concept : Le système maintient une "frontière" (frontier) de pages web découvertes mais pas encore pleinement explorées.
• Mécanisme : Au lieu de repartir systématiquement de la page d'accueil (root), Go-Browse sélectionne une page dans la frontière et y réinitialise l'agent.
• Avantage : Cela découple le défi de la navigation (trouver la bonne page) de celui de la résolution de tâche locale (agir sur cette page). Cela permet d'explorer des parties profondes du site sans perdre de temps à les retrouver à chaque fois.

B. Boucle Interne : Exploration Locale et Collecte de Tâches

Pour chaque page sélectionnée dans la frontière, trois modules agissent :

1. NavExplorer (Explorateur de Navigation) : Un agent web propose des tâches de navigation vers des pages voisines (voisins du graphe). Il utilise ses propres interactions pour découvrir de nouvelles URL et les ajouter à la frontière.
2. PageExplorer (Explorateur de Page) : Propose des tâches réalisables directement sur la page courante (ex: "Ajouter un produit au panier", "Chercher un article").
3. FeasibilityChecker (Vérificateur de Faisabilité) : Filtre les tâches proposées. Un agent fort (ex: Claude-3.7-Sonnet) tente de résoudre la tâche. Si un VLM (Vision-Language Model) juge la trajectoire réussie, la tâche est considérée comme "faisable".
4. Solvers (Résolveurs) : Génèrent des trajectoires supplémentaires pour les tâches validées. Ils utilisent deux stratégies :
   • Échantillonnage préfixé (Prefixed) : L'agent commence depuis la page courante (découverte). Cela facilite la tâche et permet d'utiliser des modèles plus faibles pour générer des données de haute qualité.
   • Échantillonnage non préfixé (Unprefixed) : L'agent doit résoudre la tâche en partant de la racine du site (homepage), ce qui force l'apprentissage de la navigation à long terme.

3. Contributions Clés

1. Algorithme d'Exploration Structurée : Introduction d'une approche hybride combinant la couverture globale (type BFS) et l'exploration locale, inspirée des travaux RL comme Go-Explore.
2. Découplage Navigation/Tâche : En réinitialisant les épisodes sur des pages déjà découvertes, la méthode réduit la redondance et permet aux modèles d'apprendre efficacement des tâches complexes sans être bloqués par la difficulté de navigation initiale.
3. Dataset Go-Browse-WA : Collecte d'un ensemble de données massif sur le benchmark WebArena :
   • 10 000 trajectoires de résolution de tâches réussies.
   • 40 000 étapes d'interaction.
   • Couverture de 100 URL distinctes sur 5 domaines (Shopping, Reddit, GitLab, Maps, Admin).
4. Performance des Petits Modèles : Démonstration qu'un modèle de 7 milliards de paramètres (Qwen-2.5-7B) peut surpasser des modèles propriétaires beaucoup plus grands (GPT-4o-mini) après un simple fine-tuning supervisé sur ces données.

4. Résultats Expérimentaux

Les auteurs ont fine-tuné le modèle Qwen-2.5-7B-Instruct sur le dataset Go-Browse-WA.

• Benchmark WebArena :
  • Go-Browse-7B atteint un taux de réussite global de 21,7 %.
  • Il surpasse GPT-4o-mini (19,3 %) de 2,4 points.
  • Il bat l'état de l'art des modèles <10B paramètres (NNETNAV-7B à 18,8 %) de 2,9 points.
  • Il améliore le modèle de base Qwen-2.5-7B (8,3 %) de plus de 13 points.
• Analyse par domaine : Le modèle excelle particulièrement sur les domaines Shopping Admin (+11 % vs NNETNAV) et Reddit (+7 % vs NNETNAV), là où la navigation profonde est cruciale.
• Généralisation (Online-Mind2Web) : Le modèle conserve un avantage sur NNETNAV sur des sites hors domaine, bien que les performances baissent globalement (comme attendu). Sur les sites proches du domaine d'entraînement, il rivalise avec GPT-4o-mini.

5. Signification et Impact

• Efficacité de l'Exploration : Go-Browse résout le problème de la redondance dans la collecte de données non supervisées. En réutilisant les chemins de navigation découverts, il maximise la diversité des tâches collectées.
• Démocratisation des Agents Web : La méthode prouve qu'il n'est pas nécessaire d'avoir des modèles massifs (GPT-4o, Claude-3.7) pour obtenir des performances de pointe en agent web. Un modèle de 7B, correctement entraîné sur des données structurées, peut surpasser des modèles fermés plus grands.
• Qualité des Données : Le dataset généré contient des trajectoires plus profondes (plus de niveaux de navigation) et plus diversifiées que les approches précédentes, permettant aux agents d'apprendre des compétences de navigation complexes.

En conclusion, Go-Browse établit un nouveau standard pour la collecte de données d'agents web, démontrant que l'exploration structurée et la réutilisation intelligente de l'information sont des leviers essentiels pour améliorer l'autonomie des agents numériques.