BrowserForge: Scaling Web Episode via Parallel Browser Sandboxes
BrowserForge est un framework qui permet de passer à l'échelle la génération de données d'interaction web de haute qualité en exécutant des bacs à sable de navigateurs en parallèle sur l'ensemble du web ouvert afin de créer un corpus diversifié de 203 238 trajectoires, ce qui améliore significativement les performances des agents web basés sur les pixels sur des benchmarks vivants et statiques.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez un programme informatique conçu pour vous aider à naviguer sur Internet, tel un assistant numérique capable de cliquer sur des boutons, de taper du texte et de faire défiler des pages pour accomplir une tâche pour vous. Pour que ces programmes apprennent à le faire, ils doivent s'exercer sur de vrais sites web, en observant comment un humain passerait d'un point de départ à un objectif final. Jusqu'à présent, les données utilisées pour enseigner cela étaient limitées. La plupart des ensembles d'entraînement ont été construits en enregistrant des actions humaines sur une petite liste fixe de sites populaires, ou en générant des scénarios fictifs basés sur un ensemble restreint de tutoriels. Cela signifiait que les programmes apprenaient à naviguer sur une infime fraction d'Internet, peinant lorsqu'ils rencontraient un site nouveau ou inconnu. Ils étaient comme des étudiants qui n'auraient étudié qu'un seul manuel ; face à un livre différent, ils ne savaient plus lire.
Une équipe de chercheurs a maintenant construit un système appelé BrowserForge pour résoudre ce problème. Au lieu de s'appuyer sur une petite liste de sites web pré-sélectionnés, ils ont transformé l'intégralité de l'internet ouvert en un terrain d'entraînement. Ils ont créé un vaste réseau de centaines d'ordinateurs virtuels, chacun exécutant un navigateur web distinct. Ces navigateurs ont été envoyés visiter des centaines de milliers de sites web réels et différents présents sur le web public. Le système ne s'est pas contenté de visiter ces pages ; il a activement tenté d'accomplir des tâches sur celles-ci. Un premier agent d'intelligence artificielle regardait une page et inventait une tâche plausible, telle que trouver un article spécifique ou vérifier un prix. Un second agent tentait ensuite de réaliser cette tâche en cliquant et en tapant, enregistrant chaque mouvement effectué. Si la tâche était accomplie avec succès, l'enregistrement de ces mouvements était sauvegardé comme une leçon. Si l'agent restait bloqué ou échouait, cette tentative était écartée. Ce processus a été répété encore et encore, générant plus de 200 000 exemples d'apprentissage uniques, chacun provenant d'un site web totalement différent.
Les chercheurs ont constaté que cette approche produisait un ensemble de données bien plus vaste et diversifié que tout ce qui existait auparavant. Alors que les anciens ensembles de données ne contenaient que quelques milliers d'exemples provenant de quelques centaines de sites, cette nouvelle collection couvrait près de 200 000 sites web distincts. Lorsqu'ils ont utilisé ces nouvelles données pour entraîner un modèle informatique compact et efficace, les résultats ont été immédiats et significatifs. La capacité du modèle à accomplir avec succès des tâches sur des sites web en direct est passée d'environ 25 % à plus de 33 %. Cette amélioration n'était pas qu'une légère progression ; elle a permis à un modèle relativement petit de surpasser des systèmes beaucoup plus grands et complexes qui avaient été entraînés sur des données plus anciennes et plus étroites. L'étude a montré que la clé de l'amélioration n'était pas une nouvelle astuce dans la manière dont le modèle était enseigné, mais simplement la pure variété des sites web qu'il avait vus. En exposant le système à la réalité chaotique et imprévisible du web ouvert, les chercheurs lui ont appris à être bien plus adaptable.
Le succès de cette méthode reposait sur un processus de nettoyage minutieux. Comme le système générait des tâches et tentait de les accomplir sans supervision humaine, de nombreuses tentatives échouaient ou produisaient des enregistrements désordonnés. Les chercheurs ont construit un filtre pour éliminer ces mauvais exemples. Ils ont d'abord utilisé des règles simples pour écarter les tentatives qui tournaient manifestement mal, comme celles qui n'aboutissaient jamais. Ensuite, ils ont utilisé un autre système intelligent pour examiner les tentatives restantes et confirmer si la tâche avait réellement été accomplie. Enfin, ils ont réécrit les tentatives réussies dans un format clair et cohérent afin que le modèle d'apprentissage puisse comprendre la logique derrière les actions. Cela a permis de s'assurer que le modèle apprenait à partir d'exemples de haute qualité plutôt qu'à partir de bruit. L'étude a confirmé que la diversité des sites web était le principal moteur du succès. Lorsque les chercheurs ont testé le modèle sur différents types de sites web et de tâches, l'amélioration est restée constante, suggérant que le modèle avait véritablement appris des compétences générales plutôt que de simplement mémoriser des pages spécifiques.
Ce travail démontre que la meilleure façon d'apprendre à un ordinateur à naviguer sur le web est de le laisser explorer le web lui-même. En automatisant le processus de visite de sites réels et de tentative de tâches réelles, les chercheurs ont créé un ensemble d'entraînement qui reflète la véritable complexité d'Internet. Le résultat est un assistant numérique plus capable et plus fiable, capable de gérer les mises en page inattendues et les caractéristiques uniques des millions de sites web qui existent aujourd'hui. Les conclusions suggèrent qu'à mesure que la quantité de ces données du web ouvert augmentera, les performances de ces agents continueront de s'améliorer, les rapprochant de l'objectif d'un véritable assistant web universel.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.