💬 NLP

Scalable Behaviour Cloning on Browser Using via Skill Distillation

Cet article propose une approche évolutive pour l'entraînement d'agents de navigation en distillant les trajectoires d'interaction humaine en compétences en langage naturel compactes et récupérables, organisées au sein d'un graphe de compétences, exploitant ainsi les données utilisateur existantes pour surmonter les goulots d'étranglement décisionnels plutôt que de s'appuyer sur des tâches conçues manuellement.

Auteurs originaux : Kaisen Yang, Zheng Jiang, Yuzhao Peng, Houde Qian, Boshi Zhang, Youjie Zheng, Shijin Hong, Qingle Liu, Ruoyu Han, Bohan Lyu, Bingxiang He, Eren Cai, Calvin Xiao, Qinhuai Na

Publié 2026-07-01

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Kaisen Yang, Zheng Jiang, Yuzhao Peng, Houde Qian, Boshi Zhang, Youjie Zheng, Shijin Hong, Qingle Liu, Ruoyu Han, Bohan Lyu, Bingxiang He, Eren Cai, Calvin Xiao, Qinhuai Na

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayiez d'apprendre à un robot comment utiliser un navigateur web. Vous pourriez montrer au robot une vidéo d'un humain cliquant sur « Envoyer » sur un formulaire spécifique, et le robot pourrait apprendre à cliquer exactement à cet endroit. Mais dès que le site web change sa mise en page, ou que le bouton se déplace de cinq centimètres vers la gauche, le robot échoue. C'est comme apprendre à quelqu'un à conduire en lui faisant mémoriser la position exacte du volant dans une voiture spécifique ; s'il monte dans une autre voiture, il s'écrase.

Ce document, BrowserBC, soutient que le problème n'est pas que les robots ne savent pas cliquer sur des boutons ou taper des lettres. Le problème est qu'ils ne savent pas quoi faire ensuite lorsqu'ils sont perdus. Ils manquent de « priors de décision » (a priori de décision) — ce sentiment intuitif ou ce bon sens que les humains possèdent pour naviguer sur un site web.

Voici comment les auteurs résolvent cela, en utilisant des analogies simples :

1. Le Problème : Le Robot est « Amnésique »

Les agents IA actuels sont comme des touristes qui n'ont jamais été dans une ville auparavant. Ils peuvent voir les panneaux de signalisation (la page web) et ils peuvent marcher (cliquer et taper), mais ils ne connaissent ni les raccourcis, ni les impasses, ni comment reconnaître quand ils sont réellement arrivés à destination. Ils finissent par errer en cercles, essayant des choses au hasard jusqu'à ce qu'ils aient de la chance.

Les auteurs affirment que nous avons une ressource massive et inexploitée pour y remédier : les milliards d'heures que les humains ont déjà passées à naviguer sur Internet. Chaque fois qu'un humain remplit un formulaire avec succès ou trouve un produit, il laisse derrière lui une « trace » de son parcours.

2. La Solution : Transformer les « Empreintes » en « Manuels d'Instruction »

Le papier propose un système appelé Distillation de Compétences (Skill Distillation). Au lieu de sauvegarder la vidéo brute d'un humain cliquant sur des boutons (ce qui est désordonné et spécifique à un instant précis), le système convertit ces actions en Compétences en Langage Naturel.

Voyez cela ainsi :

Trace Brute : Une vidéo d'une personne marchant de sa maison jusqu'à l'épicerie, s'arrêtant à un feu rouge, trébuchant sur une fissure, et achetant du lait. C'est trop spécifique. Si la route est fermée demain, la vidéo est inutile.
Compétence BrowserBC : Une fiche de recette écrite qui dit : « Pour acheter du lait : Allez au magasin, trouvez le rayon crémerie, prenez une brique, et vérifiez la date d'expiration. Si le magasin est fermé, allez au suivant. »

Cette « fiche de recette » est une Fiche de Compétence (Skill Card). Elle ne se soucie pas des noms de rues spécifiques ou de la couleur du feu de signalisation. Elle se soucie de la logique de la tâche.

3. La Bibliothèque : Un « Graphe de Compétences »

Si vous vous contentiez de collecter des milliers de ces fiches de recettes, vous finiriez avec un tas désordonné où certaines disent « Acheter du lait » et d'autres « Aller au rayon crémerie », ce qui créerait de la confusion.

Les auteurs organisent ces fiches en un Graphe de Compétences (Skill Graph). Imaginez une bibliothèque bien organisée ou un organigramme :

Si vous devez « Remplir un formulaire », le système consulte le graphe et trouve la fiche générale « Remplir un formulaire ».
Si ce formulaire est pour un « Paiement », il se lie à une fiche plus spécifique « Formulaire de Paiement ».
Si le formulaire échoue, il se lie à une fiche de « Récupération » qui dit : « Si vous obtenez une erreur, vérifiez votre adresse e-mail ».

Cela permet au système de devenir intelligent sans devenir encombré. Il consolide le savoir plutôt que de simplement l'accumuler.

4. Le Tour de Magie : « Distiller une fois, Utiliser à moindre coût »

C'est la partie la plus puissante du papier.

Le Distillateur : Une IA très intelligente et coûteuse (comme un étudiant en doctorat) regarde un humain naviguer sur un site web. Elle rédige la « Fiche de Compétence » (la recette) parfaite.
L'Exécuteur : Une IA plus petite, moins chère et plus rapide (comme un stagiaire de lycée) reçoit ensuite cette fiche pour effectuer le travail réel.

Le « doctorant » fait tout le travail de réflexion difficile une seule fois pour créer le carnet de règles. L'« stagiaire » ne fait que suivre le carnet de règles. Cela signifie que vous n'avez pas besoin d'un super-ordinateur pour chaque tâche. Vous pouvez enregistrer l'expertise humaine une fois et laisser des milliers de robots plus petits et moins coûteux utiliser ce savoir pour toujours.

5. Les Résultats : Moins d'Errance, Plus de Succès

Les auteurs ont testé cela sur de vrais sites web et ont constaté que les agents utilisant ces « Fiches de Compétences » :

Résolvaient plus de tâches : Ils réussissaient environ 20 % à 35 % de plus souvent que les agents sans les fiches.
Prenaient moins d'étapes : Ils ne erraient pas autant. Ils savaient où aller.
Se remettaient des erreurs : Quand les choses tournaient mal, ils savaient comment les réparer car la partie « Récupération » de la fiche de compétence leur indiquait quoi faire.
Fonctionnaient sur de nouveaux sites : Comme les compétences étaient écrites en langage général (et non par coordonnées spécifiques), elles fonctionnaient même lorsque les sites web changeaient de design.

Résumé

Le papier soutient que l'avenir des agents web intelligents ne consiste pas à les faire cliquer plus vite ou à mieux voir. Il s'agit de leur donner une bibliothèque de la sagesse humaine. En transformant l'historique de navigation humain, désordonné, en manuels d'instruction clairs et réutilisables, nous pouvons apprendre aux robots à naviguer sur Internet avec le même bon sens que les humains, sans avoir besoin de tout réapprendre à partir de zéro à chaque fois.

Résumé Technique : Apprentissage par Imitation Scalable sur Navigateur via la Distillation de Compétences

1. Énoncé du Problème

L'article identifie un goulot d'étranglement critique dans les agents web contemporains : alors que les modèles modernes ont largement résolu les opérations de bas niveau du navigateur (analyse du DOM, exécution de clics et de frappes au clavier), ils restent inefficaces sur les sites web réels en raison de la prise de décision sous information incomplète. Les agents observent uniquement l'état actuel de la page, manquant de connaissances globales sur la structure du site, des points d'entrée fiables, des coûts de parcours et des signaux de complétion. Par conséquent, les agents capables ont souvent recours à une exploration coûteuse par essais et erreurs.

Les auteurs soutiennent que les priors décisionnels nécessaires sont abondants dans le comportement humain mais sont actuellement sous-exploités. Les traces de navigation humaines brutes sont de mauvaises unités pour une supervision directe car elles sont longues, bruitées, redondantes et étroitement liées à des états de page volatiles (ex: coordonnées spécifiques, identifiants DOM transitoires, états de connexion). Le clonage direct de ces actions de bas niveau produit des comportements fragiles et spécifiques à une page, qui échouent à se transférer. Le problème central est donc de savoir comment convertir ces journaux d'interactions humaines massifs et bruités en un savoir procédural réutilisable et transférable que les agents peuvent appliquer à des sites web inconnus.

2. Méthodologie : BrowserBC

Les auteurs proposent BrowserBC, un cadre évolutif qui convertit les traces d'interaction de navigateur en une bibliothèque de compétences en langage naturel, récupérable, composable et exécutable via la distillation de compétences. Le cadre opère à travers quatre étapes distinctes :

3.1 Abstraction de la Preuve Comportementale

Les trajectoires brutes ( $\tau$ ) sont d'abord nettoyées et segmentées sémantiquement. Le système filtre les interactions non contributives (clics erronés, attentes oisives) et les artefacts volatils (coordonnées, sélecteurs spécifiques). Les données restantes sont converties en unités de preuve ( $u$ ) structurées, qui capturent :

L'instruction de la tâche ( $x$ ).
Les résumés de contexte avant et après le segment ( $c_{pre}, c_{post}$ ).
Un résumé du comportement démontré ( $b$ ).
Le feedback observé ( $f$ ) et les résultats ( $y$ ).
Cette étape élève les données des traces d'actions spécifiques à une page vers une preuve procédurale généralisable.

3.2 Distillation de Compétences Procédurales

Les unités de preuve sont distillées en fiches de compétences structurées en langage naturel ( $\hat{s}$ ). Une compétence n'est pas définie comme un script de rejeu, mais comme une procédure transférable contenant des champs spécifiques :

Intention : Ce que la compétence accomplit.
Applicabilité : Quand et où elle s'applique (préconditions).
Étapes d'exécution : Procédures généralisées (ex: "identifier les champs par des étiquettes sémantiques" plutôt que "cliquer sur la coordonnée X,Y").
Jalons de progression et Terminaison : Comment vérifier la progression et quand s'arrêter.
Récupération après échec : Stratégies pour gérer les erreurs courantes.
Contraintes négatives : Ce qu'il ne faut pas faire.

Crucialement, le processus de distillation élimine explicitement les détails spécifiques à la session (coordonnées, états de connexion) pour garantir que la compétence est indépendante du modèle et transférable.

3.3 Construction de la Bibliothèque de Compétences (Graphe de Compétences)

Pour éviter l'accumulation sans limite et la redondance, le système organise les compétences dans un Graphe de Compétences ( $G$ ). Lorsqu'une nouvelle compétence est générée, le système décide de :

L'ajouter comme une nouvelle entrée.
La fusionner avec une compétence existante compatible.
L'enregistrer comme une spécialisation d'une compétence générale.
Les arêtes du graphe encodent des relations telles que la dépendance temporelle, la spécialisation, les procédures alternatives ou l'incompatibilité. Cela permet à la bibliothèque de croître par consolidation plutôt que par simple accumulation, gardant la récupération et les mises à jour localisées.

3.4 Exécution Conditionnée par la Compétence

Au moment de l'inférence, un récupérateur léger sélectionne un sous-ensemble compact de compétences pertinentes ( $R_t$ ) basé sur la tâche actuelle et le contexte du navigateur. Ces compétences sont insérées dans le contexte de l'agent sous forme de guidage en langage naturel. L'agent ancre ensuite ces instructions de haut niveau en actions exécutables sur la page en direct. Les compétences agissent comme des priors calibrés qui biaisent la prise de décision de l'agent mais ne supplantent pas sa capacité à s'adapter à l'état actuel.

3. Contributions Clés

Recadrage du Goulot d'Étranglement : L'article redéfinit l'inefficacité des agents web comme un problème de prise de décision sous information incomplète, identifiant les traces humaines comme une source de données de décision à grande échelle où l'unité réutilisable est une compétence en langage naturel transférable, et non un clic ou une trajectoire complète.
Cadre BrowserBC : Un système évolutif qui distille les traces en fiches de compétences structurées, les consolide dans un graphe de compétences, et découple la provenance de la compétence de son exécution. Cela permet à l'expérience enregistrée une fois (par un modèle capable ou un humain) d'être réutilisée par des modèles plus petits et moins coûteux.
Évaluation Complète : Les auteurs évaluent BrowserBC à travers trois benchmarks (WebArena-Hard, ClawBench et des tâches de bureau de type OSWorld), mesurant les taux de réussite, l'efficacité de l'interaction, la récupération après échec et la généralisation inter-substrat.

4. Résultats Expérimentaux

Le cadre a été évalué sur trois benchmarks :

WebArena-Hard (Contrôlé) : BrowserBC a amélioré le succès global des tâches de 60,5 % à 81,4 % (+20,9 points). Les gains ont été les plus significatifs dans les tâches multi-sites et d'achat (+31,2 % et +28,6 % respectivement), où l'incertitude procédurale est élevée. Les étapes d'interaction ont été réduites de 27,3 % en moyenne.
ClawBench (Production Réelle) : Sur des sites web vivants avec des mises en page volatiles, la ligne de base a résolu 32,9 % des tâches, tandis que BrowserBC en a résolu 68,4 % (+35,5 points). Ce gain significatif dans des environnements dynamiques et non saturés démontre que les compétences encodent des connaissances procédurales transférables plutôt que des états de page mémorisés.
OSWorld (Inter-substrat) : Dans une étude diagnostique sur des tâches de bureau, les compétences ont permis à l'agent de résoudre 6 cas supplémentaires qui étaient auparavant insolubles, principalement en fournissant des schémas de tâche et des preuves terminales manquants.

Découplage de la Distillation et de l'Exécution :
Les expériences ont montré que les compétences distillées par un modèle plus fort (Claude-Sonnet-4.6) améliorent considérablement les performances des agents exécutants plus faibles. Un agent plus petit équipé de compétences distillées par Sonnet a atteint un succès de 77 %, approchant les 80 % atteints par le grand agent lui-même, validant la prémisse "distiller une fois, réutiliser à moindre coût".

5. Signification et Revendications

L'article affirme que la scalabilité des agents de navigateur dépend peut-être moins de la conception manuelle de tâches ou de l'augmentation de la taille des modèles d'agents individuels, que de la valorisation des compétences collectives déjà exprimées par les utilisateurs d'Internet.

En convertissant les traces brutes et bruitées en fiches de compétences auditables en langage naturel, BrowserBC offre une voie pour accumuler et réutiliser l'expérience à travers différents agents et environnements. Les auteurs soulignent que leur approche est orthogonale aux améliorations des environnements ou des récompenses ; elle traite plutôt les données d'interaction humaine existantes comme un signal de supervision évolutif. Le travail suggère que les priors procéduraux (savoir quoi faire et comment le vérifier) sont plus précieux que les capacités de grounding de bas niveau pour résoudre des tâches web complexes à long horizon.

L'article conclut modestement, notant que si les compétences améliorent le succès et l'efficacité, elles ne remplacent pas une exécution de bas niveau parfaite ou des politiques de chemin le plus court, et que leur bénéfice est limité par la fiabilité de l'exécution et la justesse de la récupération.