🤖 AI

Automating SKILL.md Generation for Computer-Using Agents via Interaction Trajectory Mining

Cet article présente une étude diagnostique démontrant que, bien que l'extraction de trajectoires d'interaction puisse générer des bibliothèques de compétences lisibles et de haute pureté pour les agents utilisant des ordinateurs, l'approche actuelle ne parvient pas à traduire ces enseignements en améliorations de politiques interdomaines fiables en raison de limitations dans la détection des frontières, la représentation des segments et la modélisation de récompense hors ligne.

Auteurs originaux : Yuexing Hao, Xiaomin Li

Publié 2026-06-19

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Yuexing Hao, Xiaomin Li

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez un assistant robotique capable d'utiliser un ordinateur exactement comme un humain : cliquer, taper, faire défiler, et copier. Pour rendre ce robot plus intelligent, nous lui donnons souvent une « feuille de triche » appelée SKILL.md. Considérez cette feuille de triche comme un livre de recettes. Au lieu de dire au robot « clique ici, puis tape là », le livre dit : « Voici comment 'Envoyer un e-mail' ou 'Enregistrer un fichier' ». Ce sont des compétences pré-emballées qui facilitent la compréhension et la correction du travail du robot.

Habituellement, les humains doivent écrire ces livres de recettes à la main. Mais et si nous pouvions apprendre au robot à écrire son propre livre de recettes simplement en observant comment les gens utilisent les ordinateurs ? C'est exactement ce que tente de faire ce document.

L'expérience : Enseigner à un robot à écrire son propre livre de cuisine

Les chercheurs ont construit une machine en trois étapes pour transformer les données brutes d'utilisation de l'ordinateur en un livre de recettes :

Découper la vidéo : Imaginez regarder une longue vidéo de quelqu'un en plein travail. La machine essaie de trouver les « changements de scène ». Si la personne s'arrête soudainement de taper pour commencer à faire défiler la page, la machine coupe la vidéo à cet instant, pensant : « D'accord, c'était une tâche ; maintenant, ils commencent une nouvelle tâche. »
Grouper les scènes : La machine prend tous ces petits clips vidéo et essaie de regrouper les plus similaires. Si 50 clips concernent le fait de « copier et coller », elle les met dans un panier étiqueté « Transfert de données ». Elle crée ensuite une « empreinte numérique » pour chaque panier afin que le robot puisse les reconnaître plus tard.
Entraîner le robot : Enfin, ils enseignent au robot une nouvelle politique (un ensemble de règles) en utilisant ces paniers. Le but est de voir si le robot peut regarder une nouvelle tâche et dire : « D'abord, je dois effectuer la compétence 'Recherche', puis la compétence 'Copier', » et qu'il réussit réellement mieux qu'avant.

Les résultats : Un bilan mitigé

Les résultats étaient un peu comme trouver une carte au trésor qui mène à une île magnifique, mais avec un bateau que vous avez construit et qui ne navigue pas très bien.

La bonne nouvelle : La carte est lisible
Sur le jeu de données spécifique utilisé pour construire la carte (appelé « IW »), la machine a très bien réussi à organiser les données. Cinq des huit « paniers » étaient très purs. Par exemple, un panier était presque entièrement composé d'actions d'« Édition de documents », et un autre était purement dédié à l'« Envoi de messages ».

Analogie : C'est comme si vous demandiez à un robot de trier un tas de linge mélangé, et qu'il réussissait à mettre toutes les chaussettes dans un panier et toutes les chemises dans un autre. Le tri était clair et facile à lire pour les humains.

La mauvaise nouvelle : Le bateau ne navigue pas
Voici la partie délicate : ce n'est pas parce que le robot a bien trié le linge qu'il sait porter les vêtements.

Le problème de transfert : Lorsqu'ils ont essayé d'utiliser ces compétences triées sur de nouvelles tâches (différents sites web ou différents types de travail), le robot ne s'est pas amélioré. En fait, il est parfois devenu légèrement moins performant.
La surprise de la « fréquence » : Les chercheurs ont testé le robot contre une base de référence très simple et absurde : une « Priorité de Fréquence » (Frequency Prior). Il s'agit d'une règle qui dit : « Quelle que soit la compétence la plus utilisée auparavant, refais la même. » Étonnamment, cette règle stupide a battu les compétences complexes apprises par le robot.
- Analogie : Imaginez que vous essayez d'apprendre une nouvelle langue. Vous étudiez un livre de grammaire complexe (les compétences du robot), mais vous faites des erreurs. Pendant ce temps, votre ami se contente de répéter le mot le plus courant qu'il a entendu hier (« Bonjour »), et il communique en fait mieux que vous dans ce test spécifique.

Pourquoi cela a-t-il échoué ?
Le document suggère quelques raisons pour lesquelles le « livre de recettes » du robot n'a pas aidé à mieux cuisiner :

L'oubli de l'ordre : La machine a regroupé les actions en fonction de ce qu'elles étaient (clics, frappes), mais elle a oublié l'ordre. Elle savait que « cliquer » et « coller » étaient dans le même panier, mais elle ne se souvenait pas qu'il faut cliquer avant de coller. C'est comme avoir un sac d'ingrédients pour un gâteau, mais oublier l'ordre dans lequel il faut les mélanger.
De mauvais découpages : La machine a parfois coupé la « vidéo » aux mauvais endroits. Elle peut penser qu'une longue pause dans la frappe est une nouvelle compétence, alors qu'il s'agit simplement de la même compétence qui continue.
Le système de récompense : Le système utilisé pour entraîner le robot (appelé GRPO) n'était pas assez performant pour donner des retours. C'était comme un entraîneur qui donne des éloges vagues au lieu de corrections spécifiques.

L'essentiel

Ce document est une étude diagnostique, ce qui signifie qu'il s'agit davantage de comprendre pourquoi quelque chose n'a pas fonctionné parfaitement que de revendiquer une grande victoire.

Ce qui a fonctionné : Nous pouvons extraire automatiquement des données d'utilisation de l'ordinateur pour créer une liste de compétences organisée et lisible que les humains peuvent comprendre.
Ce qui n'a pas fonctionné : Transformer cette liste en un robot capable d'utiliser ces compétences pour résoudre de nouveaux problèmes est beaucoup plus difficile. La méthode actuelle n'a pas battu une stratégie simple consistant à « deviner l'action la plus courante ».

Les auteurs concluent que, bien que nous ayons une bonne façon de voir la structure du travail des gens, nous n'avons pas encore trouvé comment transformer cette structure en un ensemble de compétences fiables et transférables pour les robots. Le « livre de recettes » existe, mais le robot a encore besoin de pratique avant de pouvoir cuisiner un repas par lui-même.

Résumé Technique : Automatisation de la génération de SKILL.md pour les agents utilisant l'ordinateur via le minage de trajectoires d'interaction

Énoncé du Problème
Les agents utilisant l'ordinateur (Computer-Using Agents ou CUAs) opèrent sur des interfaces graphiques (GUI) via des actions primitives (clics, frappe au clavier, défilement). À mesure que ces agents passent de tâches à étape unique à des flux de travail complexes, des motifs répétitifs émergent et peuvent être encapsulés sous forme de « compétences » (skills) — des procédures nommées situées au-dessus des actions primitives mais en dessous des plans de tâches complets. Bien que les bibliothèques de compétences explicites (appelées ici fichiers SKILL.md) facilitent l'inspection et le débogage, elles sont généralement écrites à la main, ce qui crée un goulot d'étranglement pour le nommage, le périmètre et la mise à jour à mesure que les interfaces évoluent.

La question centrale de ce travail est de savoir si des bibliothèques de compétences explicites peuvent être extraites automatiquement de trajectoires d'interaction pour améliorer les politiques d'agents en aval. Les auteurs distinguent la capacité à découvrir des grappes (clusters) d'actions cohérentes de la capacité à transférer ces grappes en une politique utile pour de nouvelles tâches. Ils notent qu'un cluster peut être cohérent sans être utile, et que les améliorations de la politique peuvent provenir d'un volume de données accru plutôt que de l'acquisition d'un vocabulaire de compétences transférables.

Méthodologie
Le document propose un pipeline en trois étapes pour extraire des compétences du jeu de données InteraSkill (IW) et évaluer leur utilité :

Phase 1 : Segmentation de la trajectoire (Détection de limites)
- Le pipeline segmente les trajectoires en se basant sur des « sauts d'action » (action jumps). Il calcule la distance euclidienne entre les vecteurs d'actions adjacents ( $\Delta a_t = \|a_t - a_{t-1}\|_2$ ).
- Un seuil $\theta$ est sélectionné sur des données IW non utilisées pour maximiser le F1 de la limite. Si $\Delta a_t > \theta$ , une limite est marquée.
- Les vecteurs d'action sont composés de 15 caractéristiques normalisées (action primitive one-hot, coordonnées de l'écran, horodatage, longueur du texte, montant du défilement) mais excluent les données DOM ou de capture d'écran.
Phase 2 : Plongement de compétence (Construction de la bibliothèque)
- Représentation du segment : Chaque segment est résumé par un « sac d'actions » (bag-of-actions) utilisant la moyenne ( $\mu$ ) et la variance diagonale ( $\Sigma$ ) de ses vecteurs d'action. Cette représentation est invariante à la longueur mais ignore l'ordre séquentiel (ex: cliquer avant de taper vs taper avant de cliquer).
- Clustering : Les segments sont regroupés par clustering utilisant la distance de Bures au carré (un cas particulier de la distance 2-Wasserstein pour les gaussiennes diagonales) entre leurs profils de moyenne/variance. Un clustering agglomératif est effectué avec $k=8$ à $16$.
- Raffinement : Un encodeur contrastif supervisé (MLP) est entraîné en utilisant les assignations de clusters comme pseudo-étiquettes. Cela raffine les plongements (embeddings) pour les rendre plus cohérents en interne, projetant des entrées de 30 dimensions (moyenne + variance) vers un espace latent de 16 dimensions.
Phase 3 : Entraînement de la politique sensible aux compétences
- Les étiquettes de compétences extraites sont utilisées pour entraîner une politique de composition de séquences de compétences (prédire l'étiquette de la compétence suivante étant donné un contexte de tâche).
- Baselines : Des modèles simples MLP et Transformer consomment les plongements de segments appris.
- Politique principale : Qwen3-8B est entraîné via l'optimisation de politique relative de groupe (GRPO) à partir d'un modèle de base. Le modèle de récompense évalue les réponses complètes sensibles aux compétences, et la politique est mise à jour sans démarrage supervisé (warm start).
- Évaluation : La métrique principale est la précision de l'étape de compétence (skill-step accuracy) et la correspondance exacte de séquence sur des benchmarks tenus à l'écart (WebArena, BrowseComp+), avec IW servant de domaine source.

Contributions Clés

Pipeline pour le minage automatisé de compétences : Les auteurs présentent un pipeline reproductible qui segmente les trajectoires GUI, les regroupe en compétences candidates et génère des artefacts de type SKILL.md.
Évaluation diagnostique du transfert : L'étude évalue rigoureusement si les compétences extraites améliorent les performances de la politique en aval, en comparant les modèles appris aux baselines zero-shot et aux priors statistiques triviaux.
Résultats négatifs et limitations : Le document rapporte que bien que la structure extraite soit lisible dans le domaine source, le pipeline actuel ne parvient pas à produire des améliorations de politique fiables et transversales entre les domaines.

Résultats

Lisibilité dans le domaine source : Sur le benchmark IW source, les clusters extraits sont hautement lisibles. Cinq des huit clusters atteignent une pureté $\ge 0,95$ par rapport aux étiquettes de compétences réelles d'IW (ex: document_edit, data_transfer). L'encodeur contrastif améliore l'information mutuelle normalisée (NMI) de 0,65 (baseline Wasserstein) à 0,86.
Faible performance de transfert :
- Performance GRPO : L'entraînement de Qwen3-8B avec GRPO sur les compétences extraites n'apporte que des gains marginaux sur le domaine source (la précision de l'étape de compétence sur IW passe de 18,5 % à 20,5 %) et dégrade ou ne change pas les performances sur les domaines tenus à l'écart (WebArena chute de 55,8 % à 44,2 % ; BrowseComp+ reste autour de 43,3 %).
- Échec des baselines : Une baseline de fréquence triviale (prédire la compétence suivante la plus commune) surpasse à la fois le MLP appris et la politique entraînée par GRPO sur la précision de l'étape de compétence d'IW (34,9 % contre 23,3 % et 20,5 %, respectivement).
- Distance d'édition : Les fichiers SKILL.md auto-générés ont des distances d'édition normalisées plus élevées que la baseline de fréquence sur toutes les tailles de données, échouant à battre le plus simple des priors statistiques.
Problèmes de détection de limites : L'heuristique de saut d'action provoque une sur-segmentation des compétences (faible précision) et n'est pas stable selon les domaines. L'application du seuil dérivé d'IW à WebArena entraîne une chute brutale du score F1 (0,119), indiquant que le signal de limite ne se transfère pas.
Limitations de la représentation : La représentation « sac d'actions » (moyenne/variance) ignore l'ordre séquentiel, ce qui est crucial pour les compétences GUI (ex: copier avant de coller). Cela contribue probablement à l'incapacité de la politique à apprendre des règles de composition complexes.

Signification et Revendications
Les auteurs présentent ce travail explicitement comme une étude diagnostique plutôt que comme une affirmation de succès. La signification réside dans la clarification des limites des approches actuelles de minage de trajectoires :

Inspectabilité vs Utilité : Le minage de trajectoire peut exposer des structures de compétences inspectables dans le domaine source, mais la lisibilité n'implique pas la transférabilité.
Insuffisance du pipeline : La combinaison actuelle d'un détecteur de limites $\ell_2$ , d'une représentation de segment sans ordre et d'un modèle de récompense hors ligne est insuffisante pour une amélioration fiable de la politique entre les domaines.
Besoin de contrôles plus stricts : Le document soutient que les futurs travaux de découverte de compétences doivent se comparer aux fréquences et aux priors de transition pour s'assurer que les améliorations ne sont pas de simples artefacts de déséquilibre de données ou d'adaptation de format de sortie.
Absence de gains inter-domaines : L'étude ne trouve aucune preuve que les composants appris actuellement surpassent les baselines statistiques triviales ou la conception manuelle dans un contexte de changement de domaine.

Le document conclut que, bien que les compétences extraites servent de structures inspectables utiles et de signaux d'entraînement pour les modèles de récompense, elles ne constituent pas encore un remplacement fiable des baselines statistiques ou de la conception manuelle pour construire des agents utilisant l'ordinateur robustes.

L'expérience : Enseigner à un robot à écrire son propre livre de cuisine

Les résultats : Un bilan mitigé

L'essentiel

Articles similaires