Automating SKILL.md Generation for Computer-Using Agents via Interaction Trajectory Mining

Technische Samenvatting: Automatisering van SKILL.md-generatie voor Computer-gebruikende Agenten via Interactie-traject-mining

Probleemstelling
Computer-gebruikende agenten (Computer-Using Agents, CUA's) opereren op grafische gebruikersinterfaces (GUI's) via primitieve acties (klikken, typen, scrollen). Terwijl deze agenten overgaan van enkelvoudige stappen naar complexe workflows, ontstaan er herhaalde patronen die kunnen worden verpakt als "skills" (vaardigheden)—benoemde procedures die boven primitieve acties maar onder volledige taakplannen liggen. Hoewel expliciete skill-bibliotheken (hier aangeduid als SKILL.md-bestanden) inspectie en debugging vergemakkelijken, moeten deze doorgaans handmatig worden geschreven, wat een knelpunt vormt voor het benoemen, afbakenen en bijwerken naarmate interfaces evolueren.

De centrale vraag van dit werk is of expliciete skill-bibliotheken automatisch kunnen worden gemined uit interactie-trajecten om downstream-agentbeleid te verbeteren. De auteurs maken onderscheid tussen het vermogen om coherente clusters van acties te ontdekken en het vermogen om die clusters te transfereer naar een nuttig beleid voor nieuwe taken. Zij merken op dat een cluster coherent kan zijn zonder nuttig te zijn, en dat verbeteringen in beleid kunnen voortkomen uit een groter datavolume in plaats van de acquisitie van een transfereerbare skill-vocabulaire.

Methodologie
Het paper stelt een driefasige pipeline voor om skills te minen uit de InteraSkill (IW) dataset en hun nut te evalueren:

1. Fase 1: Trajectsegmentatie (Grensbepaling)

   • De pipeline segmenteert trajecten op basis van "actie-sprongen" (action jumps). Het berekent de Euclidische afstand tussen aangrenzende actievectoren ($\Delta a_t = \|a_t - a_{t-1}\|_2$).
   • Een drempelwaarde $\theta$ wordt geselecteerd op gehouden-out IW-data om de boundary F1 te maximaliseren. Als $\Delta a_t > \theta$, wordt een grens gemarkeerd.
   • Actievectoren bestaan uit 15 genormaliseerde kenmerken (primitieve actie one-hot, schermcoördinaten, tijdstempel, tekstlengte, scroll-hoeveelheid), maar sluiten DOM- of screenshot-data uit.

2. Fase 2: Skill-embedding (Bibliotheekconstructie)

   • Segmentrepresentatie: Elk segment wordt samengevat als een "bag-of-actions" met behulp van het gemiddelde ($\mu$) en de diagonale variantie ($\Sigma$) van de actievectoren. Deze representatie is lengte-invariant maar negeert de sequentiële volgorde (bijv. klikken-voor-typen versus typen-voor-klikken).
   • Clustering: Segmenten worden geclusterd met behulp van de gekwadrateerde Bures-afstand (een speciaal geval van de 2-Wasserstein afstand voor diagonale Gaussische verdelingen) tussen hun gemiddelde/variantie-profielen. Agglomeratieve clustering wordt uitgevoerd met $k=8$ tot $16$.
   • Verfijning: Een supervised-contrastieve encoder (MLP) wordt getraind met de clustertoezigningen als pseudo-labels. Dit verfijnt de embeddings om intern consistenter te zijn, waarbij 30-dimensionale inputs (gemiddelde + variantie) worden toegewezen aan een 16-dimensionale latente ruimte.

3. Fase 3: Skill-bewust Beleidstraining (Skill-Aware Policy Training)

   • De geminede skill-labels worden gebruikt om een beleid te trainen voor skill-sequentiecompositie (het voorspellen van het volgende skill-label gegeven een taakcontext).
   • Baselines: Eenvoudige MLP en Transformer-modellen consumeren de geleerde segment-embeddings.
   • Hoofdbeleid: Qwen3-8B wordt getraind met Group Relative Policy Optimization (GRPO) vanaf een basismodel. Het beloningsmodel scoort volledige skill-bewuste responsen, en het beleid wordt bijgewerkt zonder supervised warm-starts.
   • Evaluatie: De primaire metriek is skill-stap nauwkeurigheid en exacte sequentie-overeenkomst op gehouden-out benchmarks (WebArena, BrowseComp+), waarbij IW dient als de bron-domein.

Belangrijkste Bijdragen

1. Pipeline voor Automatische Skill-mining: De auteurs presenteren een reproduceerbare pipeline die GUI-trajecten segmenteert, ze clustert in kandidaat-skills en SKILL.md-achtige artefacten genereert.
2. Diagnostische Evaluatie van Transfer: De studie evalueert rigoureus of gemined skills het downstream-beleid verbeteren, waarbij geleerde modellen worden vergeleken met zero-shot baselines en triviale statistische priors.
3. Negatieve Resultaten en Beperkingen: Het paper rapporteert dat hoewel de gemined structuur leesbaar is in het bron-domein, de huidige pipeline er niet in slaagt betrouwbare cross-domein beleidsverbeteringen te produceren.

Resultaten

• Bron-domein Leesbaarheid: Op de bron-IW benchmark zijn de gemined clusters zeer leesbaar. Vijf van de acht clusters bereiken $\ge 0,95$ zuiverheid tegen de grondwaarheid van de IW skill-labels (bijv. document_edit, data_transfer). De contrastieve encoder verbetert de Normalized Mutual Information (NMI) van 0,65 (Wasserstein baseline) naar 0,86.
• Slechte Transferprestaties:
  • GRPO Prestaties: Het trainen van Qwen3-8B met GRPO op gemined skills levert slechts marginale winst op de bron-domein op (de IW skill-stap nauwkeurigheid stijgt van 18,5% naar 20,5%) en verslechtert of blijft onveranderd op gehouden-out domeinen (WebArena daalt van 55,8% naar 44,2%; BrowseComp+ blijft rond de ~43,3%).
  • Baseline Falen: Een triviale Frequentie baseline (het voorspellen van de meest voorkomende volgende skill) presteert beter dan zowel het geleerde MLP als het GRPO-getrainde beleid op de IW skill-stap nauwkeurigheid (34,9% vs. 23,3% en 20,5%, respectievelijk).
  • Edit Distance: De automatisch gegenereerde SKILL.md bestanden hebben hogere genormaliseerde edit distances dan de Frequentie baseline over alle datagrootten, en falen om de eenvoudigste statistische prior te verslaan.
• Problemen met Grensbepaling: De actie-sprong heuristiek splitst skills te veel op (lage precisie) en is niet domein-stabiel. Het toepassen van de uit IW afgeleide drempelwaarde op WebArena resulteert in een scherpe daling in F1-score (0,119), wat aangeeft dat het grenssignaal niet transfereert.
• Representatiebeperkingen: De "bag-of-actions" representatie (gemiddelde/variantie) negeert de sequentiële volgorde, wat cruciaal is voor GUI-skills (bijv. kopiëren vóór plakken). Dit draagt waarschijnlijk bij aan het onvermogen van het beleid om complexe compositieregels te leren.

Significantie en Claims
De auteurs kaderen dit werk expliciet als een diagnostische studie in plaats van een succesclaim. De significantie ligt in het verhelderen van de grenzen van huidige traject-mining benaderingen:

• Inspecteerbaarheid vs. Nut: Traject-mining kan inspecteerbare skill-structuren in het bron-domein blootleggen, maar leesbaarheid impliceert geen transfereerbaarheid.
• Onvoldoende Pipeline: De huidige combinatie van een $\ell_2$ boundary detector, een volgorde-loze segmentrepresentatie en een offline beloningsmodel is onvoldoende voor betrouwbare cross-domein beleidsverbetering.
• Noodzaak voor Sterkere Controles: Het paper betoogt dat toekomstig werk op het gebied van skill-ontdekking zich moet vergelijken met frequentie- en transitie-priors om te garanderen dat verbeteringen niet louter artefacten zijn van dataset-imbalans of output-formaat adaptatie.
• Geen Cross-Domein Winsten: De studie vindt geen bewijs dat de huidige geleerde componenten de triviale baselines of handmatig ontwerp overtreffen in een cross-domein setting.

Het paper concludeert dat hoewel gemined skills dienen als nuttige inspecteerbare structuren en trainingssignalen voor beloningsmodellen, ze nog niet een betrouwbare vervanging zijn voor statistische baselines of handmatig ontwerp voor het bouwen van robuuste computer-gebruikende agenten.