Automating SKILL.md Generation for Computer-Using Agents via Interaction Trajectory Mining

Sintesi Tecnica: Automazione della Generazione di SKILL.md per Agenti con Capacità di Utilizzo del Computer tramite il Mining di Traiettorie di Interazione

Problema
Gli Agenti con Capacità di Utilizzo del Computer (CUA) operano su interfacce grafiche (GUI) attraverso azioni primitive (cliccare, digitare, scorrere). Man mano che questi agenti passano da compiti a singolo step a workflow complessi, emergono pattern ripetuti che possono essere impacchettati come "skill" (abilità): procedure nominate che si collocano sopra le azioni primitive ma sotto i piani di task completi. Sebbene le librerie esplicite di skill (riferite qui come file SKILL.md) facilitino l'ispezione e il debugging, esse sono tipicamente scritte a mano, creando un collo di bottiglia per la denominazione, la definizione dello scope e l'aggiornamento al variare delle interfacce.

La domanda centrale di questo lavoro è se le librerie di skill esplicite possano essere estratte automaticamente dalle traiettorie di interazione per migliorare le policy degli agenti a valle. Gli autori distinguono tra la capacità di scoprire cluster coerenti di azioni e la capacità di trasferire tali cluster in una policy utile per nuovi task. Notano che un cluster può essere coerente senza essere utile, e che i miglioramenti della policy possono derivare da un aumento del volume dei dati piuttosto che dall'acquisizione di un vocabolario di skill trasferibile.

Metodologia
Il paper propone una pipeline in tre fasi per estrarre le skill dal dataset InteraSkill (IW) e valutarne l'utilità:

1. Fase 1: Segmentazione delle Traiettorie (Rilevamento dei Confini)

   • La pipeline segmenta le traiettorie basandosi su "salti di azione" (action jumps). Calcola la distanza euclidea tra vettori di azione adiacenti ($\Delta a_t = \|a_t - a_{t-1}\|_2$).
   • Una soglia $\theta$ viene selezionata su dati IW tenuti in prova (held-out) per massimizzare l'F1 dei confini. Se $\Delta a_t > \theta$, un confine viene marcato.
   • I vettori di azione consistono in 15 feature normalizzate (azione primitiva one-hot, coordinate dello schermo, timestamp, lunghezza del testo, ammontare dello scroll) ma escludono dati DOM o screenshot.

2. Fase 2: Embedding delle Skill (Costruzione della Libreria)

   • Rappresentazione del Segmento: Ogni segmento è riassunto come un "bag-of-actions" utilizzando la media ($\mu$) e la varianza diagonale ($\Sigma$) dei suoi vettori di azione. Questa rappresentazione è invariante rispetto alla lunghezza ma scarta l'ordine sequenziale (es. cliccare prima di digitare vs digitare prima di cliccare).
   • Clustering: I segmenti vengono raggruppati utilizzando la distanza quadrata di Bures (un caso speciale della distanza 2-Wasserstein per Gaussiane diagonali) tra i loro profili di media/varianza. Il clustering agglomerativo viene eseguito con $k=8$ a $16$.
   • Raffinamento: Un encoder contrastivo supervisionato (MLP) viene addestrato utilizzando le assegnazioni dei cluster come pseudo-label. Questo raffina gli embedding, mappando input a 30 dimensioni (media + varianza) in uno spazio latente a 16 dimensioni.

3. Fase 3: Addestramento della Policy Consapevole delle Skill

   • Le etichette delle skill estratte vengono utilizzate per addestrare una policy per la composizione di sequenze di skill (predire l'etichetta della prossima skill dato un contesto di task).
   • Baseline: Modelli semplici MLP e Transformer consumano gli embedding dei segmenti appresi.
   • Policy Principale: Qwen3-8B viene addestrato utilizzando Group Relative Policy Optimization (GRPO) da un modello base. Il modello di ricompensa (reward model) valuta le risposte complete consapevoli delle skill, e la policy viene aggiornata senza warm start supervisionati.
   • Valutazione: La metrica primaria è l'accuratezza dello step della skill e l'esatta corrispondenza della sequenza su benchmark tenuti in prova (WebArena, BrowseComp+), con IW che funge da dominio sorgente.

Contributi Chiave

1. Pipeline per il Mining Automatico delle Skill: Gli autori presentano una pipeline riproducibile che segmenta le traiettorie GUI, le raggruppa in potenziali skill e genera artefatti stile SKILL.md.
2. Valutazione Diagnostica del Trasferimento: Lo studio valuta rigorosamente se le skill estratte migliorano le performance della policy a valle, confrontando i modelli appresi con baseline zero-shot e prior statistici banali.
3. Risultati Negativi e Limitazioni: Il paper riporta che, sebbene la struttura estratta sia leggibile nel dominio sorgente, l'attuale pipeline non riesce a produrre miglioramenti affidabili della policy cross-dominio.

Risultati

• Leggibilità nel Dominio Sorgente: Sul benchmark IW di origine, i cluster estratti sono altamente leggibili. Cinque di otto cluster raggiungono una purezza $\ge 0,95$ rispetto alle etichette delle skill ground-truth di IW (es. document_edit, data_transfer). L'encoder contrastivo migliora l'Informazione Mutua Normalizzata (NMI) da 0,65 (baseline Wasserstein) a 0,86.
• Scarse Performance di Trasferimento:
  • Performance GRPO: L'addestramento di Qwen3-8B con GRPO sulle skill estratte produce solo guadagni marginali sul dominio sorgente (l'accuratezza dello step della skill su IW aumenta dal 18,5% al 20,5%) e degrada o rimane invariata sui domini tenuti in prova (WebArena scende dal 55,8% al 44,2%; BrowseComp+ rimane a circa il 43,3%).
  • Baseline: Una banale baseline di frequenza (predire la prossima skill più comune) supera sia l'MLP appreso che la policy addestrata con GRPO nell'accuratezza dello step della skill su IW (34,9% vs 23,3% e 20,5%, rispettivamente).
  • Distanza di Edit: I file SKILL.md generati automaticamente hanno distanze di edit normalizzate più elevate rispetto alla baseline di frequenza in tutti i set di dati, fallendo nel battere il più semplice prior statistico.
• Problemi di Rilevamento dei Confini: L'euristica del salto di azione produce un eccesso di segmentazione (bassa precisione) e non è stabile tra i domini. Applicare la soglia derivata da IW a WebArena risulta in un drastico calo dell'F1 (0,119), indicando che il segnale del confine non si trasferisce.
• Limitazioni della Rappresentazione: La rappresentazione "bag-of-actions" (media/varianza) scarta l'ordine sequenziale, che è critico per le skill GUI (es. copiare prima di incollare). Ciò contribuisce probabilmente all'incapacità della policy di apprendere regole di composizione complesse.

Significatività e Claim
Gli autori inquadrano questo lavoro esplicitamente come uno studio diagnostico piuttosto che come una dichiarazione di successo. La significatività risiede nel chiarire i limiti degli attuali approcci di mining delle traiettorie:

• Ispezionabilità vs Utilità: Il mining delle traiettorie può esporre strutture di skill ispezionabili nel dominio sorgente, ma la leggibilità non implica la trasferibilità.
• Insufficienza della Pipeline: L'attuale combinazione di un rilevatore di confini $\ell_2$, una rappresentazione di segmento priva di ordine e un modello di ricompensa offline è insufficiente per un miglioramento affidabile della policy cross-dominio.
• Necessità di Controlli più Forti: Il paper sostiene che il futuro lavoro sulla scoperta delle skill debba confrontarsi con i prior di frequenza e di transizione per garantire che i miglioramenti non siano meri artefatti di squilibri nei dataset o di adattamento del formato di output.
• Nessun Guadagno Cross-Dominio: Lo studio non trova prove che i componenti appresi possano attualmente superare le baseline statistiche banali o il design manuale in un contesto cross-dominio.

Il paper conclude che, sebbene le skill estratte servano come strutture ispezionabili utili e segnali di addestramento per i modelli di ricompensa, non sono ancora un sostituto affidabile delle baseline statistiche o del design manuale per la costruzione di agenti robusti con capacità di utilizzo del computer.