Riepilogo Tecnico: VISUALSKILL

Definizione del Problema

Gli agenti per l'uso del computer (Computer-Use Agents, CUA) hanno raggiunto prestazioni quasi umane nei benchmark standardizzati per desktop, ma continuano a faticare con compiti a lungo termine e software inediti. Questo limite deriva principalmente dalla mancanza di una conoscenza procedurale persistente e specifica dell'applicazione (ad esempio, posizioni specifiche dei menu, sequenze di dialoghi e stati di workflow multi-step) che il pre-training non fornisce. Sebbene le librerie di skill esistenti tentino di affrontare questo problema fornendo conoscenze riutilizzabili, esse rappresentano prevalentemente le skill come artefatti puramente testuali. Questa modalità è inadatta all'interazione con le GUI per due ragioni primarie:

1. Perdita di Informazioni: Molti elementi dell'interfaccia utente (icone, layout, relazioni spaziali) sono verbiosi o ambigui se descritti testualmente. La verbalizzazione di questi elementi causa una perdita di informazioni presenti negli screenshot originali.
2. Difficoltà di Verifica: Nei workflow multi-step, gli agenti devono verificare gli stati intermedi dell'interfaccia dopo ogni azione. Le descrizioni testuali forniscono solo un ancoraggio indiretto, rendendo difficile distinguere tra lo stato desiderato e stati simili dal punto di vista visivo ma errati.

Metodologia: VISUALSKILL

Gli autori propongono VISUALSKILL, un artefatto di skill multimodale gerarchico progettato per mantenere le figure visive insieme alle procedure testuali.

Struttura della Skill

Una VISUALSKILL è organizzata come una gerarchia a due livelli per ogni applicazione target:

• Indice Centrale (skill.md): Elenca tutti i topic con una breve descrizione su "quando usarli".
• Guide per Topic: Ogni guida $g_t$ accoppia un corpo di testo $p_t$ con un set di figure dell'interfaccia utente $F_t$.
• Meccanismo di Caricamento: L'agente non carica l'intera skill all'inizio. Invece, consulta l'indice e invoca uno strumento Model Context Protocol (MCP) load_topic(t) per recuperare il testo e le figure specifici per un topic su richiesta. Ciò garantisce che le figure siano consegnate in linea con il testo di riferimento, evitando che vengano saltate o separate dal contesto.

Pipeline di Costruzione

VISUALSKILL è costruita tramite una pipeline a due fasi che genera sia la skill multimodale ($S_{mm}$) che un controllo di controllo testuale corrispondente ($S_{txt}$) dallo stesso contenuto sorgente per isolare l'effetto della modalità:

1. Fase 1: Estrazione della Documentazione:

   • Analizza la guida ufficiale dell'applicazione (PDF/HTML).
   • Riutilizza l'indice della documentazione come gerarchia dei topic.
   • Estrae le figure disegnate dal fornitore in modo verbatim e genera i corpi di testo per entrambe le modalità tramite una chiamata congiunta a un LLM.

2. Fase 2: Esplorazione Live dell'UI:

   • Augmenta la skill della Fase 1 guidando l'applicazione live con un esploratore controllato da un LLM per catturare la conoscenza mancante dalla documentazione (ad esempio, dialoghi a bassa frequenza, affordance visive).
   • Esploratore Libero (Free Explorer): Un pianificatore suddivide la finestra dell'applicazione in regioni; agenti worker interagiscono con ogni regione per catturare screenshot e riassumere le affordance.
   • Esploratore Mirato alle Traiettorie (Trajectory-Targeted Explorer): Un revisore analizza le traiettorie di addestramento fallite per identificare le regioni dell'interfaccia utente in cui la skill della Fase 1 ha performato meno. I worker vengono inviati in queste regioni specifiche per catturare gli stati dinamici mancanti.
   • Gli screenshot e le note catturati vengono uniti nelle guide per topic.

Contributi Chiave

1. Artefatti Multimodali Gerarchici: Il design di VISUALSKILL come struttura indicizzata per topic dove le figure visive sono mantenute insieme al testo, accessibili tramite uno strumento MCP su richiesta.
2. Pipeline di Costruzione a Due Fasi: Un metodo che combina l'estrazione della documentazione autorevole con l'esplorazione dell'interfaccia utente dell'applicazione live (sia libera che mirata alle traiettorie) per creare set di skill completi.
3. Valutazione Controllata: La creazione di un controllo testuale corrispondente generato esattamente dallo stesso materiale sorgente e dai medesimi passaggi procedurali, che differisce solo per modalità. Questo isola il guadagno di performance attribuibile specificamente alla presenza di figure visive.

Risultati Sperimentali

Gli autori hanno valutato VISUALSKILL utilizzando un agente Claude Code CLI supportato da Claude Opus 4.6 su 177 task di CUA-World e OSExpert-Eval.

• Miglioramento del Baseline: L'agente ha ottenuto un punteggio medio di 0.303 senza skill.

• Impatto della Fase 1: Utilizzando la VISUALSKILL derivata dalla documentazione, il punteggio è salito a 0.363 (+6.0% assoluto).

• Impatto della Fase 2: L'aggiunta dell'esplorazione dell'interfaccia utente (Fase 2) ha ulteriormente aumentato il punteggio a 0.456 (+15.3% assoluto rispetto al baseline).

• Multimodale vs. Solo Testo:

  • Nella Fase 1, la skill multimodale ha superato il controllo solo testuale di +1.9% assoluto (0.344 vs 0.363).
  • Nella Fase 2, la skill multimodale ha superato il controllo solo testuale di +8.3% assoluto (0.373 vs 0.456).
  • Il vantaggio multimodale è stato più pronunciato nei domini visivamente intensivi (ad esempio, GIMP, OpenToonz, Tableau) dove il successo dipende dal riconoscimento di icone, dialoghi e layout.

• Ablazione sul Meccanismo di Caricamento: Sostituire lo strumento MCP load_topic con un meccanismo di accesso ai file Read standard ha causato un calo significativo delle prestazioni. Lo strumento MCP ha garantito che l'agente consultasse la skill durante l'intera traiettoria (mediana dell'ultima consultazione al passo 10.4) e caricasse circa 7.9 figure per task, mentre l'approccio Read ha portato all'abbandono precoce (mediana al passo 1.5) e al caricamento di soli ~0.8 figure per task.

Significato e Rivendicazioni

L'articolo sostiene che mantenere le figure visive negli artefatti delle skill, invece di verbalizzarle, fornisce prove dirette che aiutano gli agenti a:

1. Identificare elementi dell'UI: Localizzare precisamente icone, layout e relazioni spaziali che sono ambigue nel testo.
2. Verificare gli stati del workflow: Confrontare direttamente l'osservazione corrente con uno screenshot di riferimento per confermare gli stati intermedi, particolarmente nei fallimenti silenziosi (ad esempio, campi di modulo che appaiono accettati ma vengono rifiutati al momento del commit).

Gli autori concludono che, per gli agenti che utilizzano il computer, l'artefatto della skill deve essere un riferimento multimodale su richiesta piuttosto che un documento solo testuale. Essi sottolineano che la combinazione di ancoraggio visivo, il meccanismo di consegna basato su MCP e l'esplorazione mirata alle traiettorie sono individualmente necessari per ottenere i guadagni di performance riportati.

Limitazioni: Gli autori notano che i modelli attuali a volte faticano a decidere quali figure specifiche all'interno di un topic caricato siano rilevanti, portando all'inflazione del contesto. Nei modelli più deboli, questa granularità grossolana può degradare le prestazioni a causa della pressione sulla lunghezza del contesto, suggerendo che una gestione più efficace del budget del contesto per le skill multimodali rimane una questione aperta.