Riepilogo Tecnico: Apprendimento di Competenze Online per Agenti Web tramite Recupero Dinamico Basato sullo Stato

Definizione del Problema

Gli agenti linguistici sono sempre più utilizzati per compiti di automazione web multi-step (ad esempio, ricerca di informazioni, compilazione di moduli). Sebbene la ricerca esistente abbia esplorato l'apprendimento di competenze online — dove gli agenti inducono conoscenze procedurali riutilizzabili da traiettorie di task passati per migliorare le prestazioni future — una limitazione critica persiste nelle metodologie attuali.

Gli approcci esistenti all'apprendimento di competenze online operano principalmente a livello di task. Essi recuperano un set fisso di competenze basandosi esclusivamente sull'istruzione iniziale del task all'inizio di un'esecuzione e mantengono questo set costante durante l'intero processo. Questa strategia statica è disallineata con la natura dell'esecuzione web interattiva, dove l'azione successiva appropriata dipende non solo dall'obiettivo globale del task, ma anche dallo stato attuale della pagina web. Mentre l'agente naviga, lo stato della pagina web transita, rendendo spesso le competenze inizialmente selezionate irrilevanti o non riuscendo a coprire le nuove situazioni che sorgono. Inoltre, i metodi esistenti faticano con la granularità delle competenze: le competenze relative all'intera traiettoria sono troppo specifiche per essere applicate agli stati intermedi, mentre le competenze a singola azione mancano di una significativa astrazione procedurale.

La sfida centrale affrontata da questo articolo è: Come può un agente online recuperare dinamicamente la competenza riutilizzabile corretta ad ogni step decisionale, condizionata sia dall'evoluzione dell'obiettivo del task che dallo stato attuale della pagina web?

Metodologia: Recupero Dinamico Basato sullo Stato (SGDR)

Gli autori propongono il Recupero Dinamico Basato sullo Stato (SGDR), un framework di apprendimento di competenze online progettato per sostituire il riutilizzo statico delle competenze a livello di task con un recupero adattivo a livello di step. Il metodo opera in un contesto di flusso di task sequenziali in cui gli agenti devono aggiornare la propria libreria di competenze al volo senza accesso a segnali di successo della verità di base (ground-truth) durante l'esecuzione.

SGDR è composto da tre componenti principali:

1. Estrazione di Competenze tramite Finestra Scorrevole

Per affrontare la sfida della granularità, SGDR non memorizza intere traiettorie di task come singole competenze. Invece, dopo che un task è stato completato e giudicato con successo da un modello di valutazione, il sistema applica un processo di estrazione tramite finestra scorrevole alla traiettoria.

• Processo: La traiettoria viene segmentata in sottoprocedimenti locali (finestre di lunghezze variabili).
• Verifica: Ogni segmento candidato viene convertito in una competenza e verificato sostituendo le azioni corrispondenti nella traiettoria originale con una chiamata alla competenza. Solo le competenze che preservano il successo della traiettoria vengono aggiunte alla libreria.
• Risultato: Questo produce sottoprocedimenti compatti e riutilizzabili (ad esempio, "compila un modulo breve", "applica un filtro") che sono applicabili a stati intermedi della pagina web piuttosto che solo a contesti di task completi.

2. Rappresentazione Duale Testo-Codice

Ogni competenza indotta $s_k$ è rappresentata come una coppia $(d_k, c_k)$:

• Descrizione ($d_k$): Un riassunto in linguaggio naturale utilizzato per il recupero.
• Codice ($c_k$): Una funzione eseguibile utilizzata per l'esecuzione dell'azione.
  Questa doppia rappresentazione assicura che le competenze siano sia semanticamente recuperabili che funzionalmente eseguibili nell'ambiente del browser.

3. Recupero Dinamico Basato sullo Stato

A differenza dei metodi statici che recuperano le competenze una sola volta all'inizio, SGDR recupera le competenze ad ogni step decisionale $t$ basandosi sullo stato corrente.

• Costruzione della Query: La query di recupero combina l'istruzione originale del task $g$ e un riassunto compatto dello stato attuale della pagina web $r_t$ (derivato dall'albero di accessibilità).
• Scoring della Rilevanza: Uno score di rilevanza viene calcolato utilizzando una similarità del coseno pesata tra la descrizione della competenza e la query combinata:
  $$score_t(s_k) = \alpha \cos(\phi(g), \phi(d_k)) + (1-\alpha) \cos(\phi(r_t), \phi(d_k))$$
  dove $\alpha$ bilancia l'importanza dell'obiettivo del task rispetto allo stato corrente.
• Reranking MMR: Per prevenire la ridondanza (poiché le finestre scorrevoli possono produrre competenze sovrapposte), i primi $M$ candidati vengono riordinati utilizzando la Massimal Relevance (MMR). Ciò massimizza la rilevanza rispetto alla query corrente penalizzando la similarità con le competenze già selezionate, garantendo un set diversificato di opzioni azionabili.
• Iniezione: Le competenze selezionate vengono iniettate solo per lo step corrente, permettendo il supporto dell'agente di adattarsi mentre l'esecuzione si svolge.

Contributi Chiave

1. Formulazione del Problema: L'articolo identifica e formalizza il limite del riutilizzo delle competenze one-shot a livello di task negli agenti web online, evidenziando la necessità di un recupero dinamico basato sullo stato per gestire l'evoluzione dei contesti della pagina web.
2. Innovazione Metodologica: Introduce SGDR, un framework che consente il riutilizzo delle competenze step-wise. Le innovazioni chiave includono:
   • Estrazione tramite finestra scorrevole per generare competenze di granularità intermedia.
   • Rappresentazione duale testo-codice che collega la semantica di recupero alle azioni eseguibili.
   • Meccanismi di recupero dinamico che condizionano la selezione delle competenze sia agli obiettivi del task che alle osservazioni dello stato in tempo reale.
3. Validazione Empirica: Il metodo è valutato sul benchmark WebArena attraverso cinque domini (Shopping, Admin, Reddit, Gitlab, Map) utilizzando due modelli backbone (GPT-4.1 e QWEN3-4B).

Risultati Sperimentali

Gli esperimenti dimostrano che SGDR supera costantemente i forti baseline, inclusi Vanilla (nessuna competenza), Agent Workflow Memory (AWM), Agent Skill Induction (ASI) e Contextual Experience Replay (CER).

• Tassi di Successo:
  • Con GPT-4.1, SGDR ha raggiunto un tasso di successo medio del 37,5%, un guadagno relativo del 10,6% rispetto al baseline più forte (CER al 33,9%).
  • Con QWEN3-4B, SGDR ha raggiunto il 24,3%, un guadagno relativo del 10,0% rispetto a CER (22,1%).
  • Sono stati osservati miglioramenti in quattro dei cinque domini, con guadagni notevoli in Admin (47,7% vs 41,4% per ASI) e Shopping.
• Efficienza di Esecuzione: SGDR ha ridotto il numero medio di step necessari per completare i task. Con GPT-4.1, ha utilizzato in media 4,8 step rispetto ai 6,4 di CER, indicando che l'astrazione di alto livello delle competenze sostituisce efficacemente molteplici interazioni a basso livello con il browser.
• Studi di Ablazione:
  • Segnale di Recupero: Combinare l'informazione del task e dello stato ($\alpha=0.5$) ha prodotto i risultati migliori, superando il recupero basato solo sul task o solo sullo stato.
  • Reranking: Il reranking MMR ha migliorato significativamente le prestazioni rispetto al semplice recupero di rilevanza top-$M$ riducendo la ridondanza.
  • Granularità: L'estrazione tramite finestra scorrevole ha superato sia l'estrazione dell'intera traiettoria che quella a singola azione, confermando la necessità di una granularità intermedia.

Significato e Rivendicazioni

L'articolo sostiene che SGDR rappresenti un passaggio dal riutilizzo statico a livello di task al riutilizzo adattivo basato sullo stato. Dinamizzando l'allineamento del recupero delle competenze con l'evoluzione dello stato della pagina web, il metodo permette agli agenti di sfruttare meglio le conoscenze procedurali accumulate in ambienti interattivi reali.

Gli autori posizionano questo lavoro come un passo verso un'automazione web più realistica, dove gli agenti devono gestire task che arrivano sequenzialmente e richiedono un adattamento continuo. Il metodo non si affida a librerie offline pre-costruite, ma impara e perfeziona le proprie capacità "al volo", rendendolo adatto a scenari di deployment dove le distribuzioni dei task possono cambiare o evolversi. I risultati suggeriscono che affrontare il disallineamento tra l'iniezione di competenze statica e gli stati dinamici della pagina web sia cruciale per migliorare i tassi di successo e l'efficienza degli agenti linguistici in ambienti web complessi.