Sintesi Tecnica: Dove si è rotto il processo? Valutazione a livello di processo degli agenti web con tracciamento dello stato semantico

Definizione del problema

Gli agenti web automatizzano compiti interattivi complessi e multi-step, come lo shopping, la prenotazione e la gestione di documenti. A differenza del seguire istruzioni a turno singolo, questi compiti richiedono sequenze di interazione prolungate che coinvolgono la navigazione, la raccolta di informazioni tra diverse pagine e l'esecuzione di azioni dipendenti. Tuttavia, i benchmark esistenti (ad esempio, WebArena, Mind2Web, WebVoyager) valutano principalmente gli agenti in base al successo terminale — un esito binario che indica se l'obiettivo finale del compito è stato raggiunto.

Questa visione basata solo sull'esito comprime l'intera traiettoria di interazione in un singolo risultato, oscurando modalità di fallimento qualitativamente diverse. Ad esempio, un agente che trova l'obiettivo corretto ma esegue l'azione finale errata riceve lo stesso punteggio di un agente che non trova affatto l'obiettivo. Di conseguenza, il successo terminale fornisce poca informazione azionabile su dove l'agente sia fallito, su quale capacità abbia limitato le prestazioni o su come migliorare specifiche abilità di interazione. Esso non riesce a supportare un accurato assegnamento del credito per i passaggi intermedi.

Metodologia: WEBSTEP e i duali MDP semantici

Per affrontare queste limitazioni, gli autori introducono WEBSTEP, un benchmark progettato per la valutazione a livello di processo. L'innovazione principale è la costruzione di ogni sito web come un duale di un Processo Decisionale di Markov (MDP) semantico.

1. Architettura del duale MDP semantico

Inveve di fare affidamento sulla annotazione manuale o sull'allineamento euristico delle azioni GUI, WEBSTEP costruisce ogni sito web in modo che l'MDP semantico sia la "fonte di verità" per ogni comportamento:

• Costruzione duale: L'agente interagisce solo con l'interfaccia grafica (GUI) renderizzata. Contemporaneamente, il benchmark traccia le corrispondenti transizioni di stato semantico sottostanti.
• Dinamiche deterministiche: Il frontend inoltra le azioni GUI (ad esempio, clic, digitazione) a un modello semantico. Il modello applica transizioni di stato deterministiche, aggiorna lo stato interno e renderizza nuovamente la pagina in base a tale stato.
• Recupero automatico della traccia: Poiché la GUI è renderizzata direttamente dal modello semantico, l'intera traiettoria semantica viene recuperata esattamente dalle azioni GUI grezze senza intervento manuale.

2. Generazione di compiti e del mondo

I compiti sono generati combinando istruzioni in linguaggio naturale con un "mondo" (un insieme di articoli con attributi concreti).

• Negativi difficili (Hard Negatives): Per controllare la difficoltà, il sistema inietta articoli "negativi difficili" che condividono attributi visibili con il target nelle pagine di elenco/ricerca, ma differiscono per attributi visibili solo nelle pagine di dettaglio. Ciò costringe gli agenti a navigare verso le pagine di dettaglio per discriminare i target.
• Traiettorie Oracle: Poiché l'MDP e gli insiemi di articoli sono completamente specificati, una traiettoria ottimale (oracle) può essere derivata staticamente per ogni compito, fungendo da verità di base per le metriche di processo.

3. Framework di valutazione a livello di processo

Il framework decompone il comportamento dell'agente in diverse metriche derivate automaticamente dalla traccia dell'MDP semantico:

• Successo di esplorazione: Se l'agente ha isolato correttamente l'articolo target prima di impegnarsi.
• Successo di esecuzione: Il tasso di successo condizionato strettamente su un'esplorazione riuscita (isolando la capacità di finalizzare un compito una volta trovato il target).
• Copertura informativa: La frazione di attributi rilevanti per il compito osservati dall'agente.
• Invocazione delle abilità (Skill Invocation): Mappatura delle azioni in cinque categorie: Ispezione (Inspect), Navigazione (Navigate), Ricerca (Search), Filtro (Filter) e Impegno (Commit).
• Analisi della biforcazione della traiettoria: Confronto tra traiettorie di successo e di fallimento per identificare la "prima azione divergente" (il punto di errore decisivo) e categorizzare i fallimenti come Ramo Errato (Wrong Branch), Impegno Ritardato (Delayed Commit) o Impegno Prematuro (Premature Commit).

Contributi chiave

1. Benchmark WEBSTEP: Un dataset di 1.800 istanze di compiti su 10 siti web auto-ospitati (che spaziano in domini come e-commerce, immobiliare, coding e produttività). Ogni compito è accoppiato con un duale MDP semantico per il tracciamento automatico dello stato.
2. Framework di valutazione a livello di processo: Una metodologia che decompone il comportamento in esplorazione, esecuzione e invocazione delle abilità, consentendo il confronto delle traiettorie a stati semantici condivisi per localizzare le modalità di fallimento senza annotazione manuale.
3. Analisi empirica degli agenti web: Una valutazione completa di cinque agenti (Fara-7B, UI-TARS-1.5-7B, GUI-Owl-1.5-8B, Qwen3.5-122B e OpenAI CUA) che rivela come i tassi di successo terminale spesso mascherino differenze comportamentali significative.

Risultati e scoperte

Gli autori hanno valutato cinque agenti, scoprendo che, sebbene i modelli piccoli si raggruppassero in un intervallo ristretto di successo terminale (31–33%), le metriche a livello di processo hanno rivelato profili comportamentali distinti:

1. Il successo terminale nasconde le differenze comportamentali:

   • UI-TARS ha mostrato un maggiore successo di esplorazione ma un minore successo di esecuzione, indicando che trova i target ma fatica con l'azione finale.
   • Fara ha mostrato il minor numero di step e la minore copertura informativa, suggerendo un comportamento sotto-esplorativo.
   • OpenAI CUA e Qwen3.5 hanno performato meglio sia nell'esplorazione che nell'esecuzione, con CUA che mostrava una maggiore efficienza.

2. Debolezze specifiche delle abilità:

   • Gli agenti esibiscono profili di abilità distinti. Ad esempio, nel dominio Housing, OpenAI CUA ha superato Qwen3.5 del 23,7% nelle azioni di Commit, ma è stato superato del 15,6% nelle azioni di Filter.
   • Ciò dimostra che la debolezza di un agente può concentrarsi in una specifica abilità di interazione all'interno di un singolo dominio, cosa che i punteggi generali del sito web oscurerebbero.

3. Localizzazione dell'errore decisivo:

   • L'analisi della biforcazione ha mostato che lo step in cui gli agenti divergono per la prima volta dal percorso ottimale varia a seconda del modello.
   • GUI-Owl ha fallito più spesso nello step di Filter.
   • Qwen3.5 e altri hanno fallito più spesso nello step di Inspect (aprire la pagina dell'articolo sbagliato).
   • Impegno Prematuro (Premature Commitment): Molti agenti (ad esempio, Fara) spesso saltavano lo step di Inspect, impegnandosi su un target prima di raccogliere prove sufficienti, portando a fallimenti su negativi difficili.

4. Sensibilità alla complessità:

   • All'aumentare della complessità del compito (misurata dal numero di negativi difficili, dalla lunghezza della traiettoria oracle e dal livello di accesso alle informazioni), il divario di performance tra gli agenti si è ampliato.
   • Sui compiti facili, gli agenti hanno performato in modo simile; sui compiti complessi che richiedevano un'esplorazione profonda, OpenAI CUA ha mantenuto le prestazioni mentre gli altri sono degradati significativamente.

Significato e rivendicazioni

Il paper sostiene che WEBSTEP apre una nuova via nella valutazione degli agenti web spostando il focus dal classificare gli agenti in base agli esiti terminali al diagnosticare come e dove falliscono.

• Insight azionabili: Identificando deficit di abilità specifici (ad esempio, scarso filtraggio rispetto a scarso impegno) e pattern di fallimento (ad esempio, impegno prematuro), il framework fornisce obiettivi concreti per il miglioramento, come l'addestramento su tipi di interazione specifici o l'aggiustamento delle strategie di esplorazione.
• Diagnosi invece di Classifica: Gli autori sostengono che la valutazione a livello di processo trasformi la valutazione da un sistema di classificazione black-box a uno strumento diagnostico in grado di separare i fallimenti di esplorazione dai fallimenti di esecuzione.
• Riproducibilità: La natura deterministica degli MDP semantici assicura che la dinamica dell'ambiente e i risultati della verifica siano completamente riproducibili, affrontando una limitazione chiave dei benchmark sul web live.

Il lavoro conclude che il successo terminale da solo è insufficiente per comprendere le capacità degli agenti e che un'analisi granulare a livello di processo è necessaria per guidare lo sviluppo di agenti web più robusti.