Riepilogo Tecnico: Region4Web e PageDigest

Enunciato del Problema

Gli agenti web percepiscono il loro ambiente attraverso uno spazio di osservazione, eppure la granularità di tale osservazione è rimasta una scelta progettuale sottostudiata. Gli approcci esistenti trattano tipicamente lo spazio di osservazione con la stessa granularità a livello di elemento dello spazio delle azioni, rappresentando la pagina come un elenco piatto o gerarchico di singoli elementi DOM (ad esempio, nodi AXTree). Sebbene la granularità a livello di elemento sia naturale per la selezione di azioni specifiche (ad esempio, cliccare su un link specifico), è subottimale per la comprensione dello stato della pagina.

Nelle osservazioni a livello di elemento, l'organizzazione funzionale di una pagina—come gruppi di elementi servono a scopi condivisi come "elenchi di prodotti", "menu di navigazione" o "moduli di ricerca"—rimane implicita. L'agente è costretto a inferire queste regioni funzionali e i loro scopi dai segnali grezzi degli elementi ad ogni passo. Questo approccio non sfrutta gli indizi strutturali che definiscono le unità funzionali e spesso comporta contesti di osservazione eccessivamente lunghi che oscurano l'organizzazione della pagina. Inoltre, ricostruire l'intera osservazione a livello di elemento ad ogni passo all'interno di una pagina è ridondante, poiché la maggior parte delle azioni induce solo cambiamenti marginali al DOM.

Metodologia

Il documento propone un framework in due parti: Region4Web per la costruzione di osservazioni a livello di regione e PageDigest per la consegna efficiente di tali osservazioni.

1. Region4Web: Costruzione dell'Osservazione a Livello di Regione

Region4Web riorganizza l'AXTree della pagina in regioni funzionali attraverso un processo in due fasi:

• Decomposizione Gerarchica: Questa fase classifica ogni arco genitore-figlio nell'AXTree come una fusione o un taglio in un'unica traversata dal basso verso l'alto.
  • Input: Un vettore di caratteristiche per ogni nodo $v$ ($x_v$) che combina un embedding di ruolo appreso con caratteristiche strutturali numeriche (profondità, dimensione del sottoalbero, diversità dei figli, ecc.).
  • Meccanismo: Un EdgeClassifier determina se un nodo figlio deve essere separato dal proprio genitore. Utilizza le caratteristiche del genitore, la rappresentazione del figlio e la rappresentazione media dei fratelli del genitore come contesto. Se il punteggio di classificazione supera una soglia $\tau$, l'arco viene tagliato, formando un nuovo confine di regione. Altrimenti, il figlio viene fuso nella regione del genitore.
  • Output: Una partizione dell'AXTree in sottoalberi, dove ogni sottoalbero costituisce una regione funzionale.
• Astrazione Semantica: Questa fase interpreta ogni regione identificata per rendere esplicito il suo scopo.
  • Meccanismo: Un piccolo modello linguistico fine-tuned (Qwen3-0.6B) elabora il sottoalbero AXTree preelaborato di ciascuna regione.
  • Output: Due dimensioni ortogonali per ciascuna regione:
    1. Scopo ($p_i$): Una descrizione ad alto livello di cosa serve la regione (ad esempio, "elenco di prodotti", "modulo di ricerca").
    2. Riassunto dello Stato ($s_i$): Un riassunto conciso del contesto azionabile corrente della regione (ad esempio, "vetrina promozionale per occhiali da sole di alta gamma").

Queste fasi sono realizzate come piccoli modelli dedicati addestrati su annotazioni generate da un LLM proprietario (GPT-5-mini) da un dataset di 2.052 pagine web reali.

2. PageDigest: Pipeline di Inferenza Specifica per il Web

PageDigest è una pipeline progettata per fornire osservazioni a livello di regione all'agente attore come un digest compatto che persiste attraverso i passi all'interno di una pagina.

• Selezione delle Regioni Rilevanti per il Compito: All'ingresso in una nuova pagina, il LLM principale dell'agente attore riceve l'istruzione del compito, la cronologia delle azioni e l'insieme delle astrazioni di regione $\{(p_i, s_i)\}$. Il modello seleziona le regioni rilevanti per il compito.
  • Regioni Selezionate: Esposte come sottoalberi AXTree completi per preservare la granularità a livello di elemento per l'esecuzione delle azioni.
  • Regioni Non Selezionate: Rappresentate solo dai loro riassunti di scopo, mantenendo il contesto strutturale complessivo della pagina senza gonfiore di token.
• Gestione delle Transizioni di Osservazione Consapevole della Pagina: Invece di rieseguire Region4Web ad ogni passo, PageDigest traccia i cambiamenti incrementali.
  • Confronta l'AXTree corrente con lo stato all'ingresso nella pagina per identificare nodi aggiunti, rimossi o modificati.
  • Aggiornamenti: I nodi rimossi/modificati aggiornano la struttura esistente sotto i loro scopi di regione. I nodi aggiunti sono elencati separatamente per evitare di spostare gli scopi delle regioni esistenti.
  • Questo approccio evita la ricostruzione ridondante mantenendo la continuità dello stato della pagina.
• Meccanismo di Ripiego: Se l'agente determina che le regioni selezionate sono insufficienti, può invocare un'azione view_all per rivelare tutte le regioni nella loro forma completa di AXTree.

Contributi Chiave

1. Framework Region4Web: Un metodo innovativo che riorganizza gli AXTrees in regioni funzionali tramite decomposizione gerarchica e astrazione semantica, rendendo esplicita l'organizzazione funzionale della pagina per l'agente.
2. Pipeline PageDigest: Un meccanismo di inferenza specifico per il web che consegna osservazioni a livello di regione come un digest compatto e persistente, riducendo la lunghezza dell'osservazione mentre traccia le transizioni di stato senza una ricostruzione completa.
3. Validazione Empirica: Valutazione completa sul benchmark WebArena che dimostra come l'osservazione a livello di regione migliori i tassi di successo dei compiti e riduca la lunghezza dell'osservazione attraverso diversi LLM principali e metodi di agenti.

Risultati

Valutati sul benchmark WebArena (812 compiti in 5 domini: Shopping, CMS, Reddit, GitLab, Map), i metodi proposti hanno prodotto i seguenti risultati:

• Riduzione della Lunghezza dell'Osservazione: PageDigest ha ridotto sostanzialmente la lunghezza media dei token di osservazione del 43% (da 6.437 a 3.671 token) attraverso quattro diversi LLM principali (GPT-5.1, Gemini 3.1 Flash-Lite, DeepSeek-V3.2, Qwen3.5-27B). La riduzione è variata dal 16% al 54% a seconda del modello principale.
• Miglioramento del Tasso di Successo del Compito (SR): Nonostante il contesto ridotto, PageDigest ha migliorato il tasso di successo complessivo dei compiti di 2,3 punti percentuali in media.
  • Ad esempio, con GPT-5.1, il SR è aumentato dal 45,2% al 47,5%.
  • Con Qwen3.5-27B, il SR è aumentato dal 38,2% al 39,9%.
• Generalizzabilità: I miglioramenti si sono mantenuti sia per modelli proprietari che open-source di capacità variabile, nonché per metodi di agenti consolidati (SteP e AgentOccam), indicando che l'osservazione a livello di regione fornisce un segnale complementare per la comprensione dello stato della pagina indipendente dalla forza del modello.
• Studi di Ablazione:
  • Region4Web da solo ha migliorato il SR (48,5% $\to$ 50,3%) con una lunghezza di osservazione comparabile, confermando che le regioni funzionali aiutano la comprensione.
  • PageDigest da solo (senza Region4Web, utilizzando la selezione a livello di elemento) ha abbassato il SR (48,5% $\to$ 46,1%), suggerendo che l'elaborazione a livello di elemento ostacola le prestazioni anche con la compressione.
  • Combinato: L'intera pipeline PageDigest ha raggiunto il SR più alto (53,9%) con la lunghezza di osservazione più bassa (3.814 token).
• Analisi dei Fallimenti: L'analisi di 50 traiettorie fallite ha mostrato che l'82,0% dei fallimenti era attribuibile alle capacità di selezione delle azioni dell'agente principale, mentre solo l'8,0% era dovuto a regressioni all'interno della pipeline PageDigest (errori di decomposizione, astrazione o selezione). Ciò indica che la pipeline opera in modo affidabile come progettato.

Significato e Affermazioni

Il documento sostiene che la granularità dell'osservazione è una scelta progettuale critica, ma sottostudiata, per gli agenti web. Spostandosi da un'osservazione a livello di elemento a un'osservazione a livello di regione funzionale, gli autori dimostrano che:

1. Organizzazione Esplicita: Rendere esplicita l'organizzazione funzionale della pagina (tramite regioni e scopi) fornisce una base più informativa per la comprensione dello stato della pagina rispetto all'inferirla da elementi grezzi.
2. Efficienza e Prestazioni: L'osservazione a livello di regione consente un contesto più compatto che non sacrifica, e anzi migliora, i tassi di successo dei compiti.
3. Disaccoppiamento: Questo approccio separa la progettazione dell'osservazione dalle capacità del modello e dalla politica delle azioni, offrendo una via verso agenti web più efficienti indipendentemente dalla capacità del LLM sottostante.

Gli autori concludono che operare alla granularità delle regioni funzionali fornisce una base più compatta e informativa per il processo decisionale rispetto alla sola elaborazione a livello di elemento, validando l'ipotesi che il modo in cui un agente "vede" il web è importante quanto il modo in cui "pensa" ad esso.