Why Do LLM-based Web Agents Fail? A Hierarchical Planning Perspective

Questo studio introduce una prospettiva di pianificazione gerarchica per analizzare i fallimenti degli agenti web basati su LLM, rivelando che, sebbene i piani strutturati migliorino la strategia, il collo di bottiglia principale risiede nell'esecuzione di basso livello, rendendo cruciali il miglioramento dell'ancoraggio percettivo e del controllo adattivo per raggiungere l'affidabilità umana.

L'essenziale

Immagina di avere un assistente digitale super-intelligente (un "Agente Web" basato su un modello linguistico come me) a cui chiedi di fare una cosa complessa su internet, tipo: "Trova il negozio GameStop più vicino al mio codice postale, controlla gli orari e impostalo come il mio negozio preferito".

Sembra facile, vero? Eppure, spesso questi assistenti falliscono miseramente. Perché? È come se avessero un cervello geniale ma delle mani che non riescono a tenere il coltello.

Questo studio di ricercatori della George Mason University vuole capire esattamente dove e perché falliscono, usando una lente di ingrandimento molto particolare: la pianificazione gerarchica.

Ecco la spiegazione semplice, con qualche analogia per renderla chiara.

1. Il Problema: Guardare solo il "Vincitore"

Fino a oggi, per vedere se un assistente web era bravo, si guardava solo il risultato finale: "Ha trovato il negozio? Sì/No".
È come guardare un giocatore di calcio e dire: "Ha segnato? Sì/No".
Ma questo non ti dice come ha giocato. Ha sbagliato il passaggio? Ha corso nella direzione sbagliata? Ha inciampato mentre calciava?
Se l'assistente fallisce, non sappiamo se è perché non ha capito il compito, perché non sa cliccare sui pulsanti giusti, o perché si è perso e non ha saputo riprendersi.

2. La Soluzione: La "Torre dei Tre Livelli"

Gli autori propongono di analizzare l'assistente come se fosse una torre di tre piani, dove ogni piano ha un compito diverso:

• Piano 1: Il Capitano (Pianificazione ad alto livello)

  • Cosa fa: Riceve l'ordine ("Trova il negozio") e lo divide in piccoli obiettivi.
  • Esempio: "1. Cerca su Google. 2. Scegli il più vicino. 3. Clicca su 'Salva come preferito'".
  • Il problema: A volte il Capitano è confuso o troppo dettagliato (es. "Clicca esattamente sul pixel 45 del pulsante").

• Piano 2: L'Esecutore (Esecuzione a basso livello)

  • Cosa fa: Prende gli ordini del Capitano e li trasforma in azioni reali: muovere il mouse, cliccare, scrivere.
  • Il problema: Questo è il collo di bottiglia (il punto debole principale). Anche se il Capitano dà un ordine perfetto, l'Esecutore spesso sbaglia: clicca sul pulsante sbagliato, si blocca in un loop infinito o "allucina" (immagina pulsanti che non esistono). È come avere un capitano che urla "Gira a destra!" e un marinaio che, per sbaglio, gira la nave a sinistra.

• Piano 3: Il Ripensatore (Replaning)

  • Cosa fa: Se qualcosa va storto (es. la pagina non carica o il pulsante non c'è), questo piano deve dire: "Ok, il piano originale non funziona. Cambiamo strategia!".
  • Il risultato: Lo studio scopre che se l'assistente ha la possibilità di fare un "ripensamento" intelligente dopo un errore, le sue chance di successo schizzano alle stelle.

3. Le Scoperte Chiave (con analogie)

A. Il linguaggio conta: "PDDL" vs "Lingua Naturale"

Gli autori hanno fatto un esperimento: hanno chiesto al Capitano di scrivere i suoi piani in due modi:

1. Lingua Naturale: Come se parlasse a un amico ("Cerca il negozio, poi clicca qui...").
2. PDDL (Un linguaggio strutturato): Come se parlasse a un robot, usando regole rigide e formali.

Risultato: I piani scritti in PDDL erano molto più chiari, concisi e meno confusi. È come la differenza tra dare istruzioni a un amico ("Fai la pasta") e dare istruzioni a un robot ("1. Riempi la pentola. 2. Accendi il fuoco. 3. Aggiungi acqua"). Il linguaggio strutturato aiuta il cervello a non perdersi nei dettagli inutili.

B. Il vero nemico non è il cervello, ma le "mani"

La scoperta più importante è che il problema principale non è la pianificazione, ma l'esecuzione.
Anche quando diamo all'assistente un piano perfetto (fatto da umani), lui spesso fallisce nel cliccare i pulsanti giusti.

• Analogia: Immagina un architetto geniale che disegna una casa perfetta (Pianificazione). Ma poi, i muratori (Esecuzione) usano il cemento sbagliato o mettono i mattoni storti. La casa crolla non perché il disegno era brutto, ma perché i muratori non sono stati bravi a costruirlo.
  Attualmente, gli assistenti web sono bravi a pensare, ma pessimi a fare (cliccare, scorrere, capire cosa vedono sullo schermo).

C. Il potere del "Ripensamento"

Quando un assistente sbaglia e si blocca, se gli permettiamo di fermarsi, guardare cosa è successo e fare un nuovo piano (Replaning), migliora drasticamente.
È come quando guidi e prendi una strada sbagliata: se continui a guidare dritto sperando di arrivare, non ci arrivi. Se ti fermi, guardi la mappa e fai un giro diverso, arrivi a destinazione. Gli assistenti che "ripensano" funzionano molto meglio.

4. Cosa significa per il futuro?

Questo studio ci dice che per creare assistenti web che funzionino davvero come gli umani, non dobbiamo solo renderli più "intelligenti" nel ragionare. Dobbiamo:

1. Migliorare la loro "percezione": Far sì che capiscano meglio cosa vedono sullo schermo (non cliccare su cose che non esistono).
2. Separare il pensiero dall'azione: Usare un "cervello" per pianificare e strumenti speciali per eseguire le azioni.
3. Insegnare loro a cambiare idea: Rendere il "ripensamento" una parte normale del loro lavoro, non un errore.

In sintesi

Gli assistenti web attuali sono come studenti brillanti che hanno la teoria perfetta ma si bloccano quando devono fare il compito pratico.
Questo studio ci dice che per farli diventare dei veri "super-agenti", dobbiamo smettere di guardare solo il voto finale e iniziare ad aiutare le loro "mani" a diventare più precise e a insegnar loro a non arrendersi quando sbagliano, ma a riprovare con una strategia diversa.

Sommario tecnico

1. Il Problema

Gli agenti web basati su Large Language Models (LLM) hanno mostrato progressi significativi nella navigazione web e nell'esecuzione di flussi di lavoro online. Tuttavia, rimangono molto lontani dall'affidabilità umana in compiti realistici e a lungo raggio (long-horizon).
Il problema centrale identificato dagli autori è la limitazione delle valutazioni attuali, che si concentrano quasi esclusivamente sul successo end-to-end (task completato o meno). Questo approccio "a scatola nera" offre pochi spunti su dove e perché falliscono gli agenti. Le cause di fallimento possono essere molteplici: interpretazione errata del compito, strategia di alto livello difettosa, scarsa "grounding" (ancoraggio) dei piani in azioni UI concrete, o incapacità di recupero quando l'ambiente diverge dalle aspettative.

2. Metodologia

Per colmare questa lacuna, gli autori propongono un framework di valutazione basato sulla pianificazione gerarchica, che scompone l'agente web in tre livelli distinti, permettendo un'analisi processuale fine:

1. Pianificazione di Alto Livello (High-level Planning): La capacità dell'LLM di decomporre un'istruzione complessa in una sequenza di sottobiettivi astratti (es. "filtra per prezzo", "ordina i risultati").
2. Esecuzione di Basso Livello (Low-level Execution): La capacità di tradurre ogni sottobiettivo in una sequenza di azioni eseguibili nell'interfaccia utente (es. clic, scroll, inserimento testo).
3. Ripianificazione (Replanning): La capacità di adattare la strategia quando l'ambiente non corrisponde alle aspettative (es. pagina non caricata, risultati di ricerca diversi).

Setup Sperimentale:

• Dataset: Estensione del benchmark Mind2Web-Live, arricchito con piani di alto livello allineati all'umano derivati da annotazioni di esperti.
• Modelli Testati: Tre modelli LLM principali: gpt-5-nano (OpenAI), claude-haiku-4.5 (Anthropic) e gemini-flash-2.5 (Google).
• Rappresentazioni del Piano: Confronto tra piani in Linguaggio Naturale (NL) e piani strutturati in PDDL (Planning Domain Definition Language), un linguaggio formale che impone precondizioni ed effetti.
• Valutazione: Utilizzo di un "LLM-as-Judge" per verificare le postcondizioni (se un sottobiettivo è stato raggiunto) e per valutare il successo finale, con verifica manuale su un sottoinsieme dei dati.

3. Contributi Chiave

• Framework di Valutazione Gerarchica: Introduzione di un metodo sistematico per diagnosticare i fallimenti degli agenti web separando esplicitamente la pianificazione, l'esecuzione e il recupero.
• Analisi Comparativa NL vs. PDDL: Dimostrazione empirica che l'uso di rappresentazioni strutturate (PDDL) porta a piani più concisi e meglio allineati agli obiettivi umani rispetto al linguaggio naturale.
• Identificazione del Collo di Bottiglia: Evidenziazione che, nonostante i miglioramenti nella pianificazione, il collo di bottiglia principale rimane l'esecuzione di basso livello (grounding percettivo).
• Efficacia della Ripianificazione: Dimostrazione che un singolo ciclo di ripianificazione basato sul feedback esplorativo migliora significativamente il successo del task.

4. Risultati Principali

A. Pianificazione di Alto Livello

• Allineamento Umano: I piani generati dagli LLM mostrano un allineamento parziale con i piani umani. Gli LLM tendono a sovra-specificare (decomporre un singolo passo umano in molti passi LLM) piuttosto che omettere passaggi.
• Vantaggio del PDDL: I piani in PDDL sono superiori a quelli in NL:
  • Maggiore allineamento con i passi umani (84.6% vs 70.6% di tasso di corrispondenza).
  • Meno passi non pertinenti (unmatched) e meno decomposizioni eccessive.
  • Strutture più concise e orientate all'obiettivo.
• Eseguibilità: Sebbene i piani umani siano i migliori, i piani PDDL colmano quasi completamente il divario rispetto ai piani NL quando eseguiti.

B. Esecuzione di Basso Livello

• Collo di Bottiglia Critico: Anche con piani di alto livello perfetti (forniti da umani), gli esecutori LLM falliscono frequentemente nel tradurre i sottobiettivi in azioni corrette.
  • Tasso di completamento del piano: ~38.5%.
  • Tasso di successo finale: ~36.4%.
• Modalità di Fallimento:
  • Allucinazioni: Creazione di link o elementi DOM inesistenti (32% dei fallimenti nei link "goto").
  • Azioni Ridondanti: Esecuzione di azioni valide che non cambiano lo stato della pagina (34% delle azioni).
  • Loop Ripetitivi: L'agente ripete la stessa azione fallita più volte senza adattarsi (10.4% dei fallimenti).
  • Navigazione Fuori Dominio: L'agente esce dal sito target (es. usando Google Search per trovare informazioni che dovrebbero essere sul sito) nel 16% dei casi.

C. Ripianificazione

• Miglioramento delle Prestazioni: Una singola round di ripianificazione aumenta drasticamente il successo.
  • Per i piani NL: il successo passa dal 32.1% al 41.4%.
  • Per i piani PDDL: il successo passa dal 36.4% al 45.1%.
• Allineamento vs. Esecuzione: Paradossalmente, dopo la ripianificazione, l'allineamento con i piani umani originali diminuisce (i piani diventano meno "puliti" rispetto all'umano), ma l'eseguibilità aumenta. Questo suggerisce che l'esplorazione dell'ambiente porta a piani più pratici, anche se meno astrattamente allineati.

D. Confronto tra Modelli

• gpt-5-nano: Mostra le prestazioni complessive superiori.
• gemini-flash-2.5: Genera piani molto compatti ma fallisce miseramente nell'esecuzione di basso livello (tasso di azioni ridondanti del 41.2%) e trae scarso beneficio dalla ripianificazione.
• claude-haiku-4.5: Evita la navigazione tramite link (goto/search) più degli altri, ma soffre di un alto tasso di ripetizioni, indicando difficoltà nell'uso del feedback.

5. Significato e Implicazioni

Il paper conclude che per raggiungere l'affidabilità umana negli agenti web, la ricerca non deve concentrarsi solo sul potenziamento del ragionamento di alto livello (che è già promettente), ma deve affrontare criticamente il problema del grounding percettivo e del controllo adattivo.

Raccomandazioni per il Design Futuro:

1. Separazione delle Competenze: Trattare la pianificazione e l'esecuzione come competenze distinte che richiedono moduli separati (es. PDDL per la pianificazione, strumenti specializzati per l'esecuzione).
2. Migliorare il Grounding: Sviluppare rappresentazioni dello stato e meccanismi di feedback più ricchi per aiutare l'agente a tracciare i progressi ed evitare azioni ridondanti o allucinate.
3. Spazi di Azione Robusti: Progettare spazi di azione che permettano all'esecutore di segnalare esplicitamente l'incertezza o il disallineamento del modello del mondo, invece di forzare un'azione UI concreta ad ogni passo.
4. Valutazione Processuale: Adottare standard di valutazione basati sul processo (pianificazione, esecuzione, recupero) piuttosto che sul solo risultato finale, per una diagnosi più precisa dei fallimenti.

In sintesi, questo lavoro fornisce una lente diagnostica fondamentale per la comunità di ricerca, spostando il focus dalla semplice metrica di successo alla comprensione strutturale delle cause di fallimento negli agenti web autonomi.