Why Do LLM-based Web Agents Fail? A Hierarchical Planning Perspective

Dit artikel introduceert een hiërarchisch planningskader om de prestaties van webagenten op basis van grote taalmodellen te analyseren, waarbij het aantoont dat ondanks de voordelen van gestructureerde plannen, beperkingen in de lage-niveau uitvoering en perceptuele verankering de belangrijkste oorzaken van falen zijn.

De kern

Stel je voor dat je een zeer slimme, maar nogal onervaren assistent hebt die je helpt om dingen te regelen op internet. Hij kan prachtige plannen maken, maar als het erop aankomt om daadwerkelijk op de knoppen te klikken, gaat het vaak mis.

Dit onderzoek van de universiteit van George Mason kijkt naar waarom deze digitale assistenten (die we "LLM-webagenten" noemen) faals bij complexe taken, zoals het vinden van de goedkoopste vliegtickets of het boeken van een hotel.

Hier is de uitleg in gewone taal, met een paar creatieve vergelijkingen:

1. Het Probleem: De "Alles-of-Niets" Benadering

Tot nu toe keken onderzoekers alleen naar het eindresultaat: Is de taak gelukt of niet?
Dit is alsof je een kok alleen beoordeelt op of het eten op het bord ligt, zonder te kijken of hij de groenten heeft verbrand, het vlees rauw heeft gelaten of de pan heeft laten vallen. Je ziet niet waar het misging.

De auteurs zeggen: "Laten we niet alleen kijken naar het einddoel, maar naar hoe de assistent het doet."

2. De Oplossing: Een Drie-Lagen Analyse (De Bouwmeester, de Werkman en de Herplanner)

De auteurs splitsen het werk van de assistent op in drie lagen, net als bij het bouwen van een huis:

• Laag 1: De Hoogwaardige Planner (De Architect)

  • Wat doet hij? Hij maakt het grote plan. Bijvoorbeeld: "Eerst zoeken we naar een hotel, dan filteren we op prijs, en tenslotte boeken we."
  • De ontdekking: Als je de assistent vraagt om dit plan in vrije tekst te schrijven, wordt het vaak rommelig en te gedetailleerd. Maar als je hem dwingt om het plan te schrijven in een strakke, wiskundige taal (genaamd PDDL, vergelijkbaar met een bouwtekening met strikte regels), is het plan veel scherper en logischer.
  • Vergelijking: Vraag een kind om een tekening van een huis te maken (vrije tekst) vs. vraag een architect om een blauwdruk (PDDL). De blauwdruk is veel duidelijker.

• Laag 2: De Uitvoering (De Werkman)

  • Wat doet hij? Hij voert het plan uit: klikken, typen, scrollen.
  • De ontdekking: Hier zit het grootste probleem. Zelfs als het plan perfect is, faalt de assistent vaak bij het uitvoeren. Hij klikt op de verkeerde knop, ziet een link die er niet is, of blijft vastzitten in een cirkel van dezelfde acties.
  • Vergelijking: Je hebt een perfecte blauwdruk (het plan), maar de werkman heeft een slechte gereedschapskist. Hij probeert een schroef vast te draaien met een hamer. Hij begrijpt de omgeving niet goed genoeg.

• Laag 3: De Herplanner (De Brandweer)

  • Wat doet hij? Als het plan faalt (bijvoorbeeld: de pagina laadt niet of de knop werkt niet), moet de assistent zijn plan aanpassen.
  • De ontdekking: Als de assistent mag opnieuw plannen na een mislukking, wordt hij veel succesvoller. Hij leert van zijn fouten.
  • Vergelijking: Je probeert een deur open te krijgen. De sleutel werkt niet. Een slimme assistent zegt: "Oké, ik probeer de achterdeur" of "Ik bel de deurpost". Een domme assistent blijft maar op dezelfde sleutel duwen tot hij breekt.

3. De Belangrijkste Conclusies

Het onderzoek leert ons drie belangrijke dingen:

1. Strakke taal helpt: Als we de assistent dwingen om plannen te maken in een gestructureerde taal (PDDL) in plaats van losse zinnen, zijn de plannen beter.
2. De "oog-hand" is het zwakke punt: Het grootste probleem is niet het denken, maar het zien en doen. De assistenten zien de knoppen op het scherm niet goed en klikken vaak op de verkeerde plek. Dit is de "bottleneck" (de knelpunt).
3. Mislukken is oké, als je bijleert: Als je de assistent de kans geeft om zijn plan te corrigeren na een mislukking, gaat hij veel beter presteren.

Samenvattend

Stel je voor dat je een robot hebt die voor je boodschappen doet.

• Vroeger: We keken alleen of hij de boodschappen had.
• Nu: We kijken naar drie dingen:
  1. Is het boodschappenlijstje logisch? (Ja, vooral als het in een strak formaat is).
  2. Kan hij de producten ook echt vinden en in het mandje leggen? (Nee, hier faalt hij vaak omdat hij de schappen niet goed ziet).
  3. Kan hij zijn gang aanpassen als een product niet op de plank ligt? (Ja, dat helpt enorm).

De les voor de toekomst: Om betere internet-assistenten te maken, moeten we niet alleen slimmer maken hoe ze plannen, maar vooral beter maken hoe ze de digitale wereld "zien" en erop reageren.

Technische samenvatting

Titel: Waarom LLM-gebaseerde Web Agents Falen: Een Hiërarchisch Planningsperspectief

Auteurs: Mohamed Aghzal, Gregory J. Stein, Ziyu Yao (George Mason University)

---

1. Het Probleem

Grote Taalmodellen (LLM's) die worden gebruikt als web-agents voor het navigeren op het internet en het uitvoeren van complexe taken, maken aanzienlijke vooruitgang. Desondanks blijven ze ver achter bij menselijke betrouwbaarheid, vooral bij realistische, langdurige taken op dynamische websites.

De huidige evaluatiemethoden focussen voornamelijk op eind-tot-eind (end-to-end) succespercentages. Dit biedt weinig inzicht in waar en waarom agents falen. Falen kan ontstaan door:

• Incorrecte taakinterpretatie.
• Gebrekkige hoog-niveau strategieën.
• Slechte "grounding" (vertaling van abstracte plannen naar concrete UI-acties).
• Onvoldoende herstel (replanning) wanneer de omgeving afwijkt van de verwachtingen.

Er is een gebrek aan fijnmazige analyse die onderscheid maakt tussen deze verschillende faalfasen.

2. Methodologie

De auteurs stellen een hiërarchisch planningskader voor om web-agents systematisch te analyseren. Dit kader deelt de agent in drie lagen in, gebaseerd op geautomatiseerde planning en menselijk redeneren:

1. Hoog-niveau Planning (High-level Planning): Het LLM deconstrueert een complexe taak in abstracte subdoelen (bijv. "filter op prijs, sorteer resultaten").
2. Laag-niveau Executie (Low-level Execution): Het LLM vertaalt elk subdoel naar een reeks uitvoerbare acties op de gebruikersinterface (bijv. klikken, scrollen, invoeren).
3. Hervorming/Replanning: Het vermogen van het LLM om zijn plan aan te passen wanneer de omgeving niet overeenkomt met de verwachtingen (bijv. als een pagina niet laadt of zoekresultaten anders zijn).

Experimenteel Opzet:

• Dataset: Uitbreiding van het Mind2Web-Live benchmark, aangevuld met menselijk geannoteerde hoog-niveau plannen (gouden standaard) afgeleid van expert annotaties.
• Modellen: Er werden drie LLM's getest: gpt-5-nano, claude-haiku-4.5 en gemini-flash-2.5.
• Representaties: Er werd vergeleken tussen twee manieren om plannen te genereren:
  • Natuurlijke Taal (NL): Vrij tekstueel plannen.
  • PDDL (Planning Domain Definition Language): Een gestructureerde, formele taal die precondities en effecten definieert.
• Evaluatie: Gebruik van "LLM-as-Judge" voor postconditie-checking (controle of een subdoel is bereikt) en foutanalyse.

3. Belangrijkste Bijdragen

• Hiërarchisch Evaluatiekader: Een principieel raamwerk dat agents analyseert op drie fundamentele vaardigheden (planning, executie, replanning) in plaats van alleen op eindresultaat.
• Vergelijking van Representaties: Het introduceren en evalueren van PDDL als alternatief voor natuurlijke taal voor hoog-niveau planning in web-agents.
• Gedetailleerde Foutanalyse: Identificatie van specifieke faalpatronen, zoals hallucinaties van links, redundante acties en gebrek aan perceptuele grounding.
• Openbaarmaking: De evaluatieframework wordt vrijgegeven voor toekomstig onderzoek.

4. Resultaten en Analyse

A. Hoog-niveau Planning

• PDDL vs. Natuurlijke Taal: Agents genereren met PDDL meer beknopte en doelgerichte plannen dan met natuurlijke taal.
  • PDDL-plannen hebben een hogere "Match Rate" (84,6% vs 70,6% voor NL) en minder "Unmatched" (onnodige) stappen.
  • Natuurlijke taal neigt tot over-specificatie (te veel gedetailleerde stappen) en hallucinaties van specifieke links die niet bestaan.
• Menselijke Alignering: Hoewel LLM's de algemene taakintentie begrijpen, slagen ze er vaak niet in om het abstractieniveau van menselijk redeneren te matchen. Ze splitsen vaak één menselijke stap op in meerdere onnodige sub-stappen.

B. Laag-niveau Executie (De Grote Bottleneck)

• Executie is het zwakke punt: Zelfs wanneer agents een perfect menselijk hoog-niveau plan krijgen, falen ze vaak bij de uitvoering.
  • De Plan Completion Rate ligt rond de 38,5% en de Task Success Rate rond de 36,4% (voor gpt-5-nano).
• Faalmodi:
  • Hallucinaties: Agents klikken op niet-bestaande elementen of genereren ongeldige links.
  • Redundantie: Agents herhalen dezelfde actie meerdere keren (bijv. klikken op een knop die niet reageert) zonder de omgeving te analyseren.
  • Out-of-domain navigatie: Agents gebruiken vaak google_search of goto om uit een lokale doodlopende weg te komen, maar belanden hierdoor vaak op de verkeerde websites (bijv. Wikipedia in plaats van de doelwebsite).
• Modelverschillen: gemini-flash-2.5 produceerde compacte plannen maar had de slechtste laag-niveau uitvoering (veel redundante acties). gpt-5-nano presteerde het beste, maar de uitvoering bleef toch de beperkende factor.

C. Replanning

• Effectiviteit: Eén ronde van replanning, gebaseerd op feedback uit de omgeving, verbetert de succespercentages aanzienlijk.
  • Hoewel de nieuwe plannen na replanning soms minder strikt overeenkwamen met de menselijke referentieplannen (minder "Perfect Match"), waren ze beter uitvoerbaar.
  • Dit suggereert dat agents die de omgeving verkennen, realistischere plannen kunnen opstellen dan die alleen op basis van de initiële instructie plannen.

5. Betekenis en Conclusie

De studie concludeert dat het verbeteren van hoog-niveau redenering alleen niet voldoende is om menselijke betrouwbaarheid te bereiken. De belangrijkste beperking ligt in perceptuele grounding (het correct interpreteren van de UI) en adaptieve controle (het vermijden van redundante acties en het effectief reageren op feedback).

Aanbevelingen voor toekomstig ontwerp:

1. Scheid Planning en Executie: Behandel deze als complementaire vaardigheden. Gebruik gestructureerde representaties (zoals PDDL) voor planning en gespecialiseerde tools voor robuuste uitvoering.
2. Verbeter Grounding: Ontwikkel methoden om modellen beter te laten tracken van de staat van de pagina en om hallucinaties te voorkomen.
3. Omgaan met Onzekerheid: Ontwerp actieruimtes die het agent toestaan om onzekerheid expliciet te signaleren in plaats van gedwongen te worden tot een concrete UI-actie bij elke stap.
4. Process-based Evaluatie: Maak fijnmazige evaluatie van het planningsproces (planning, executie, herstel) tot een standaard in plaats van alleen op eindresultaten te kijken.

Dit paper biedt een fundamentele basis voor het diagnosticeren van fouten in LLM-webagents en richt de aandacht op de noodzaak van betere laag-niveau interacties en herstelmechanismen.