Technische Samenvatting: Een Empirische Studie van Planningsrepresentaties voor LLM-webagenten

Probleemstelling

Ondanks recente vooruitgang in Large Language Models (LLM's) blijven webagenten worstelen met beperkte exploratie, het weglaten van kritieke stappen en gevoeligheid voor taakbeperkingen. Hoewel plannen breed wordt erkend als een kernstrategie voor het ontleden van complexe taken, heeft het bestaande onderzoek zich grotendeels gericht op planningsalgoritmen in plaats van op de representatie van die plannen. De meeste huidige benaderingen vertrouwen op sequentiële lijsten van subdoelen die in natuurlijke taal worden uitgedrukt. De impact van alternatieve representaties van plannen in natuurlijke taal (NL) op de robuustheid van agenten en het slagen van taken blijft echter grotendeels onontgonnen. Bovendien ontbreekt het bestaande benchmarks vaak aan reproduceerbare moeilijkheidsgradaties, wat het moeilijk maakt om planningsstrategieën systematisch te evalueren onder variërende niveaus van complexiteit.

Methodologie

Kader: PLANAHEAD

De auteurs introduceren PLANAHEAD, een statisch planner-executor-kader dat is ontworpen om de impact van planrepresentatie te isoleren en te evalueren. In tegenstelling tot dynamische planningsmethoden waarbij de agent bij elke stap het plan opnieuw genereert, genereert PLANAHEAD één enkel statisch plan aan het begin van een taak. Dit plan wordt vervolgens aan een executor-LLM verstrekt, die op basis van de huidige browserstatus laag-niveau acties uitvoert. Deze opzet zorgt ervoor dat prestatieverschillen voortkomen uit de planformulering en de onderliggende modellen, en niet uit stochasticiteit op actie-niveau of overhead door dynamisch herplannen.

Benchmark en Taakmoeilijkheid

De studie maakt gebruik van WebArena, een gesloten en reproduceerbare omgeving met diverse, realistische webinteracties. Om het gebrek aan gestandaardiseerde moeilijkheidsgradaties aan te pakken, ontwikkelden de auteurs een geautomatiseerde pijplijn om 381 WebArena-taken te categoriseren in drie niveaus: Eenvoudig, Gemiddeld en Moeilijk.

• Categorisatielogica: Taken werden geëvalueerd met een lichtgewicht GenericAgent over vijf verschillende LLM-backbones met elk vijf onafhankelijke proeven.
  • Eenvoudig: 100% slagingspercentage over alle modellen en proeven.
  • Moeilijk: 0% slagingspercentage over alle modellen en proeven.
  • Gemiddeld: Intermediaire slagingspercentages.
    De studie richt zich specifiek op de Moeilijke subset (158 taken), aangezien deze de meest informatieve setting bieden voor het evalueren van planningscapaciteiten onder uitdagende omstandigheden.

Experimentele Opzet

De auteurs evalueerden vier verschillende planrepresentaties op de moeilijke taken over verschillende multimodale LLM-families (OpenAI, Alibaba en Google):

1. Sequentiële Subdoelen: De standaardbenadering met een geordende lijst van hoog-niveau subdoelen.
2. Eisen-Checklist: Een ongeordende lijst van eisen die moeten worden voldaan, waarbij de uitvoeringsvolgorde aan de executor wordt overgelaten.
3. Pseudocode: Een gestructureerd formaat met intuïtieve functies, conditionele statements en loops om contingenties vast te leggen.
4. Narratief: Een uitvoerige beschrijving in natuurlijke taal van het proces van taakvoltooiing.

De experimenten testten diverse planner-executor-combinaties, inclusief homogene opstellingen (zelfde model voor beide rollen) en heterogene opstellingen (verschillende modellen voor planning en uitvoering).

Evaluatiemetrics

Omdat de standaard Slagingspercentage (SR) elke proef als onafhankelijk behandelt en niet in staat is de stochastische aard van LLM's vast te leggen, introduceerden de auteurs twee nieuwe metrics:

• Bereikingspercentage (AR): Meet de bereikbaarheid op taakniveau over meerdere runs. Een taak wordt als "bereikt" beschouwd als ten minste één van de $N$ runs slaagt. Dit onderscheidt taken die "zelden oplosbaar" zijn van die die "volledig onopgelost" blijven.
• Consistentie van Opgeloste Taken (STC): Een robuustheidsmetric die de betrouwbaarheid van prestaties over proeven meet voor taken die ten minste één keer zijn bereikt.

Belangrijkste Bijdragen

1. Geautomatiseerde Taakmoeilijkheidsgradatie: Het artikel presenteert een reproduceerbare pijplijn voor het partitioneren van benchmark-taken in moeilijkheidsniveaus zonder menselijke annotatie, wat een systematische evaluatie van planningsstrategieën mogelijk maakt.
2. Evaluatie van Nieuwe Planningsrepresentaties: De studie stelt drie alternatieve NL-gebaseerde planningsformaten voor (Narratief, Pseudocode, Checklist) en evalueert deze tegen de standaard Sequentiële Subdoelen.
3. Nieuwe Evaluatiemetrics: De introductie van AR en STC biedt een genuanceerder beeld van agentprestaties, waarbij zowel bereikbaarheid als consistentie in stochastische omgevingen worden vastgelegd.

Resultaten en Analyse

De empirische studie leverde enkele significante bevindingen op:

• Planrepresentatie is van belang: De effectiviteit van een planningsstrategie is sterk afhankelijk van de onderliggende LLM.
  • GPT-4.1-mini presteerde consistent het beste met Narratieve plannen, wat suggereert dat modellen die uitgebreid zijn getraind op tekst in natuurlijke taal coherente beschrijvende instructies effectief benutten.
  • Qwen-2.5-VL presteerde het beste met Checklist-representaties, wat profiteerde van expliciete en gestructureerde begeleiding.
  • Gemini-modellen vertoonden concurrerende prestaties over meerdere formaten en profiteerden opvallend van niet-standaard formaten; specifiek leverde Pseudocode hoge Bereikingspercentages op wanneer Gemini zowel als planner als executor optrad.
• Scheiding van Planner en Executor: Gemengde planner-executor-paren presteerden over het algemeen beter dan homogene opstellingen. Zo bereikte de combinatie van GPT-4.1-mini als planner met Gemini als executor de sterkste algehele prestatie. Dit suggereert dat verschillende modellen complementaire sterktes bezitten: sommigen zijn superieur in hoog-niveau structurele planning, terwijl anderen uitblinken in laag-niveau actie-uitvoering.
• Statisch versus Dynamisch Plannen: In tegenstelling tot de intuïtie dat dynamisch herplannen superieur is, presteerde Statisch Plannen vaak beter dan dynamisch plannen door een enkele agent. Kwalitatieve analyse onthulde dat dynamische agenten vaak in actie-lussen terechtkwamen, het spoor van taakvoortgang kwijtraakten of subtaken voortijdig als voltooid markeerden. De statische planner-executor-opzet gaf de executor de mogelijkheid zich uitsluitend te richten op actiekeuze zonder de cognitieve last van continu herplannen.

Betekenis en Claims

Het artikel beweert dat de formulering van een plan en de specifieke LLM die het genereert, de robuustheid van webagenten en het slagen van taken significant beïnvloeden. Door de aanname uit te dagen dat plannen de vorm van sequentiële subdoelen moeten aannemen, tonen de auteurs aan dat niet-standaard formaten voordelig kunnen zijn, met name voor moeilijke taken.

De studie benadrukt dat plannings-effectiviteit niet uitsluitend een functie is van modelcapaciteit, maar ook diep verbonden is met de representatieve vorm van het plan. De resultaten ondersteunen de adoptie van modulaire agent-architecturen die complementaire modelsterktes benutten (bijvoorbeeld het gebruik van één model voor planning en een ander voor uitvoering) en suggereren dat statisch plannen in bepaalde contexten een robuuster en efficiënter alternatief kan zijn voor dynamisch plannen.

De auteurs blijven bescheiden wat betreft hun scope en erkennen beperkingen zoals de beperkte set LLM-backends, het gebruik van één enkele benchmark (WebArena) en een beperkt aantal runs ($N=5$). Zij stellen dat het uitbreiden van deze variabelen een vollediger beeld van plannings-effectiviteit zou opleveren.