Technische Samenvatting: Waar ging het mis? Procesmatige evaluatie van webagenten met semantische staatstracking

Probleemstelling

Webagenten automatiseren complexe, meerstaps interactieve taken zoals winkelen, boeken en documentbeheer. In tegenstelling tot instructievolging in één beurt, vereisen deze taken lange interactiesequenties die navigatie, informatieverzameling over verschillende pagina's en afhankelijke actie-uitvoering omvatten. Bestaande benchmarks (bijv. WebArena, Mind2Web, WebVoyager) evalueren webagenten echter primair op basis van terminaal succes—een binaire uitkomst die aangeeft of het uiteindelijke doel van de taak is bereikt.

Dit uitsluitend op uitkomst gerichte perspectief comprimeert het volledige interactietraject tot een enkel resultaat, waardoor kwalitatief verschillende foutmodi verborgen blijven. Een agent die bijvoorbeeld het juiste doel vindt maar de verkeerde laatste actie uitvoert, krijgt hetzelfde cijfer als een agent die het doel nooit heeft gevonden. Bijgevolg biedt terminaal succes weinig bruikbare inzichten in waar een agent faalde, welke capaciteit de prestaties beperkte, of hoe specifieke interactievaardigheden verbeterd kunnen worden. Het faalt in het ondersteunen van nauwkeurige credit assignment voor tussenliggende stappen.

Methodologie: WEBSTEP en Semantische MDP Duals

Om deze beperkingen aan te pakken, introduceren de auteurs WEBSTEP, een benchmark die is ontworpen voor procesmatige evaluatie. De kerninnovatie is de constructie van elke website als een Semantische Markov Decision Process (MDP) dual.

1. Semantische MDP Dual Architectuur

In plaats van te vertrouieren op handmatige annotatie of heuristische uitlijning van GUI-acties, construeert WEBSTEP elke website zodanig dat de semantische MDP de "bron van waarheid" is voor alle gedrag:

• Dual Constructie: De agent interacteert uitsluitend met de gerenderde Graphical User Interface (GUI). Tegelijkertijd houdt de benchmark de bijbehorende semantische staatsovergangen onder de motorkap bij.
• Deterministische Dynamiek: De frontend stuurt GUI-acties (bijv. klikken, typen) door naar een semantisch model. Het model past deterministische staatsovergangen toe, werkt de interne staat bij en rendert de pagina opnieuw op basis van die staat.
• Automatische Trace Recovery: Omdat de GUI direct vanuit het semantische model wordt gerenderd, kan het volledige semantische traject exact worden hersteld uit de ruwe GUI-acties zonder handmatige interventie.

2. Taak- en Wereldgeneratie

Taken worden gegenereerd door natuurlijke taalinstructies te combineren met een "wereld" (een set items met concrete attributen).

• Hard Negatives: Om de moeilijkheidsgraad te controleren, injecteert het systeem "hard negative" items die visuele attributen delen met het doelwit op lijst-/zoekpagina's, maar verschillen op attributen die alleen op detailpagina's zichtbaar zijn. Dit dwingt agenten om naar detailpagina's te navigeren om doelwitten te onderscheiden.
• Oracle Trajecten: Omdat de MDP en de itemsets volledig gespecificeerd zijn, kan er voor elke taak een optimaal (oracle) traject statisch worden afgeleid, wat dient als grondwaarheid voor procesmetrieken.

3. Procesmatig Evaluatiekader

Het kader deelt het gedrag van de agent op in verschillende metrieken die automatisch worden afgeleid van de semantische MDP-trace:

• Exploratie Succes: Of de agent het juiste doelitem heeft geïsoleerd voordat hij tot uitvoering overging.
• Executie Succs: Het succespercentage, strikt geconditioneerd op succesvolle exploratie (het isoleren van het vermogen om een taak te voltooien zodra het doelwit is gevonden).
• Informationele Dekking: Het deel van de taakrelevante attributen dat door de agent is waargenomen.
• Skill Invocation: Het mappen van acties naar vijf categorieën: Inspecteren, Navigeren, Zoeken, Filteren en Committe (Voltooien).
• Traject Bifurcatie Analyse: Het vergelijken van succesvolle en falende trajecten om de "eerste afwijkende actie" (het beslissende foutpunt) te identificeren en fouten te categoriseren als Verkeerde Tak (Wrong Branch), Vertraagde Commit of Voortijdige Commit.

Belangrijkste Bijdragen

1. WEBSTEP Benchmark: Een dataset van 1.800 taakinstanties verspreid over 10 zelfgehoste websites (variërend van domeinen zoals e-commerce, huisvesting, coderen en productiviteit). Elke taak is gekoppeld aan een semantische MDP dual voor automatische staatstracking.
2. Procesmatig Evaluatiekader: Een methodologie die gedrag deelt op in exploratie, executie en skill invocation, wat trajectvergelijking op gedeelde semantische staten mogelijk maakt om foutmodi te lokaliseren zonder handmatige annotatie.
3. Empirische Analyse van Webagenten: Een uitgebreide evaluatie van vijf agenten (Fara-7B, UI-TARS-1.5-7B, GUI-Owl-1.5-8B, Qwen3.5-122B en OpenAI CUA) die aantoont dat de terminale succesratio's vaak significante gedragsverschillen maskeren.

Resultaten en Bevindingen

De auteurs evalueerden vijf agenten en stelden vast dat, hoewel kleine modellen clusterden in een smalle range van terminaal succes (31–33%), procesmatige metrieken duidelijke gedragsprofielen onthulden:

1. Terminaal Succes Verbergt Gedragsverschillen:

   • UI-TARS vertoonde een hoger exploratiesucces maar een lager executiesucces, wat aangeeft dat het doelwitten vindt maar moeite heeft met de laatste actie.
   • Fara vertoonde het laagste aantal stappen en de laagste informationele dekking, wat wijst op onder-exploratief gedrag.
   • OpenAI CUA en Qwen3.5 presteerden beter in zowel exploratie als executie, waarbij CUA een hogere efficiëntie toonde.

2. Vaardigheidsspecifieke Zwaktes:

   • Agenten vertonen onderscheidende vaardigheidsprofielen. Bijvoorbeeld, op het domein Huisvesting presteerde OpenAI CUA 23,7% beter dan Qwen3.5 op Commit-acties, maar presteerde het 15,6% slechter op Filter-acties.
   • Dit toont aan dat een zwakte van een agent geconcentreerd kan zijn in een specifieke interactievaardigheid binnen een enkel domein, wat websitebrede scores zouden maskeren.

3. Beslissende Foutlokalisatie:

   • Bifurcatieanalyse toonde aan dat het punt waarop agenten voor het eerst afwijken van het optimale pad varieert per model.
   • GUI-Owl faalde het vaakst bij de Filter-stap.
   • Qwen3.5 en anderen faalden het vaakst bij de Inspect-stap (het openen van de verkeerde itempagina).
   • Voortijdige Commitment: Veel agenten (bijv. Fara) sloegen vaak de Inspect-stap over en committeerden zich aan een doelwit voordat er voldoende bewijs was verzameld, wat leidde tot fouten bij hard negatives.

4. Complexiteitssensitiviteit:

   • Naarmate de taakcomplexiteit toenam (gemeten aan de hand van het aantal hard negatives, de lengte van het oracle traject en het niveau van informatie-toegang), werd de prestatiekloof tussen agenten groter.
   • Bij eenvoudige taken presteerden agenten vergelijkbaar; bij complexe taken die diepe exploratie vereisten, behield OpenAI CUA zijn prestaties terwijl anderen significant achteruitgingen.

Betekenis en Claims

Het artikel beweert dat WEBSTEP een nieuw pad opent in de evaluatie van webagenten door de focus te verleggen van het rangschikken van agenten op basis van terminale uitkomsten naar het diagnosticeren van hoe en waar ze falen.

• Bruikbare Inzichten: Door specifieke tekortkomingen in vaardigheden te identificeren (bijv. slecht filteren versus slecht committen) en foutpatronen (bijv. voortijdige commitment), biedt het kader concrete doelen voor verbetering, zoals training op specifieke interactietypes of het aanpassen van exploratiestrategieën.
• Diagnose boven Rangschikking: De auteurs stellen dat procesmatige evaluatie de evaluatie transformeert van een black-box rangschikkingssysteem naar een diagnostisch hulpmiddel dat exploratiefouten van executiefouten kan ontwarren.
• Reproduceerbaarheid: De deterministische aard van de semantische MDP's zorgt ervoor dat de omgevingdynamiek en verificatieuitkomsten volledig reproduceerbaar zijn, wat een belangrijk tekortkoming van live-web benchmarks aanpakt.

Het werk concludeert dat terminaal succes alleen onvoldoende is om de capaciteiten van webagenten te begrijpen en dat een fijnmazige, procesmatige analyse noodzakelijk is om de ontwikkeling van robuustere webagenten te sturen.