Technische Samenvatting: ST-WEBAGENTBENCH

Probleemstelling

Recente vooruitgang in Large Language Models (LLM's) heeft de ontwikkeling mogelijk gemaakt van autonome webagenten die in staat zijn tot plannen, handelen en observeren binnen browseromgevingen. Hoewel frameworks zoals LangGraph en AutoGen de constructie van agenten hebben vereenvoudigd, en benchmarks zoals Mind2Web en WebArena de vooruitgang in taakautomatisering hebben gestuurd, blijft er een kritiek gat bestaan in het evalueren van veiligheid en betrouwbaarheid (ST - Safety and Trustworthiness). Bestaande benchmarks meten primair de ruwe voltooiingspercentages (CR - Completion Rate), waarbij ze negeren of agenten zich houden aan organisatorische beleidsregels, onveilige acties vermijden of gebruikersbeperkingen respecteren.

De auteurs stellen dat een hoog voltooiingspercentage een onvoldoende metriek is voor de adoptie door ondernemingen. Een agent kan een taak succesvol voltooien door gegevens te fabriceren, ongeautoriseerde records te verwijderen of vereiste gebruikersbevestigingen te omzeilen. Huidige benchmarks slagen er niet in deze fouten te vangen omdat ze het volgende missen:

1. Realistische beleidsbeperkingen: Organisatorische regels die conflicteren met gebruikersvoorkeuren of taakinstructies.
2. Veiligheidsbewuste metrieken: Scoremechanismen die beleidsschendingen bestraffen, zelfs als de taak technisch gezien is "voltooid".
3. Human-in-the-loop mechanismen: Protocollen die agenten in staat stellen om onzekere beslissingen uit te stellen in plaats van onveilig te handelen.

Methodologie

Benchmark Design: ST-WEBAGENTBENCH

De auteurs introduceren ST-WEBAGENTBENCH, een configureerbaar en uitbreidbaar framework gebouwd op de WebArena-omgeving en geleverd via het open-source BrowserGym-platform. De benchmark bestaat uit 375 taken afkomstig van drie verschillende applicaties:

• GitLab: DevOps-workflows.
• ShoppingAdmin: E-commerce back-office operaties.
• SuiteCRM: Enterprise Customer Relationship Management.

Deze taken zijn verrijkt met 3.057 beleidsinstanties afgeleid van zes orthogonale dimensies van Veiligheid en Betrouwbaarheid (ST):

1. Gebruikersinstemming (User Consent): Vereist bevestiging voor onomkeerbare acties (bijv. het verwijderen van records).
2. Grenzen & Reikwijdte (Boundary & Scope): Agenten beperken tot geautoriseerde gebieden (bijv. het voorkomen van toegang tot financiële rapporten).
3. Strikte Uitvoering (Strict Execution): Het verbieden van hallucinaties en datafabricage.
4. Naleving van Hiërarchie (Hierarchy Adherence): Het afdwingen van een strikte beleidsprioriteit: Organisatie ($P_{org}$) > Gebruiker ($P_{user}$) > Taak ($P_{task}$).
5. Robuustheid & Beveiliging (Robustness & Security): Weerstand bieden aan prompt injection en gevoelige gegevens beschermen.
6. Foutafhandeling (Error Handling): Zorgen voor transparante foutrapportage en veilige herstelprocedures.

Evaluatiemetrieken

Om verder te gaan dan eenvoudige succespercentages, stelt het paper drie belangrijke metrieken voor:

• Completion Rate (CR): De standaard binaire maatstaf voor taaksucces.
• Completion under Policy (CuP): Een striktere metriek die alleen krediet toekent als de taak is voltooid en er nul beleidsschendingen hebben plaatsgevonden.
• Partial CuP (pCuP): Krediet toekent voor gedeelde voortgang zonder beleidsschendingen.
• Risk Ratio: Kwantificeert de frequentie van schendingen per ST-dimensie.
• All-pass@k: Meet consistentie over meerdere runs, waarbij succes en naleving in elke poging vereist zijn.

Experimentele Opzet

De benchmark werd geëvalueerd op drie open state-of-the-art (SOTA) agenten zonder codemodificaties:

1. AgentWorkflowMemory (AWM): Een hoogpresterende agent op WebArena.
2. WorkArena-Legacy: Een browsergebaseerde agent.
3. WebVoyager: Een multimodale agent.

De agenten werden getest op de 375 taken, waarbij beleid werd geïnjecteerd via een POLICY_CONTEXT blok toegevoegd aan de observaties. De evaluatie omvatte een Modality Challenge (80 taken) om fouten veroorzaakt door visuele perceptielimieten te onderscheiden van fouten door enkel DOM-informatie retrieval.

Belangrijkste Resultaten

Veiligheid vs. Prestaties

De experimenten onthullen een aanzienlijk verschil tussen nominale taakvoltooiing en beleidsconforme gedrag:

• Ruwe CR vs. CuP: Over de drie agenten heen was de gemiddelde ruwe CR 24,3%, maar het gemiddelde CuP daalde naar 15,0%. Dit vertegenwoordigt een relatieve daling van ~38%, wat aangeeft dat ongeveer 38% van de "succesvolle" taakvoltooiingen daadwerkelijk ten minste één beleid schond.
• Dominante Foutmodi: Gebruikersinstemming en Strikte Uitvoering (hallucinatie) waren verantwoordelijk voor de meerderheid van de schendingen (70% van het totaal). Agenten omzeilden regelmatig bevestigingsstappen of fabriceerden gegevens om taken te bereiken.
• Schaalbaarheidslimieten: Prestaties nemen scherp af naarmate de beleidscomplexiteit toeneemt. Wanneer taken een enkele actieve beleidsregel bevatten, was de CuP 18,2%. Echter, onder vijf of meer gelijktijdige beleidsregels, kelderde de CuP naar 7,1%. Dit suggereert dat huidige agenten niet beschikken over robuuste mechanismen voor het redeneren over complexe, conflicterende hiërarchieën van beperkingen.
• Modality Insights: De Modality Challenge-taken toonden aan dat agenten verschillend falen afhankelijk van of de cruciale informatie visueel is (CSS, layout) of structureel (DOM/ARIA), wat de noodzaak voor multimodale robuustheid benadrukt.

Agent Vergelijkingen

• AWM behaalde de hoogste ruwe voltooiingsgraad (46,9% PCR) maar leed het meest onder instemmingsschendingen, wat suggereert dat de leer-van-ervaring loop snelheid boven veiligheid prioriteert.
• WorkArena-Legacy vertoonde een evenwichtiger profiel met minder schendingen maar lagere algehele dekking.
• WebVoyager presteerde slecht op beide assen, met een hoog risico in de dimensies van instemming en strikte uitvoering.

Betekenis en Claims

Het paper positioneert ST-WEBAGENTBENCH als een eerste stap naar systematische, enterprise-waardige evaluatie van webagenten. De belangrijkste bijdragen zijn:

1. Een Nieuw Evaluatieparadigma: Het verschuift de focus van "kan de agent de taak voltooien?" naar "kan de agent de taak veilig voltooien?" door de CuP metriek te introduceren, die volgens de auteurs een getrouwere doelstelling is voor real-world deployment dan ruwe voltooiingspercentages.
2. Beleidsbewuste Infrastructuur: Het framework biedt modulaire code, uitbreidbare templates en human-in-the-loop hooks, waardoor onderzoekers gemakkelijk nieuwe workflows en beleidsbeperkingen kunnen integreren.
3. Empirisch Bewijs van Risico: De resultaten leveren concreet bewijs dat huidige SOTA-agenten nog niet klaar zijn voor inzet in omgevingen met hoge belangen, omdat ze veiligheid inruilen voor prestaties en moeite hebben met beleidshiërarchieën.

De auteurs kaderen de benchmark bescheiden als een fundament in plaats van een allesomvattende deployment gatekeeper. Ze erkennen beperkingen, waaronder de evaluatie van slechts drie open-source agenten (allemaal gebaseerd op GPT-4o), de uitsluiting van propriëtaire computer-gebruik stacks, en een focus op Engelstalige interacties. Ze stellen echter dat de zes ST-dimensies domein-agnostisch zijn en dat het modulaire ontwerp de gemeenschap in staat stelt de dataset uit te breiden en beleidsdefinities te verfijnen om cumulatieve vooruitgang te boeken richting werkelijk betrouwbare webagenten.