AutoWebWorld: Synthesizing Infinite Verifiable Web Environments via Finite State Machines

Probleemstelling

De prestaties van autonome agents die web-interfaces (GUI's) navigeren, hangen sterk af van de kwaliteit en kwantiteit van trainingsdata. Bestaande methoden voor het verzamelen van interactietrajecten van echte websites ondervinden echter twee fundamentele problemen:

1. Verborgen Toestanden: Agents zien alleen de gerenderde UI (bijv. screenshots), maar hebben geen toegang tot de onderliggende interne staat van de website. Dit maakt het onmogelijk om direct te verifiëren of een actie (zoals "in winkelmandje") de interne staat correct heeft bijgewerkt.
2. Verificatieknelpunt: Omdat de interne staat onzichtbaar is, moeten bestaande pipelines vertrouwen op externe verifiers (menselijke annotatoren of LLM-judges) om de juistheid van stappen te beoordelen. Dit is duur, inconsistent, en schaalt niet goed, wat een "verifier bottleneck" creëert.

Methodologie: AutoWebWorld

De auteurs stellen AutoWebWorld voor, een raamwerk dat web-omgevingen synthetiseert door ze te modelleren als Finite State Machines (FSM's). In plaats van te vertrouwen op onvoorspelbare echte websites, definieert dit systeem alle toestanden, acties en overgangsregels expliciet.

Het proces verloopt in vier fasen (zoals weergegeven in Figuur 2 van het paper):

1. FSM-Generatie:

   • Een multi-agent systeem (gebaseerd op GPT-5.1) genereert een FSM op basis van een webthema (bijv. GitHub of Gmail).
   • De FSM definieert een verzameling pagina's, een "signature" (toestand) voor elke pagina (variabelen zoals filteropties, paginering, geselecteerde items), en deterministische overgangsregels (precondities en effecten).
   • Een validator-agent controleert de FSM op consistentie en haalbaarheid; indien nodig wordt deze door een "improver-agent" herzien.

2. Generatie van de Web-omgeving:

   • Een "Coding Agent" (Gemini3-Pro) vertaalt de FSM naar een werkend front-end project (Vue.js).
   • Het proces omvat het genereren van richtlijnen, het synthetiseren van pagina's, het bouwen van het project en een zelfherstellende lus (self-repair) om bouwfouten te corrigeren.

3. Automatische Traject-collectie (BFS):

   • In plaats van stochastische verkenning, gebruikt het systeem Breadth-First Search (BFS) over het bekende FSM-graf.
   • BFS exploreert systematisch alle mogelijke paden die leiden tot een doeltoestand. Omdat de overgangen deterministisch zijn, zijn de gegenereerde paden per definitie correct op semantisch niveau.
   • Elke semantische actie wordt gekoppeld aan een vooraf gedefinieerde GUI-procedure (reeks van atomische UI-bewerkingen zoals klikken of typen).

4. Automatische Filtering en Verificatie:

   • De gegenereerde trajecten worden uitgevoerd in de gegenereerde website met behulp van Playwright.
   • Alleen trajecten die alle stappen succesvol uitvoeren en de beoogde doeltoestand bereiken, worden behouden.
   • Dit elimineert de noodzaak voor menselijke of LLM-verificatie, omdat de juistheid intrinsiek is bewezen door de FSM-logica en de succesvolle uitvoering.

Belangrijkste Bijdragen

1. Paradigmaverschuiving: Introductie van een toestand-gedreven paradigma voor het synthetiseren van controleerbare, schaalbare en verifieerbare web-omgevingen.
2. Dataset en Benchmark: Publicatie van 29 diverse synthetische web-omgevingen en 11.663 geverifieerde trajecten. De kosten per traject bedragen slechts $0,04, in tegenstelling tot $0,15 - $1,00 voor bestaande datasets.
3. Schalingswet: Demonstratie dat de prestaties van agents lineair verbeteren naarmate de hoeveelheid synthetische data toeneemt, wat aantoont dat synthetische data effectief kan worden gebruikt om foundation models te schalen.

Resultaten

• Prestaties op WebVoyager: Een agent van 7B parameters, getraind op slechts 16.000 stappen van deze synthetische data, bereikte een succespercentage van 27,42% op de WebVoyager-benchmark (binnen 15 stappen). Dit presteert beter dan veel grotere modellen en modellen getraind op datasets die groter zijn met ordes van grootte.
• Schaalbaarheid: Er is een duidelijke schalingswet waargenomen: naarmate het volume aan synthetische data groeide (van 8 tot 16.253 samples), verbeterden de prestaties op zowel WebVoyager als Online-Mind2Web consistent.
• Grounding: De data verbeterde ook de prestaties bij het lokaliseren van UI-elementen (grounding) op benchmarks zoals ScreenSpot-V2 en ScreenSpot-Pro.
• Kostenefficiëntie: De totale kosten voor het genereren van de dataset waren extreem laag, waarbij de grootste kostenpost (denken/reasoning) nog steeds aanzienlijk lager was dan de kosten voor menselijke annotatie in traditionele pipelines.

Significantie

AutoWebWorld lost het fundamentele probleem van het ontbreken van "ground truth" in web-interacties op door de omgeving zelf verifieerbaar te maken. Dit heeft drie grote implicaties:

1. Schaalbaarheid: Het maakt het mogelijk om onbeperkt grote hoeveelheden hoogwaardige trainingsdata te genereren tegen een fractie van de huidige kosten.
2. Betrouwbaarheid: Het elimineert de inconsistentie van externe verifiers, wat leidt tot betrouwbaardere training van agents voor lange-termijn taken.
3. Reproduceerbaarheid: De gegenereerde omgevingen dienen als stabiele benchmarks met intrinsieke succescriteria, waardoor het evalueren van agents over tijd en tussen modellen heen consistent wordt zonder kwetsbare externe checks.

Kortom, AutoWebWorld biedt een nieuwe weg voor het trainen van robuuste web-agents door de complexiteit van de echte wereld te abstraheren naar een controleerbaar, deterministisch model dat toch voldoende realisme behoudt om generalisatie naar echte websites mogelijk te maken.