🤖 AI

AutoSurfer -- Teaching Web Agents through Comprehensive Surfing, Learning, and Modeling

AutoSurfer is een nieuw webtrajectgenerator die systematische breedte-zoekverkenning, verkenning-geleide taaksynthese en trajectgebaseerde verfijning toepast om tekorten aan data en hallucinaties te overwinnen, waardoor de prestaties van webagenten en de taakdiversiteit op de WebArena-benchmark aanzienlijk worden verbeterd.

Oorspronkelijke auteurs: Fazle Elahi Faisal, Qianhui Wu, Baolin Peng, Jianfeng Gao

Gepubliceerd 2026-05-01

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Fazle Elahi Faisal, Qianhui Wu, Baolin Peng, Jianfeng Gao

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot wilt leren navigeren door een enorme, complexe bibliotheek (een website) om specifieke boeken te vinden, uit te lenen of recensies te schrijven. Het probleem is dat de robot de indeling van de bibliotheek niet kent en er geen handleiding voor bestaat.

AutoSurfer is een nieuw systeem dat deze "webrobots" (webagenten) leert door te fungeren als een zeer grondige, georganiseerde menselijke bibliothecaris die eerst de bibliotheek verkent, een perfecte gids schrijft en de robot vervolgens met die gids leert.

Hieronder wordt uitgelegd hoe AutoSurfer werkt, opgesplitst in eenvoudige stappen:

1. Het Probleem: Robots die verdwalen

Huidige robots die websites proberen te navigeren, falen vaak omdat ze niet zijn getraind op voldoende goede voorbeelden.

De Oude Manier: Eerdere methoden probeerden robots te leren door:
- Gissen vanaf de voordeur: Ze keken naar de homepage en gokten welke taken mogelijk waren, waardoor ze de verborgen kamers diep in de bibliotheek misten.
- Doelloos dwalen: Ze liepen willekeurig rond, zoals een toerist die tegen muren stoot. Dit leidde er vaak toe dat de robot taken verzon die niet bestonden (hallucinaties) of belangrijke functies zoals dropdown-menu's miste die pas zichtbaar worden als je erop klikt.

2. De Oplossing: De Drie-Stappenstrategie van AutoSurfer

AutoSurfer lost dit op door een "Leer onderweg"-aanpak te gebruiken die nabootst hoe een mens een nieuwe website leert kennen.

Stap A: De Systematische Verkenners (De Breedte-Zoektocht)

In plaats van willekeurig te dwalen, fungeert AutoSurfer als een detective met een checklist.

De Wachtrij: Het houdt een lijst bij van elke pagina die het heeft gevonden maar nog niet volledig heeft verkend. Het begint bij de homepage, controleert vervolgens elke link op die pagina, daarna elke link op die pagina's, en zo verder.
De "Ontvouwing"-Truc: Stel je een menu voor dat opties verbergt totdat je op "Meer" klikt. Oude methoden misten deze vaak. AutoSurfer is slim genoeg om op de knop "Meer" te klikken, de nieuwe opties te zien en die nieuwe opties direct aan zijn checklist toe te voegen. Het doet dit recursief, lagen van menu's afpellen net zoals een mens dat zou doen.
Geen Redundantie: Als het een "Zoek"-vakje op de homepage vindt, verspilt het geen tijd aan het zoeken naar een "Zoek"-vakje op elke andere pagina. Het onthoudt wat het al weet en slaat duplicaten over.

Stap B: Het Verhaal Schrijven (Taaksynthese)

Zodra AutoSurfer de website heeft verkend, zegt het niet zomaar: "Ik heb hier geklikt." Het schrijft een verhaal.

De Punten Verbinden: Het kijkt naar het pad dat het heeft afgelegd (de exploratietraject) en creëert een taak gebaseerd op dat echte pad.
De Metafoor: Stel je voor dat je iemand leert een taart te bakken.
- Oude methoden zouden kunnen zeggen: "Koop bloem, koop dan eieren, bak dan." (Geïsoleerde stappen).
- AutoSurfer zegt: "Eerst liep je naar het gangpad, pakte de bloem, liep naar de kassa, betaalde, liep toen naar de oven..." Het verankert de taak in de daadwerkelijke reis, waardoor de instructies veel moeilijker verkeerd te interpreteren zijn.

Stap C: De Afwerking (Verfijning)

Het eerste concept van de instructies kan rommelig zijn. Misschien maakte de robot een omweg of klikte per ongeluk twee keer op een knop.

De Redacteur: AutoSurfer neemt zijn eigen "ruwe concept" van de reis en geeft dit aan een webagent (een slimme robot) met een hint: "Hier is het pad dat we hebben afgelegd; doe deze taak nu perfect."
Het Resultaat: De agent maakt het pad schoon, verwijdert onnodige stappen en zorgt ervoor dat de instructies 100% accuraat zijn. Dit creëert een hoogwaardig "handboek" voor training.

3. Het Resultaat: Een Superstudent

AutoSurfer zet deze schone, geverifieerde paden om in een dataset om een specifieke "Website-specifieke LLM" (een robotbrein gewijd aan één website) te trainen.

De Test: De onderzoekers testten dit op een benchmark genaamd WebArena (een gesimuleerd internet met sites zoals Reddit, een winkel en een code-repository).
De Score: De robot die door AutoSurfer was getraind, haalde 24,23% van de taken goed. De beste eerdere methode haalde slechts 19,59% goed.
De Diversiteit: Niet alleen was het nauwkeuriger, maar het leerde ook een bredere variëteit aan taken. Het leerde niet alleen het makkelijke materiaal; het vond de diepe, complexe functies van de websites die andere methoden misten.

Samenvattende Analogie

Stel je voor dat je een webagent traint zoals je een nieuwe medewerker traint voor een gigantisch, verwarrend kantoorgebouw.

Oude methoden gaven de medewerker een kaart met alleen de lobby gemarkeerd en zeiden: "Ga de pauzeruimte zoeken." Ze verdwaalden.
AutoSurfer stuurt een senior medewerker om elke gang te lopen, elke deur te openen, elke kast te controleren en een stap-voor-stap handleiding te schrijven gebaseerd op de daadwerkelijke wandeling. Vervolgens stuurt het die handleiding naar de nieuwe medewerker. De nieuwe medewerker arriveert wetende precies waar de pauzeruimte is, hoe je daar komt en wat je moet doen als je er bent.

Het artikel beweert dat AutoSurfer, door zo grondig en systematisch te zijn, betere trainingsdata creëert, wat leidt tot webagenten die nauwkeuriger zijn, minder snel dingen verzonnen en in staat zijn complexe, meerstaps taken op het web uit te voeren.

1. Probleemstelling

Webagenten aangedreven door Multimodale Grootte Taalmodellen (MLLM's) hebben als doel complexe taken op websites te automatiseren. Hun nauwkeurigheid wordt echter ernstig beperkt door het tekort aan hoogwaardige trainingsdata voor webtrajecten. Bestaande methoden voor automatische datageneratie lijden aan drie fundamentele gebreken:

Onvolledige Dekking: Methoden die vertrouwen op taakvoorstellen op basis van homepages (bijv. Explorer) of verkenning via willekeurige wandelingen (bijv. OS-Genesis, SynthAgent), slagen er niet in om diepe, verborgen functionaliteiten zoals meerlagige menu's of dynamische inhoud te ontdekken.
Hallucinaties en Ambiguïteit: Taalsynthese steunt vaak op geïsoleerde paginainhoud of willekeurige acties, wat leidt tot gehallucineerde taken die niet overeenkomen met daadwerkelijke navigatiepaden of gebruikersintenties.
Zwakke Verankering van Trajecten: Genereerde trajecten missen vaak coherentie omdat ze niet zijn verankerd in een systematische verkenning van de daadwerkelijke toestandsruimte van de website, wat leidt tot onbetrouwbare trainingsdata voor Website-specifieke LLM's (wLLM's).

2. Methodologie: AutoSurfer

AutoSurfer is een uitgebreide webtrajectgenerator die deze beperkingen aanpakt via een drie-trapsproces: Systematische Verkenning, Traject-gebaseerde Taalsynthese en Traject-gestuurde Verfijning.

A. Systematische Breedte-Verkenning

In tegenstelling tot willekeurige wandelingen hanteert AutoSurfer een breedte-zoekstrategie (BFS) om de actie-ruimte van een website volledig in kaart te brengen:

Wachtrij-gebaseerde Navigatie: Het onderhoudt een wachtrij van ontdekte pagina's en hun corresponderende actie-sporen. Het verspreidt kennis van eerdere pagina's naar latere pagina's om redundante verkenning te voorkomen.
Recursieve GUI-uitbreiding: Het behandelt statische en dynamische elementen verschillend:
- Statische Elementen: Systematisch doorlopen van vaste functionaliteit (bijv. navigatiebalken).
- Dynamische Elementen: Het steekt een representatieve subset van dynamische inhoud (bijv. lijstitems) om redundantie te vermijden terwijl functionaliteit wordt vastgelegd.
- Menu/Dropdown-handeling: Het breidt menu's en dropdowns recursief uit. Als een actie (bijv. klikken op een profielpnaam) nieuwe elementen blootlegt, identificeert AutoSurfer deze nieuwe elementen als een hiërarchie en reconstrueert het bladdertaken met het volledige actie-voorvoegsel (bijv. "Klik op Profiel" $\rightarrow$ "Klik op Instellingen").
Taakfiltering: Het sluit taken uit die autorisatie (inloggen/aanmelden), betalingen, advertenties en pop-ups betreffen, en richt zich op uitvoerbare, toestandsveranderende interacties.

B. Taalsynthese met Verkenningstrajecten

AutoSurfer synthetiseert complexe taken door logisch verbonden eenvoudige taken te combineren die tijdens de verkenning zijn ontdekt:

Actie-gerichte Taken: Het identificeert sequenties van eenvoudige taken die minstens drie GUI-acties omvatten. Het gebruikt LLM-redenering om volledigheid te evalueren en behoudt alleen hoogwaardige tuples.
Informatiezoekende Taken: Het genereert vragen die gebruikers zouden kunnen stellen over de paginainhoud, verankerd in het specifieke navigatiepad dat is afgelegd om die staat te bereiken.
Kerninnovatie: In tegenstelling tot eerdere methoden die taken synthetiseren vanuit geïsoleerde paginainhoud, verankert AutoSurfer taken in het volledige verkenningstraject. Dit zorgt ervoor dat de taakbeschrijving de daadwerkelijke navigatiecontext weerspiegelt, wat hallucinaties reduceert.

C. Traject-gestuurde Verfijning

De initiële verkenningsdata bevat vaak redundante stappen of suboptimale paden (bijv. ontbrekende scroll-acties). AutoSurfer verfijnt deze met behulp van een webagent (SynthAgent) die is verrijkt met het verkenningstraject als hint:

De agent gebruikt het verkenningpad als een "waarheid" leidraad om de taakbeschrijving te corrigeren en een schone, efficiënte traject te genereren.
Deze stap filtert mislukte pogingen en optimaliseert de actieserie, zodat de uiteindelijke data geschikt is voor Supervised Fine-Tuning (SFT).

D. Modeltraining (wLLM)

De verfijnde taak-trajectparen worden omgezet in een SFT-dataset in ShareGPT-formaat. De dataset bevat de taakbeschrijving, paginascreenshot, toegankelijkheidsboom en actiegeschiedenis. Deze data wordt gebruikt om multimodale LLM's (specifiek Qwen2.5-VL en Qwen3-VL) te fine-tunen om Website-specifieke LLM's (wLLM's) te creëren.

3. Belangrijkste Bijdragen

Systematische Verkenningstrategie: Een nieuwe BFS-aanpak die menu's recursief uitbreidt, onderscheid maakt tussen vaste en dynamische elementen, en kennis over pagina's verspreidt om een bijna volledige website-dekking te bereiken.
Traject-gebaseerde Synthese: Een methode die het volledige verkenningpad gebruikt om taken te synthetiseren, wat hallucinaties aanzienlijk reduceert in vergelijking met methoden die vertrouwen op geïsoleerde paginainhoud of willekeurige wandelingen.
Verfijning via Verkenninghints: Een verfijningsmechanisme dat het verkenningstraject gebruikt als beperking om de webagent te sturen naar correcte uitvoeringspaden, waardoor de datakwaliteit verbetert.
Eerste wLLM-training Framework: AutoSurfer is het eerste werk dat expliciet is ontworpen om data te genereren voor het trainen van wLLM's, en demonstreert dat volledige website-dekking noodzakelijk is voor hoogpresterende, site-specifieke agenten.

4. Experimentele Resultaten

De auteurs evalueerden AutoSurfer op de WebArena-benchmark (met CMS-, Gitlab-, Reddit- en Shopping-omgevingen) door Qwen2.5-VL-7B-Instruct te fine-tunen.

Prestaties: AutoSurfer presteerde aanzienlijk beter dan state-of-the-art methoden (Explorer, OS-Genesis, SynthAgent).
- Algemene Nauwkeurigheid: AutoSurfer behaalde een algehele taakvoltooiingsnauwkeurigheid van 24,23%, vergeleken met 19,59% voor de beste eerdere methode (SynthAgent).
- Per-website Winsten: Het toonde consistente verbeteringen op alle geteste websites, met opvallende winsten op Reddit (34,62% versus 19,64% voor SynthAgent).
Taakdiversiteit: AutoSurfer genereerde een diverser set taken (Diversiteitscore: 0,7774) in vergelijking met OS-Genesis en SynthAgent (0,7459), wat wijst op bredere dekking van de actie-ruimte van de website.
Impact van Verfijning: Ablatiestudies toonden aan dat modellen die uitsluitend op verkenningsdata waren getraind, een nauwkeurigheid van 11,54% behaalden, terwijl modellen die op verfijnde data waren getraind 34,62% behaalden. Dit onderstreept het kritieke belang van de verfijningsfase voor het verwijderen van ruis en het optimaliseren van trajecten.
Generalisatie: De aanpak werd gevalideerd op een ander model (Qwen3), waarbij consistente prestatieverbeteringen werden getoond, wat suggereert dat de datakwaliteit model-onafhankelijk is.

5. Betekenis

Datakwaliteit boven Modelgrootte: Het paper toont aan dat hoogwaardige, uitgebreide trainingsdata de prestaties van kleinere, efficiënte modellen (7B-8B parameters) aanzienlijk kan verbeteren, wat mogelijk de behoefte aan enorme, dure modellen voor webautomatisering vermindert.
Privacy en Efficiëntie: Door het trainen van hoogwaardige wLLM's mogelijk te maken, ondersteunt AutoSurfer de implementatie van agents op het apparaat, wat de privacy van de gebruiker verbetert en de latentie verlaagt.
Paradigmaverschuiving: Het verplaatst het veld van "willekeurige verkenning" of "tutorial-gebaseerde synthese" naar "systematische, mensachtige verkenning", en biedt een robuust raamwerk voor het bouwen van betrouwbare, algemeen toepasbare webagenten.

Kortom, AutoSurfer stelt een nieuwe standaard voor webtrajectgeneratie door te bewijzen dat uitgebreide, systematische verkenning gecombineerd met traject-gestuurde verfijning essentieel is voor het trainen van nauwkeurige en betrouwbare webagenten.