WARC-Bench: Web Archive Based Benchmark for GUI Subtask Executions

Het artikel introduceert WARC-Bench, een nieuw benchmark dat Web ARChive-bestanden gebruikt om multimodale AI-agenten te evalueren op complexe GUI-subtaken, en toont aan dat terwijl huidige frontlijnmodellen moeite hebben, open-sourcemodellen door middel van supervised fine-tuning en versterkingsleren met verifieerbare beloningen aanzienlijk verbeteren om concurrerende prestaties te behalen.

De kern

Stel je voor dat je een robot leert om een computer te gebruiken. De meeste eerdere tests vroegen de robot om één van twee dingen te doen: ofwel op één enkele knop op een scherm te wijzen ("Klik op de rode knop") ofwel een enorme, complexe reis te plannen ("Boek een vakantie voor een gezin van vier, inclusief vluchten, hotels en autoverhuur, allemaal onder de 2.000 dollar").

De auteurs van dit artikel realiseerden zich dat er een enorm gat in het midden zat. Ze merkten op dat voordat een robot die vakantie kan boeken, het eerst de kleine, lastige stappen in between moet beheersen: door een lijst scrollen om een specifieke datum te vinden, een schuifregelaar slepen om een budget aan te passen, of een formulier invullen zonder per ongeluk de tekst die er al stond te verwijderen. Ze noemen deze "GUI-subtaken."

Hier is een eenvoudige uiteenzetting van hun werk, WARC-Bench:

1. Het Probleem: Het "Ontbrekende Midden"

Denk aan een complexe webtaak als het bakken van een cake.

• Visuele Verankering: "Pak het ei op." (Te simpel).
• Navigatie op Lange Termijn: "Bak een cake, beslaan deze en lever deze af bij een feestje." (Te complex, te veel variabelen).
• Het Ontbrekende Midden: "Breek het ei in de kom zonder dat er schaal in komt," of "Klop het beslag tot het glad is."

De auteurs betogen dat huidige AI-robots falen bij deze "middenstappen". Ze weten misschien wat een cake is, maar ze worstelen met de specifieke, klierige mechaniek van de keukengereedschappen.

2. De Oplossing: Een "Tijdstijgende" Testkeuken

Om deze robots te testen, bouwde het team WARC-Bench.

Meestal is het testen van robots op het echte internet chaotisch. Websites veranderen, pop-ups verschijnen en servers crashten. Om dit op te lossen, gebruikte het team WARC-bestanden (Webarchieven).

• De Analogie: Stel je voor dat je een perfect, bevroren momentopname van een website op een specifiek moment in de tijd maakt, inclusief al zijn knoppen, scripts en afbeeldingen. Je plaatst deze momentopname in een "tijdcapsule".
• Hoe het werkt: Wanneer ze een robot testen, sturen ze deze niet naar het live internet. Ze sturen deze naar deze "tijdcapsule". De robot interacteert met deze bevroren, perfecte kopie van de website. Het is als een vluchtsimulator voor webbrowsers: veilig, herhaalbaar en elke keer precies hetzelfde.

Ze creëerden 438 verschillende "mini-uitdagingen" in deze simulator, zoals "Selecteer 21 maart op de kalender" of "Scroll naar beneden om de prijs te vinden".

3. De Resultaten: Zelfs de "Slimste" Robots Worstelen

Ze testten 's werelds meest geavanceerde AI-modellen (zoals Claude 4.0 en GPT-5) op deze mini-uitdagingen.

• De Realiteitscheck: Zelfs de slimste robots haalden slechts ongeveer 65% van deze eenvoudige taken goed.
• De Analogie: Het is alsof je een briljant mens een test geeft waarbij ze een specifieke knoop moeten leggen of een belastingformulier moeten invullen. Zelfs slimme mensen maken fouten als de instructies lastig zijn of de interface verwarrend. De robots falen erin om de "sfeer" van de website te "lezen".

4. De Oplossing: Trainen met "Videospellen"

De auteurs wilden zien of ze open-source robots (die meestal zwakker zijn) konden leren om beter te worden. Ze gebruikten twee trainingsmethoden:

1. Supervised Fine-Tuning (SFT): De robot duizenden voorbeelden tonen van mensen die deze taken succesvol uitvoeren, zoals een student een opgelost wiskundeprobleem laten zien.
2. Reinforcement Learning met Verifieerbare Beloningen (RLVR): Dit is als een videospel. Ze laten de robot de taak proberen. Als het slaagt, krijgt het een "punt" (beloning). Als het faalt, krijgt het nul punten. De robot leert door duizenden spellen te spelen, beseffend: "Oh, ik klikte de verkeerde knop de vorige keer, dat moet ik niet opnieuw doen."

Het Resultaat:
Door deze "videospel"-trainingsmethode te gebruiken op synthetische (nep maar realistische) websites, sprong hun open-source model van een lage score naar 52,3%. Dit is indrukwekkend omdat het veel van de dure, gesloten-bron "superhersenen" versloeg op deze specifieke taken.

5. Waarom Dit Belangrijk Is

Het artikel concludeert dat als je wilt dat een robot goed is in de grote, complexe banen (zoals die vakantie boeken), je eerst moet zorgen dat het goed is in de kleine, saaie banen (zoals op de juiste datum klikken).

Ze ontdekten dat het vermogen van een robot om deze kleine, specifieke subtaken te hanteren, een zeer sterke voorspeller is van hoe goed het de grote, complexe taken zal aanpakken. Als een robot niet door een dropdown-menu kan navigeren, zal het waarschijnlijk ook niet in staat zijn om een reis te plannen.

Kortom: De auteurs bouwden een veilige, tijdsbevroren speeltuin om te testen hoe goed robots de kleine, lastige details van het gebruik van een website aankunnen. Ze ontdekten dat zelfs de beste robots slecht zijn in deze details, maar dat ze getraind kunnen worden om veel beter te worden door "videospellen" te spelen waarbij ze punten krijgen als ze het goed doen.

Technische samenvatting

Technische Samenvatting: WARC-Bench

Probleemdefinitie

Het artikel identificeert een kritieke kloof in de evaluatie van autonome webagenten. Bestaande benchmarks richten zich doorgaans op twee uitersten: visuele grounding in één stap (het koppelen van tekst aan pixelcoördinaten) of complexe, langdurige webnavigatietaken (bijvoorbeeld het kopen van een artikel op Amazon). Het intermediaire niveau van complexiteit – GUI-subtaken – blijft grotendeels onbehandeld. Deze subtaken zijn workflows met een korte horizon die bestaan uit meerdere primitieve UI-acties (bijvoorbeeld het selecteren van een specifieke datum in een datumpicker, scrollen door een container om gegevens te extraheren, of interageren met een dropdown-menu) die samen één functionele instructie vormen binnen een grotere browsesessie.

De auteurs betogen dat het beheersen van deze subtaken essentieel is voor robuuste webplanning en navigatie, maar dat huidige benchmarks dit vermogen niet effectief evalueren. Bovendien ontbreekt het bestaande benchmarks met een lange horizon vaak aan de diversiteit en stress-testmogelijkheden die nodig zijn om fouten in specifieke interactiecomponenten te isoleren en te diagnosticeren.

Methodologie

Constructie van WARC-Bench

De auteurs introduceren WARC-Bench (Web Archive Benchmark), een nieuwe benchmark ontworpen om multimodale AI-agenten te evalueren op uitvoering van subtaken.

• Omgeving: De benchmark maakt gebruik van Web ARChive (WARC)-bestanden om gesandboxde, interactieve webomgevingen te creëren. Deze bestanden vangen de volledige staat van een website vast (HTML, CSS, JavaScript, afbeeldingen, HTTP-headers), waardoor high-fidelity replay mogelijk is binnen een op Chromium gebaseerde browser (via Playwright). Deze aanpak zorgt voor taakisolatie, voorkomt schrijfacties in de echte wereld en maakt snelle, schaalbare evaluatie mogelijk.
• Dataset-samenstelling: De benchmark omvat 438 taken verdeeld over:
  • Testset: 200 taken uitsluitend afgeleid van realistische websites (bijvoorbeeld GitHub, Zoho Desk, Kaiser Permanente).
  • Ontwikkelset: 238 taken (60 realistisch, 178 synthetisch).
  • Trainingsset: 1.059 synthetische taken gegenereerd via een op LLM gebaseerde pijplijn om diverse UI-widgets en taakdoelen te creëren.
• Taakcategorieën: Taken dekken 15 categorieën, waaronder datumpickers, invullen van formulieren, tabelmanipulatie, drag-and-drop en data-extractie.
• Evaluatie: Elke taak bevat een deterministische, programmatieke beloningsfunctie (JS-, URL-, String- of JSON-matchers) om taakvoltooiing te verifiëren, onafhankelijk van de specifieke trajectorie van de agent.

Agentontwerp en Training

De auteurs stellen de Subtask Vision Agent (SVA) voor, een ontwerp voor een generalistische agent die uitsluitend vertrouwen stelt op screenshots voor observatie, waardoor afhankelijkheid van toegankelijkheidsbomen of HTML-DOM wordt vermeden, wat overbodig kan zijn of de contextlimieten kan overschrijden.

• Actieruimte: De agent opereert op een minimale API van acht acties: klikken, voltooien, slepen en loslaten, hoveren, toetsaanslag, scrollen, typen en wachten.
• Trainingsstrategie: Om open-source modellen te verbeteren (specifiek de Qwen2.5-VL-familie), hanteren de auteurs een tweestaps trainingspijplijn:
  1. Supervised Fine-Tuning (SFT): Distillatie vanuit trajecten gegenereerd door sterke 'leraar'-modellen (inclusief frontier-modellen) op een dataset van ongeveer 12.000 unieke trajecten.
  2. Reinforcement Learning with Verifiable Rewards (RLVR): Toepassing van Proximal Policy Optimization (PPO) bovenop SFT-checkpoints met behulp van de synthetische WARC-Bench trainingsset. De agent ontvangt een beloning van 10 voor succesvolle trajecten en 0 voor mislukkingen of time-outs.

Belangrijkste Resultaten

Benchmarkprestaties

WARC-Bench blijkt zelfs voor state-of-the-art frontier-modellen uitdagend:

• Anthropic's Claude-4.0-Sonnet behaalde het hoogste slagingspercentage onder de geëvalueerde modellen met 64,8% op de testset.
• OpenAI's GPT-5 behaalde 51,3%.
• Open-source modellen (bijvoorbeeld Qwen2.5-VL-72B) bleken aanvankelijk aanzienlijk achter te blijven met 37,3%.

Impact van Trainingsmethoden

De voorgestelde trainingspijplijn verkleinde de kloof tussen open-source en closed-source modellen aanzienlijk:

• SFT: Verbeterde het Qwen2.5-VL-72B-model van 37,3% naar 48,3%.
• RLVR: Verbeterde het Qwen2.5-VL-72B-model verder naar 52,3%, waardoor het veel frontier closed-source modellen overtrof en een nieuwe state-of-the-art vestigde voor open-source agenten op deze benchmark.
• Efficiëntie: De met RLVR getrainde modellen vertoonden verbeterde exploratie (toegenomen scrollen), verminderde overbodige klikken en kortere trajectlengtes (ongeveer 0,94 stappen minder per taak) in vergelijking met baselines die alleen SFT gebruikten.

Comparatieve Analyse

• Correlatie met taken met een lange horizon: In tegenstelling tot benchmarks zoals ScreenSpot V2 of MiniWoB++, correleert de prestatie op WARC-Bench sterker met navigatiecapaciteiten met een lange horizon (gemeten op WebArena).
• Hiërarchische agenten: Het artikel toont aan dat het decomponeren van taken met een lange horizon in subtaken met behulp van een Planner (bijvoorbeeld Claude-4.0-Sonnet) en een Executor (bijvoorbeeld het getrainde Qwen2.5-VL-72B-RLVR) de prestaties op WebArena-Lite aanzienlijk verbetert (van 16,17% naar 24,63% voor op Qwen gebaseerde agenten), wat de bruikbaarheid van gespecialiseerde subtask-modellen bevestigt.

Betekenis en Claims

Het artikel claimt dat WARC-Bench een kritieke kloof vult in het landschap van GUI-agentonderzoek door een high-fidelity, schaalbare en gesandboxde omgeving te bieden voor het evalueren van subtaken met een korte horizon. De auteurs stellen het volgende:

1. Meesterschap van subtaken is een voorwaarde: Het succesvol uitvoeren van subtaken is een fundamenteel vermogen dat vereist is voor robuuste webnavigatie met een lange horizon, een vermogen dat door bestaande benchmarks niet uitgebreid wordt geëvalueerd.
2. Trainingswerkzaamheid: Synthetische data in combinatie met SFT en RLVR kan open-source modellen in staat stellen om concurrerende, en in sommige gevallen superieure, prestaties te leveren ten opzichte van frontier closed-source modellen bij realistische webinteracties.
3. Diagnostische waarde: De benchmark dient als stress-test voor specifieke agentcapaciteiten (bijvoorbeeld visuele grounding op complexe widgets, het verwerken van dynamische UI's zoals datumpickers) die vaak leiden tot fouten in grotere systemen.

Het werk concludeert dat WARC-Bench een unieke weg biedt om generalistische computergebruiksagenten te verbeteren door systematisch de intermediaire laag voor subtaken-uitvoering te optimaliseren.