WebDS: An End-to-End Benchmark for Web-based Data Science

Dit paper introduceert WebDS, het eerste end-to-end benchmark voor webgebaseerde datawetenschap dat agenten test op complexe, multi-stap taken over diverse websites en een aanzienlijke prestatiekloof tussen huidige LLM-agenten en menselijke vaardigheden blootlegt.

De kern

WebDS: De "Echte Wereld" Test voor Digitale Data-Detectives

Stel je voor dat je een zeer slimme, digitale assistent hebt die alles kan lezen op internet. Hij kan websites bezoeken, cijfers vinden en zelfs rapporten schrijven. Maar is hij ook echt slim genoeg om een data-analist te spelen? Dat is de vraag die dit nieuwe onderzoek, genaamd WebDS, probeert te beantwoorden.

Hier is een uitleg in simpele taal, met wat creatieve vergelijkingen:

1. Het Probleem: De "Speeltuin" vs. De "Dwarsstraat"

Tot nu toe hebben we AI-agenten getest in twee soorten omgevingen:

• De Speeltuin (Bestaande web-tests): Dit zijn simpele taken, zoals "Ga naar Reddit en schrijf een bericht" of "Koop een boek". Het is alsof je een kind laat rennen in een veilige speeltuin. Het is leuk, maar het leert je niet hoe je overleeft in de echte wereld.
• De Werkbank (Bestaande data-tests): Hier moet de AI met strakke tabellen in een computerprogramma werken. Het is alsof je een kok vraagt om een gerecht te maken, maar je geeft hem alleen een recept en geen ingrediënten om te zoeken.

Het probleem: In het echte leven moet een data-analist eerst op zoek naar de ingrediënten (data) op verschillende websites, ze samenvoegen, ze schoonmaken, en dan pas het gerecht (het rapport) maken. De oude tests keken niet naar dit hele proces.

2. De Oplossing: WebDS (De "Obstakelbaan")

De onderzoekers hebben WebDS bedacht. Dit is de eerste test die AI-agenten op een obstakelbaan zet die lijkt op het echte leven.

• De Baan: In plaats van één simpele opdracht, krijgen de AI's 870 complexe taken. Ze moeten bijvoorbeeld: "Vind de bevolkingscijfers van een land op de overheidswebsite, ga naar een nieuwsartikel voor context, download een Excel-bestand, bereken het gemiddelde, en schrijf een adviesrapport voor een burgemeester."
• De Locaties: De AI's moeten surfen over 29 verschillende websites, variërend van strenge overheidsportalen tot rommelige nieuwswebsites. Het is alsof je een detective vraagt om bewijs te vinden in een bibliotheek, een kelder en een marktkraam, allemaal tegelijk.

3. De Resultaten: De AI's Struikelen

Wat gebeurde er toen de slimste AI's (zoals die van Google en OpenAI) deze test deden?

• De Teleurstelling: Het ging vreselijk mis. Een AI die op de oude "speeltuin-tests" 80% van de taken haalde, haalde op deze nieuwe baan slechts 15%.
• De Menselijke Vergelijking: Mensen haalden 90%.
• De Grootte van de Klap: Er is een enorm gat tussen wat de AI's nu kunnen en wat mensen kunnen. De AI's zijn als een Formule-1-auto die vastloopt in een modderpoel. Ze kunnen razendsnel rijden op een asfaltweg (oude tests), maar falen volledig als ze door modder (echte, rommelige data) moeten.

4. Waarom Lukt het Niet? (De "Valkuilen")

De onderzoekers keken waarom de AI's faalden. Ze ontdekten drie hoofdproblemen:

1. Verlies van het Spoor (Grounding): De AI leest de juiste pagina, maar vergeet de belangrijke cijfers of verzonnen ze er zelf bij. Het is alsof een kok de ingrediënten ziet, maar dan toch een ander gerecht kookt dan gevraagd.
2. In de Cirkel Draaien: Als een knop niet werkt, blijven de AI's diezelfde knop duwen, duwen, duwen... zonder te stoppen en een andere route te zoeken. Ze hebben geen "stop-en-denk"-mechanisme.
3. Afkortingen nemen: In plaats van het moeilijke werk te doen (zoals een bestand downloaden en analyseren), proberen ze een makkelijk antwoord te "googelen" en hopen ze dat het goed komt. Dat werkt niet bij complexe data.

5. Waarom is dit Belangrijk?

WebDS is niet bedoeld om AI's te vernederen, maar om ze te trainen.

• Het is als een simulator voor piloten. Je wilt niet dat een piloot voor het eerst vliegt in een echt vliegtuig met passagiers; je wilt dat ze eerst de zware stormen en storingen in een simulator overleven.
• Door deze moeilijke test te hebben, weten onderzoekers precies waar ze moeten verbeteren. Ze moeten niet alleen de "hersenen" van de AI groter maken, maar vooral leren hoe de AI omgaat met rommelige websites, downloadknoppen en het samenvoegen van verschillende bronnen.

Kortom: WebDS is de nieuwe, eerlijke test die laat zien dat onze digitale assistenten nog niet klaar zijn om zelfstandig data-analisten te worden. Ze zijn slim, maar ze zijn nog niet "strategisch" of "aandachtig" genoeg voor de echte wereld. Met deze test hopen de onderzoekers dat we binnenkort AI's krijgen die niet alleen kunnen lezen, maar ook echt kunnen denken en werken in onze digitale wereld.

Technische samenvatting

Probleemstelling

Bestaande benchmarks voor Large Language Model (LLM) agenten missen vaak de complexiteit van echte datawetenschapstaken.

• Web-benchmarks (zoals WebVoyager, WebArena) focussen vaak op simpele interacties (bijv. items kopen, Reddit-posts schrijven) en testen niet de vermogens om data te manipuleren, te analyseren of te synthetiseren.
• Data Science-benchmarks focussen meestal op statische, gestructureerde datasets (zoals CSV-bestanden of SQL-databases) en evalueren zelden het volledige workflow-proces: van het vinden van data op het web, het opschonen, analyseren tot het genereren van inzichten.
• Het gat: Moderne datawetenschappers werken met dynamische, multimodale data verspreid over meerdere websites met verschillende toegangsbeperkingen. Huidige agenten falen hierin omdat ze niet zijn getest op deze end-to-end workflows die navigatie, tool-gebruik en complexe redenering vereisen.

Methodologie: WebDS Benchmark

De auteurs introduceren WebDS, het eerste end-to-end benchmark voor webgebaseerde datawetenschap.

1. Dataset en Opzet:

• Omvang: 870 menselijk geschreven taken verdeeld over 29 diverse websites.
• Domeinen: De websites dekken 10 kritieke domeinen, variërend van gestructureerde overheidsdata (bijv. CDC, BEA, FRED) tot ongestructureerde nieuwsmedia en e-commerce.
• Twee tracks:
  • WebDS-live: Agenten interageren met live websites (realistisch, maar dynamisch).
  • WebDS-dockerized: Een gereproduceerbaar subset van de omgevingen in Docker-containers om experimenten exact te kunnen herhalen.
• Taakattributen: Taken zijn gelabeld met complexe eigenschappen zoals:
  • Multi-hop: Redeneren over meerdere bronnen.
  • Gestructureerd vs. Ongestructureerd: Omgaan met tabellen, CSV's, maar ook tekst en afbeeldingen.
  • Tool-gebruik: Noodzaak van Python, SQL, of externe API's.
  • Actie-gebaseerd: Niet alleen antwoorden geven, maar ook acties uitvoeren (bijv. een post plaatsen, een bestand downloaden).

2. Evaluatieprotocol:

• Automatische evaluatie: Binair (Succes/Mislukt) voor taken met een vast grondwaarheid (ground truth).
• Subjectieve evaluatie (LLM-as-a-Judge): Een LLM beoordeelt de volledige trajecten (niet alleen het eindresultaat) op een schaal van 1-5, met een analyse van fouten. Dit omvat beoordeling van sub-taken, tool-gebruik en rapportkwaliteit.
• Menselijke validatie: Menselijke annotatoren hebben de evaluatie-harness gevalideerd, wat een hoge overeenkomst (93%) toonde.

Belangrijkste Bijdragen

1. Uitgebreide Taakset: Een schaalbaar benchmark met 870 taken die de volledige datawetenschaps-pipeline simuleren, van dataverzameling tot inzichten genereren.
2. Realistische End-to-End Evaluatie: Het is de eerste benchmark die het volledige proces evalueert, inclusief het navigeren door heterogene bronnen en het synthetiseren van informatie.
3. Gedetailleerde Foutanalyse: In plaats van alleen een binair succespercentage, biedt WebDS fijne-granulariteitsmetingen voor sub-taken en identificeert het specifieke faalmodi (zoals slechte "grounding" van informatie).
4. Reproduceerbaarheid: Door de Docker-track biedt het een stabiele omgeving voor longitudinale onderzoek, terwijl de Live-track de realiteit van veranderende websites weergeeft.

Resultaten

De prestaties van huidige State-of-the-Art (SOTA) agenten op WebDS zijn verontrustend laag vergeleken met hun prestaties op andere benchmarks:

• Prestatieverschil:
  • BrowserUse + GPT-4o: Bereikt ~81% succes op WebVoyager, maar slechts 12,9% op WebDS.
  • AgentOccam: Bereikt 45,7% op WebArena, maar slechts 4,8% op WebDS.
  • Beste model (BrowserUse + GPT-5.1): Bereikt slechts 22,2% succes.
• Mens vs. Agent: Menselijke deelnemers (data-experts) behalen een succespercentage van 90% onder dezelfde beperkingen. Dit creëert een kloof van meer dan 75 procentpunten.
• Schaalbaarheid: Het vergroten van de modelgrootte (bijv. van GPT-4o-mini naar GPT-4o) leidt niet noodzakelijk tot betere prestaties op deze taken.

Analyse van Fouten (Failure Modes):
De analyse toont aan dat agenten vastlopen in specifieke patronen:

1. Slechte Grounding (40,2%): De agent vindt de juiste informatie, maar haalt de verkeerde cijfers, hallucineert feiten of synthetiseert de data incorrect.
2. Interpretatie van Vragen (28,8%): De agent begrijpt de intentie niet (bijv. een kwantitatief antwoord geven in plaats van een kwalitatieve beschrijving).
3. Inspanningstoewijzing: Agenten geven te snel op bij complexe bronnen en zoeken naar makkelijkere, maar onnauwkeurige alternatieven.
4. Herhaling van Fouten: Agenten blijven vastlopen in lussen waarbij ze dezelfde mislukte actie herhalen zonder de UI-feedback te verwerken.

Betekenis en Conclusie

WebDS blootlegt een fundamenteel tekort in de huidige generatie web-agenten: ze zijn goed in simpele navigatie, maar falen bij complexe, langdurige workflows die data-analyse vereisen.

• Nieuwe uitdaging: Het succes van een agent hangt niet alleen af van de redeneercapaciteit van het LLM, maar vooral van de interactie- en besturingslaag (hoe goed de agent de UI begrijpt, feedback verwerkt en tools correct toepast).
• Toekomstrichting: De benchmark biedt een robuust testveld om de kloof tussen menselijke en machine-prestaties te dichten. Toekomstig werk moet zich richten op het verbeteren van "grounding" (het correct koppelen van redenering aan waargenomen data), het doorbreken van lussen en het efficiënter toewijzen van inspanning over lange workflows.
• Impact: WebDS zet de standaard voor het ontwikkelen van praktisch bruikbare AI-agenten voor datawetenschap, een domein waar de huidige technologie nog aanzienlijk achterloopt.

De benchmark is beschikbaar op: https://webdsbenchmark.github.io/.