Technische Samenvatting: WebRetriever

Probleemstelling

De snelle vooruitgang van Large Language Models (LLMs) heeft geleid tot de opkomst van multimodale webagenten die complexe online taken kunnen automatiseren. De evaluatie van deze agenten kampt echter met drie kritieke beperkingen die een betrouwbare inzet in de weg staan:

1. Onvoldoende Schaal en Diversiteit: Bestaande benchmarks lijden onder een beperkt aantal websites, een smalle domeindekking en een gebrek aan diverse gebruikersintenties, waardoor ze niet de breedte kunnen vatten die vereist is voor algemene toepasbaarheid in de echte wereld.
2. Inadequate Evaluatiemethodologieën: Huidige geautomatiseerde evaluatiemethoden, met name die afhankelijk zijn van "LLM-as-a-Judge", slagen er vaak niet in om fijnmazige interactieve semantiek te vangen. Ze zijn vaak afhankelijk van visuele screenshots alleen, waardoor cruciale intermediaire interactiedata (bijv. netwerkverzoeken, formulering van queries) ontbreken die nodig zijn voor een precieze beoordeling.
3. Smalle Evaluatieprotocollen: De heersende benchmarks meten voornamelijk navigatiesucces (het bereiken van een doelpagina), terwijl ze het vermogen om externe kennis te benutten of end-to-end taken uit te voeren die informatieextractie omvatten, verwaarlozen. Dit creëert een kloof waarbij hoge benchmarkscores niet vertalen naar praktische effectiviteit in toepassingen.

Methodologie

Om deze beperkingen aan te pakken, introduceren de auteurs WebRetriever, een grootschalige benchmark, en NavEval, een nieuw geautomatiseerd evaluatiekader.

1. WebRetriever Benchmark

WebRetriever is geconstrueerd om een uitgebreide, realistische evaluatieomgeving te bieden:

• Schaal en Diversiteit: Het omvat 1.550 taken verspreid over 800 real-world websites.
• Domeindekking: De dataset beslaat acht kernsectoren in de industrie (Technologie, Financiën, Onderwijs, Cultuur, Lifestyle, Gezondheidszorg, Industrie, Openbare Diensten) en dekt zowel Algemene als Professionele gebruikersintenties.
• Taakontwerp: Taken zijn gecategoriseerd op moeilijkheidsgraad (Easy, Medium, Hard) op basis van het aantal vereiste actiestappen. Ze zijn ontwor咁 om niet alleen navigatie te testen, maar ook het begrip van de onderliggende bedrijfslogica.
• Onderhoud: De dataset is ontworpen voor continu onderhoud, waarbij verouderde taken worden vervangen om langetermijnvaliditeit te garanderen.

2. NavEval: Geautomatiseerd Evaluatiekader

NavEval is een LLM-as-a-Judge framework dat is ontworpen om de beperkingen van screenshot-gebaseerde evaluatie te overwinnen:

• Integratie van Multi-Source Signalen: In tegenstelling tot voorgaande methoden die vertrouwen op eindscreenshots of volledige trajecten, integreert NavEval taakbeschrijvingen, actietrajecten, gefilterde netwerkverzoeken en de eindscreenshot.
• Regelgebaseerde Filtering: Een voorverwerkingsstap filtert ruwe netwerkverzoeken om ruis te verwijderen, payloads te normaliseren en alleen relevante interacties op subdomeinniveau te behouden. Dit creëert een compacte, gestructureerde representatie van de query en de filteroperaties van de agent.
• Beoordelingsproces: Een LLM (specifiek Claude-4.5-Sonnet in de experimenten) analyseert deze gecombineerde signalen om binaire taaksucces (Waar/Onwaar) te bepalen, waarbij een hoge mate van overeenstemming met menselijke beoordelingen wordt bereikt.

3. Drie Evaluatieprotocollen

De benchmark maakt gebruik van drie complementaire protocollen om de capaciteiten van agenten holistisch te beoordelen:

• Protocol I (Navigatiebekwaamheid): Evalueert het vermogen van de agent om een doelpagina te bereiken op basis van enkel een gebruikers-taakbeschrijving.
• Protocol II (Kennis-ondersteunde Interactie): Beoordeelt de navigatieprestaties wanneer de agent wordt voorzien van gestructureerde operationele documentatie (het simuleren van het gebruik van externe kennisbanken).
• Protocol III (End-to-End Taakvoltooiing): Meet het vermogen om naar een pagina te navigeren en accuraat specifieke informatie (tekst, documenten, grafieken) te extraheren om de query te vervullen. Dit protocol vermijdt de valkuil dat het bereiken van een pagina gelijkgesteld wordt aan het succes van de taak.

Belangrijkste Resultaten

Uitgebreide experimenten zijn uitgevoerd op WebRetriever met state-of-the-art agenten (bijv. SeeAct, Browser-Use, UI-TARS-1.5, Agent-E, Claude-4.5, Gemini-2.5-Pro).

• Prestatieverschillen: Menselijke evaluatie laat zien dat huidige webagenten slecht presteren op WebRetriever vergeleken met bestaande benchmarks. Het gemiddelde door mensen beoordeelde succespercentage daalt aanzienlijk over de protocollen:
  • Protocol I: ~21,1%
  • Protocol II: ~29,2% (met operationele documentatie)
  • Protocol III: ~11,8% (end-to-end met extractie)
    Dit geeft aan dat navigatiesucces een onvoldoende voorspeller is voor real-world effectiviteit, met name wanneer informatieextractie vereist is.
• Impact van Operationele Kennis: Het verstrekken van operationele documentatie (Protocol II) verbetert de succespercentages met ongeveer 8-9%, wat aantoont dat agenten moeite hebben met onbekende websites zonder begeleiding.
• Evaluatiebetrouwbaarheid: NavEval bereikt een Human Agreement Rate (AR) van ~91,2%, wat aanzienlijk beter is dan bestaande geautomatiseerde methoden (die variëren van 55% tot 81%). Deze hoge overeenstemming blijft standhouden bij verschillende agenten en is gevalideerd op een externe benchmark (Online-Mind2Web), waar NavEval een AR van 97% behaalde.
• Ablatie-inzichten: De inclusie van regelgebaseerde filtering in NavEval verbetert de overeenstemming met ~3,4 procentpunten. Bovendien onthult de ablatie-studie op Protocol III dat zelfs wanneer agenten succesvol naar doelpagina's navigeren, hun vermogen om correcte informatie te extraheren onbetrouwbaar is, waarbij de succespercentages met bijna de helft dalen wanneer extractie vereist is.

Betekenis en Bijdragen

Het artikel claimt de volgende bijdragen aan het veld van web agent onderzoek:

1. Een Grootschalige Benchmark: WebRetriever biedt ongekende schaal, diversiteit en dekking, wat een meer representatieve beoordeling van webagenten in realistische online omgevingen mogelijk maakt.
2. Hoogprecisie Geautomatiseerde Evaluatie: NavEval biedt een schaalbare, betrouwbare evaluatiemethode die een bijna menselijke overeenstemming bereikt, waarmee de bottleneck van kostbare menselijke annotatie wordt aangepakt.
3. Omvattend Evaluatiekader: De drie voorgestelde protocollen maken onderscheid tussen navigatiesucces en de correctheid van het antwoord, en karakteriseren de betrouwbaarheid van gedrag onder kennisinjectie. Dit kader biedt diagnostische inzichten die ontbreken in eerdere benchmarks, en laat zien dat huidige agenten nog lang niet in staat zijn om betrouwbaar praktische, end-to-end webtaken af te handelen.

De auteurs concluderen dat WebRetriever een rigoureuze basis legt voor de verdere ontwikkeling van webagenten, en wijzen op de dringende behoefte aan benchmarks die de complexiteit van real-world deployment scenario's weerspiegelen.