💬 NLP

WorkSurface-Bench: Benchmarking Enterprise Agents on Multi-Surface Knowledge Routing

Dit artikel introduceert WorkSurface-Bench, een nieuwe benchmark bestaande uit 1.151 controleerbare taken die ontworpen zijn om het vermogen van enterprise-agents om queries te routeren over heterogene kennisoppervlakken (documenten, tabellen en grafieken) te evalueren, waarbij wordt onthuld dat hoewel agents een hoge routeringsnauwkeurigheid kunnen bereiken, de juiste selectie van het oppervlak alleen onvoldoende is voor hoge taakvolingspercentages.

Oorspronkelijke auteurs: Hao Liang, Meiyi Qiang, Sizhe Qiu, Linzhuang Sun, Wentao Zhang

Gepubliceerd 2026-07-29

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Hao Liang, Meiyi Qiang, Sizhe Qiu, Linzhuang Sun, Wentao Zhang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een superintelligente robotassistent inhuurt om je te helpen een druk kantoor te runnen. Je stelt de robot een ingewikkelde vraag, zoals: "Hoeveel hebben we vorige maand aan verzendkosten uitgegeven, en welke bestanden veroorzaken de vertragingen?" Om dit te beantwoorden, kan de robot niet gewoon gokken; de robot moet informatie opzoeken. Maar hier komt de crux: het kantoor heeft drie zeer verschillende soorten informatieplanken. Er is een Bibliotheek vol geschreven rapporten en PDF's (documenten), een Spreadsheet-kamer vol rijen getallen en berekeningen (tabellen), en een Kaartenkamer die laat zien hoe elk bestand met elk ander bestand verbonden is (grafen).

Lama tijd testten wetenschappers die robots vooral door te vragen: "Heb je het juiste antwoord gegeven?" Als de robot in de verkeerde kamer keek, het verkeerde boek koos of de berekening fout deed, zei de test simpelweg: "Fout." Maar dat vertelde ons niet waarom het fout ging. Wist de robot niet dat hij naar de Kaartenkamer moest gaan? Of ging de robot wel naar de Kaartenkamer en vond hij de juiste kaart, maar raakte hij in de war tijdens het lezen ervan? Dit artikel stapt in die kloof. Het introduceert een nieuwe manier om robots te testen door het proces van het kiezen van de juiste kamer te scheiden van het oplossen van de puzzel zodra men binnen is. Het vraagt zich af: kan de robot uitzoeken welk type kennis hij nodig heeft nog voordat hij begint met zoeken?

Het Nieuwe Spel: WorkSurface-Bench

De onderzoekers bouwden een nieuwe testomgeving genaamd WorkSurface-Bench. Zie dit als een enorme, realistische kantoorsimulatie met 1.151 verschillende taken. Ze stelden vijf verschillende "persona's" op (zoals een logistiek manager of een financieel analist) en gaven hen toegang tot drie verschillende oppervlakken: een documentbibliotheek, een tabeldatabase en een grafiek van bestandsrelaties.

De grote innovatie hier is hoe ze de robots beoordelen. In plaats van alleen een pass of fail te geven op het uiteindelijke antwoord, scoren ze twee aparte zaken:

Route: Koos de robot de juiste "oppervlakken" (Bibliotheek, Spreadsheet of Kaart)?
Antwoord: Heeft de robot het probleem daadwerkelijk correct opgelost nadat hij de juiste oppervlakken koos?

Ze creëerden een "gouden standaard" voor elk antwoord. Als een taak een wiskundige berekening vereist, draaiden ze de werkelijke code om het ware antwoord te krijgen. Als het lezen van een document vereiste, controleerden ze de exacte woorden in de bron. Als het een bestandsverbinding vereiste, volgden ze het werkelijke pad. Dit betekent dat het "correcte" antwoord niet zomaar een gok is van een andere AI; het is een geverifieerd feit.

De Grote Verrassing: Weten waar je moet kijken is niet genoeg

Het team testte vier van de slimste beschikbare AI-modellen (waaronder GPT-4o-mini, DeepSeek-V4-Pro, Gemini-3.1-Pro en GPT-5.5) in zes verschillende scenario's. Ze wilden zien of het de robots makkelijker maken door hen precies te vertellen naar welke kamer ze moeten gaan, en of dat hun fouten zou oplossen.

Dit is wat ze vonden, en het is een behoorlijke plotwending: Weten waar je moet kijken, garandeert niet dat je het antwoord vindt.

Wanneer de onderzoekers de robots dwongen om alleen de juiste oppervlakken te gebruiken (een "Gold-constrained" instelling), werden de robots bijna perfect in het kiezen van de juiste kamer. Hun "Route"-score steeg naar tussen de 98,7% en 99,8%. Ze wisten precies waar ze heen moesten.

Echter, hun "Antwoord"-score — de werkelijke juistheid van de uiteindelijke oplossing — bereikte slechts tussen de 56,1% en 75,3%.

Dit betekent dat zelfs wanneer de robot in de juiste kamer stond met de juiste kaart in de hand, hij het antwoord nog steeds vaker dan een kwart van de tijd fout had. De robot had misschien het juiste bestand gevonden, maar las de cijfers verkeerd, of combineerde informatie uit de spreadsheet en het document incorrect. Het papier laat zien dat "het juiste hulpmiddel kiezen" en "het hulpmiddel correct gebruiken" twee totaal verschillende vaardigheden zijn, en dat goed zijn in de één niet automatisch betekent dat je ook goed bent in de ander.

Hints versus Beperkingen

De onderzoekers speelden ook een leuk spelletje van "een hint geven" versus "afleidingen weghalen".

De Hint: Ze vertelden de robots: "Je moet naar de Spreadsheet en de Kaart kijken." Dit hielp de robots om de juiste oppervlakken beter te kiezen, en voor sommige modellen verbeterde het de uiteindelijke antwoorden ook lichtjes.
De Beperking: Vervolgens namen ze alle hulpmiddelen weg die de robots niet nodig hadden. Dit maakte de robots veel sneller en efficiënter, en ze kozen de juiste oppervlakken nog beter. Maar, verrassend genoeg, maakte dit de uiteindelijke antwoorden niet altijd beter. Sterker nog, voor sommige modellen maakte het weghalen van de extra hulpmiddelen hen zelfs iets slechter in het oplossen van het probleem, waarschijnlijk omdat ze het vermogen verloren om hun werk te controleren met een ander hulpmiddel.

Wat dit betekent voor de toekomst

Het artikel concludeert dat we niet meer alleen naar de eindscore van een AI-agent kunnen kijken. Als een AI een vraag fout beantwoordt, moeten we weten of het faalde omdat het niet wist waar het naar moest zoeken, of omdat het wel op de juiste plek keek maar niet in staat was om te verwerken wat het daar vond.

De auteurs maten dit over 27.624 verschillende pogingen van de robots, en ze zijn zeer zeker van deze cijfers omdat ze de resultaten hebben gecontroleerd met menselijke controleurs en strikte regels. Ze ontdekten dat hoewel de beste robots steeds beter worden in routeren (98%+), ze nog steeds worstelen met de laatste stap: het correct samenvoegen van de stukjes (rond de 56–75%).

Kortom, de toekomst van slimme kantoorrobots gaat niet alleen over het geven van betere kaarten van het kantoor; het gaat over het leren aan hen hoe ze de borden moeten lezen en de wiskunde moeten doen zodra ze aankomen. Het artikel biedt een nieuw, gedetailleerd scorebord om ontwikkelaars te helpen precies bij te houden waar hun robots struikelen, zodat ze het specifieke deel van de hersenen kunnen repareren dat kapot is, in plaats van alleen maar te hopen dat het geheel wel beter wordt.

Technische Samenvatting: WorkSurface-Bench

Probleemstelling

Enterprise-agenten worden frequent geconfronteerd met vragen die gelijktijdige toegang vereisen tot heterogene kennisvormen: narratieve feiten in documenten, berekeningen in tabellen en bestandrelaties in afhankelijkheidsgrafieken. Bestaande benchmarks evalueren doorgaans retrieval (RAG) of toolgebruik in isolatie, waardoor ze er niet in slagen onderscheid te maken tussen het vermogen van een agent om de juiste kennisrepresentatie te selecteren (surface routing) en het vermogen om correct te redeneren met die representatie. Bijgevolg confunden end-to-end nauwkeurigheidsscores deze verschillende capaciteiten, wat het moeilijk maakt om te diagnosticeren of een fout voortkomt uit het kiezen van de verkeerde bron, het ophalen van onvolledig bewijs, of het onjuist synthetiseren van het antwoord.

Methodologie

De auteurs introduceren WorkSurface-Bench, een benchmark die is ontworpen om surface routing te ontkoppelen van antwoordgeneratie. De methodologie bestaat uit drie kerncomponenten:

1. Constructie van de Benchmark

De benchmark is afgeleid van de Workspace-Bench-Lite corpus, geprojecteerd op drie canonieke, routeerbare oppervlakken (surfaces):

Document (RAG): 493 canonieke UTF-8 markdown-documenten.
Tabel: 207 DuckDB-views gegenereerd uit genormaliseerde CSV/XLSX-bladen.
Grafiek: 1.438 edges die bestandsliniage en afhankelijkheden vertegenwoordigen (bijv. bestand-afhankelijk-van-bestand).
Metadata: Standard Operating Procedures (SOPs) worden behouden als taakmetadata in plaats van een routeerbaar oppervlak.

De dataset bevat 1.151 atomaire taken verspreid over vijf persona-specifieke workspaces. Taken zijn gecategoriseerd op basis van vereiste surfaces: rag_only, table_only, graph_only, en cross_surface (vereist combinaties van de drie).

2. Verifieerbare Gouden Standaard

Om controleerbaarheid te garanderen, worden referentieantwoorden niet gegenereerd door modellen, maar afgeleid van deterministische executie:

Tabelantwoorden: Uitgevoerd via DuckDB-queries.
Documentantwoorden: Geverifieerd tegen letterlijke tekstsegmenten (verbatim spans) in bronbestanden.
Grafiekantwoorden: Afgeleid van bronafhankelijkheidsannotaties.
Een rigoureuze screeningpipeline bestaande uit deterministische controles, LLM-ondersteunde voorstellen (GPT-5.5) en onafhankelijke menselijke/LLM-audits (DeepSeek, Gemini) zorgt ervoor dat de uiteindelijke set geen protocolfouten bevat en voldoet aan strikte criteria voor beantwoordbaarheid en de noodzaak van een specifieke surface.

3. Scoring Protocol

Het evaluatiekader scoort vier afzonderlijke metrieken voor elke taak:

Route F1: Meet de precisie en recall van de geselecteerde set surfaces tegenover de gouden vereiste set.
Evidence (Bewijs): Meet het fractie van de vereiste artefacten (bestanden, views, nodes) die daadwerkelijk in de trace zijn geraadpleegd.
Answer (Antwoord): Evalueert de uiteindelijke correctheid met behulp van exact match, relatieve fouttolerantie of set F1, afhankelijk van het type antwoord.
Efficiency (Efficiëntie): Een continue score die het tokengebruik bestraft ten opzichte van een taakspecifiek budget.

Deze metrieken worden samengevoegd in één score met de volgende wegingen: Answer (35%), Evidence (30%), Route (25%) en Efficiency (10%).

Experimentele Opzet

De auteurs evalueerden vier backbone modellen (GPT-4o-mini, DeepSeek-V4-Pro, Gemini-3.1-Pro en GPT-5.5) onder zes agent-instellingen:

No-tool: Gesloten baseline zonder tools.
Always-RAG: Forceert een enkele documentzoekopdracht.
Naive-router: Selecteert vooraf exact één surface.
ReAct-all: Exposeert alle drie de surfaces, wat vrije interleaving mogelijk maakt.
Gold-constrained: De agent krijgt de vereiste surfaces, maar moet tools binnen deze surfaces selecteren.
Gold-hint/all: De agent krijgt de vereiste surfaces, maar alle tools blijven beschikbaar.

Belangrijkste Resultaten

De experimenten, die 27.624 behouden trajecten beslaan, leveren verschillende cruciale bevindingen op:

Routing $\neq$ Antwoord: Er is slechts een matige correlatie ( $\rho = 0,62$ ) tussen routingsucces en antwoordnauwkeurigheid. Zelfs wanneer agenten Gold-constrained zijn (gedwongen om de juiste surfaces te gebruiken) en een bijna perfecte Route F1 (98,7–99,8%) behalen, blijft hun Answer-nauwkeurigheid aanzienlijk lager (56,1–75,3%).
Bottlenecks na Routing: Hoge routingscores garanderen geen correcte uitvoering. Onder Gold-constrained instellingen falen agenten nog steeds bij het ophalen van bewijs (Evidence scores: 66,7–78,5%) en downstream berekening/synthese.
Impact van Hints versus Beperkingen:
- Het verstrekken van surface hints (S4 $\to$ S6) verbetert de Answer-nauwkeurigheid voor drie van de vier modellen, maar heeft een variabel effect op de routing.
- Het verwijderen van irrelevante tools (S6 $\to$ S5) verbetert de Route F1 en Efficiency aanzienlijk, maar verbetert de Answer-nauwkeurigheid niet uniform; in sommige gevallen verslechtert het de prestaties.
Surface-specifieke Prestaties: Prestaties variëren per type taak. Terwijl Table-only taken over het algemeen de hoogste scores opleveren (tot 91,0%), blijven Cross-surface taken de meest uitdagende, waarbij de scores 13,0–45,7 punten lager liggen dan de beste single-surface prestatie van een model.

Betekenis en Claims

Het artikel claimt dat WorkSurface-Bench de eerste workspace benchmark is die de surface routing apart scoort van de Answer-metriek. De primaire betekenis ligt in:

Diagnostische Helderheid: Door metrieken te scheiden, stelt de benchmark onderzoekers in staat om te pinpointen of een agent faalt bij selectie, retrieval of synthese, in plaats van alle fouten toe te schrijven aan een monolithische "intelligentie"-score.
Ontkoppeling van Vermogens: De resultaten laten zien dat weten waar te zoeken (routing) een andere capaciteit is dan weten hoe de gevonden informatie te gebruiken (answering).
Evaluatie-rigor: Het gebruik van uitvoerbare, controleerbare gouden antwoorden (SQL, spans, annotaties) elimineert de afhankelijkheid van door modellen gegenereerde referenties, wat een betrouwbaardere grondwaarheid biedt voor de evaluatie van enterprise-agenten.

De auteurs concluderen dat toekomstige agent-evaluaties de surface selectie apart moeten rapporteren en expliciet moeten testen of systemen in staat zijn om opgehaald bewijs om te zetten in correcte antwoorden, in plaats van enkel te vertrouwen op end-to-end nauwkeurigheid.