Technische Samenvatting: Workspace-Bench 1.0

Probleemstelling

Huidige AI-agenten kampen met een aanzienlijke kloof tussen hun aangetoonde vaardigheden in geïsoleerde taken en hun prestaties in realistische werkomgevingen. Hoewel fundamentele modellen en agent-harnassen vooruitgang hebben geboekt op het gebied van tool-uitvoering en GUI-interactie, hebben ze moeite met Workspace Learning: het vermogen om expliciete en impliciete afhankelijkheden tussen heterogene bestanden binnen een complexe digitale werkruimte te identificeren, te redeneren en bij te werken.

Bestaande benchmarks falen in het adequaat simuleren van authentieke kantoorwerkstromen. Ze vertrouwen doorgaans op:

• Prompt-gedreven of Open-Source-gedreven paradigma's die de noodzaak om daadwerkelijke digitale bestanden te verwerken, omzeilen.
• Taak-bestand-gedreven benchmarks die voorverpakte, geïsoleerde bestanden leveren, waardoor agenten niet hoeven te zoeken, te filteren en informatie te ontdekken binnen een rommelige, hiërarchische directory-structuur.
• Workspace-relevante benchmarks die vaak diversiteit in persona's missen, minder dan 10 bestandsmodaliteiten bestrijken en inter-bestands synergieën behandelen als impliciete bijproducten in plaats van het expliciet evalueren van afhankelijkheidsidentificatie (bijv. semantische relaties, versielijnen).

Gevolg hiervan is dat er een dringende behoefte is aan een benchmark die agenten evalueert op grootschalige bestandsafhankelijkheden binnen realistische, heterogene werkruimtes.

Methodologie

Benchmark Constructie (Workspace-Bench)

De auteurs hebben Workspace-Bench geconstrueerd, een grootschalige benchmark ontworpen om realistische digitale werkruimtes en context-gegronde kantooropdrachten te simuleren.

1. Werkruimte Simulatie:

   • Persona's: Vijf distincte professionele rollen werden gedefinieerd: Operations Manager, Logistics Manager, AI Product Manager, Backend Developer en Researcher.
   • Schaal: De benchmark omvat 20.476 bestanden (tot 20GB totaal) verspreid over 74 distincte bestandstypes (waaronder .xlsx, .pdf, .md, .java, .yaml, .eml, etc.).
   • Structuur: Werkruimtes werden gegenereerd met behulp van een top-down, twee-traps pipeline:
     • Structuur Generatie: Agenten genereerden rol-specifieke directory-hiërarchieën met gecontroleerde structurele ruis (redundante mappen, ambiguie namen).
     • Content Invulling: Een hybride strategie combineerde semantisch-gedreven agent crawling van publieke bronnen (bijv. arXiv, GitHub) met door LLM's gegenereerde artefacten (e-mails, vergadernotities, rapporten) die gebaseerd waren op de opgehaalde data.
   • Complexiteit: Bestanden zijn diep genest (gemiddelde diepte 3,7, maximum 8) en bevatten historische versies om lijnvolging te testen.

2. Taak Curatie:

   • Bron: 388 taken werden gecureerd uit real-world workflows (gehaald bij Lark/ByteDance) en handmatig geannoteerd door domeinexperts.
   • Afhankelijkheidsgrafieken: Elke taak is gekoppeld aan een ground-truth bestandsafhankelijkheidsgraaf die de minimale set essentiële bestandspaden en hun relaties specificeert (semantisch, aggregatief, lijnvolgend).
   • Moeilijkheidsniveaus: Taken worden gecategoriseerd in Gemakkelijk (14%), Middel (53%) en Moeilijk (33%) op basis van de complexiteit van vereiste vaardigheden (bijv. werkruimte-exploratie, lijnvolging, begrip van heterogene bestanden).
   • Evaluatie Rubrieken: In totaal werden 7.399 fijnmazige rubrieken (gemiddeld 19,1 per taak) ontworpen om niet alleen de correctheid van de uiteindelijke output te evalueren, maar ook tussenstappen, gebruik van bestandsversies en naleving van afhankelijkheden.

3. Evaluatie Framework:

   • Agent-as-a-Judge: Een aanvullende agent evalueert de uitvoeringstrajecten tegen rubrieken en afhankelijkheidsgrafieken.
   • Parallelle Versnelling: Een dubbel parallel mechanisme (werkruimteniveau en taa-niveau) met behulp van sandbox-pools voor grootschalige evaluatie.
   • Metrics: Rubrieken Pass Rate, Taak Voltooiingspercentage (TCR@p), Herkenningspercentage Afhankelijkheidsgraaf (Node/Edge F1), Token Verbruik en Interactie Ronden.
   • Workspace-Bench-Lite: Een subset van 100 taken die de distributiegetrouwheid behoudt voor snelle evaluatie, met een kostenreductie van ongeveer 70%.

Experimentele Opstelling

De auteurs evalueerden 28 configuraties die 4 agent-harnassen (OpenClaw, ClaudeCode, DeepAgent, Hermes) combineerden met 7 fundamentele modellen (waaronder Opus-4.7, GLM-5.1, GPT-5.4, Kimi-2.5, etc.). Menselijke experts werden ook geëvalueerd met een "Mens + Tools" baseline.

Belangrijkste Resultaten

1. Prestatiekloof: Huidige agenten zijn verre van betrouwbaar in workspace learning.

   • Het gemiddelde Rubrieken Pass Rate over alle configuraties is 47,4%.
   • De best presterende configuratie (OpenClaw + Opus-4.7) behaalt 68,7%.
   • Menselijke experts behalen 80,7%, wat een aanzienlijke kloof tussen autonome agenten en menselijke capaciteiten benadrukt.

2. Moeilijkheidsdegradatie: Prestaties dalen consistent naarmate taakcomplexiteit toeneemt:

   • Gemakkelijke Taken: 57,6%
   • Middelzware Taken: 49,2%
   • Moeilijke Taken: 40,5%

3. Vermogensknelpunten:

   • Begrip van Heterogene Bestanden en Lijnvolging zijn de primaire knelpunten, waarbij agenten significant slechter presteren op deze dimensies vergeleken met Werkruimte-Exploratie.
   • Afhankelijkheidsherkenning: Agenten hebben moeite om inter-bestands afhankelijkheden af te leiden (Edge F1-scores zijn universeel laag); ze identificeren vaak relevante bestanden (Node F1) maar falen in het begrijpen van hun relaties.

4. Efficiëntie versus Nauwkeurigheid:

   • Hoge interactieronden en tokenverbruik garanderen geen betere prestaties. Sommige configuraties (bijv. DeepAgent + MiniMax-M2.7) lijden onder "kostenexplosies" (tot 58,1 ronden, 0,61M tokens) met lage succespercentages (~45%).
   • Top-tier configuraties (bijv. OpenClaw + Opus-4.7) tonen hoge inferentie-efficiëntie, met >65% nauwkeurigheid bij <20 ronden.

5. Foutanalyse: Het merendeel van de mislukkingen vloeit voort uit Ontbrekende Content en Redeneerfouten (onjuiste aggregatie, statistieken of associatie), in plaats van format- of procesfouten.

6. Harnas Impact: Hoewel de capaciteit van het fundamentele model de primaire drijver is, heeft het harnasframework een aanzienlijke impact op de prestaties, met name voor zwakkere modellen. Bijvoorbeeld, DeepAgent + GLM-5.1 toont unieke stabiliteit over moeilijkheidsniveaus heen, terwijl Hermes uitblinkt in open-domein semantische interacties voor Product Manager persona's.

Betekenis en Bijdragen

Het artikel claimt de volgende bijdragen:

1. Workspace-Bench Benchmark: Een nieuwe benchmark die evaluatie verschuift van atomaire vaardigheden naar redeneren over complexe werkruimtestructuren. Het introduceert realistische, grootschalige, heterogene bestands ecosystemen met expliciete afhankelijkheidsannotaties, en adresseert het gebrek aan "werkruimteniveau" evaluatie in bestaande literatuur.
2. Evaluatie Framework: Een werkruimte-gegronde framework met dubbele parallelle versnelling en een Agent-as-a-Judge paradigma, wat fijnmazige beoordeling mogelijk maakt van meer dan 7.000 rubrieken die uiteindelijke correctheid, intermediair redeneren en operationele efficiëntie bestrijken.
3. Empirische Inzichten: Een uitgebreide evaluatie die aantoont dat state-of-the-art agenten aanzienlijk worstelen met afhankelijkheidsbewuste taken. Het artikel identificeert specifieke knelpunten (begrip van heterogene bestanden, lijnvolging) en de "Data Associatie Kloof" tussen huidige geïsoleerde-bestands verwerkingsparadigma's en de eisen van real-world werkruimtes.
4. Theoretisch Framework: Het voorstellen van Vijf Stadia van Workspace Learning (van Data-Insensitive Executie tot Workspace-Native Zelf-ontwikkeling). Dit framework karakteriseert de evolutie van agentcapaciteiten en identificeert kritieke overgangspunten, zoals de "Orchestration Singularity" (waar harnassen belangrijker worden dan LLM's) en de "Capability Singularity" (autonome end-to-end taakverwerking).

De auteurs concluderen dat hoewel fundamentele modellen indrukwekkende vooruitgang hebben geboekt, er een fundamentele en onderbelichte knelpunt bestaat in het creëren van echt betrouwbare productiviteitsagenten die in staat zijn de complexe, relationele structuren van real-world digitale werkruimtes te navigeren. Toekomstig werk moet zich richten op het herdenken van hoe agent-harnassen cross-file afhankelijkheden ontdekken, representeren en benutten.