EnterpriseClawBench: Benchmarking Agents from Real Workplace Sessions
Dit artikel introduceert EnterpriseClawBench, een benchmark afgeleid van propriëtaire real-world enterprise agent-sessies die 852 reproduceerbare taken evalueert om aan te tonen dat huidige modellen beperkt succes bereiken (0,663) en dat toekomstige evaluaties een multidimensionaal kader moeten adopteren dat harness-model combinaties, artefactlevering, visuele kwaliteit, kosten, runtime en skill-transfer gedrag rapporteert in plaats van te vertrouwen op een enkele score.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een zeer slimme, nieuwe werknemer hebt die bestanden kan lezen, tools kan gebruiken en rapporten kan schrijven. Je wilt weten of ze ook echt goed zijn in hun werk.
De meeste eerdere tests voor AI-"werknemers" waren als het geven van een meerkeuzetoets in een stille klas. Er werd gevraagd om vragen te beantwoorden of code te schrijven in isolatie. Maar echt kantoorwerk is geen stille toets; het is een chaotische, lawaaierige omgeving waar je rommelige e-mails moet lezen, specifieke bijlagen moet openen, kapotte links moet repareren en een eindproduct (zoals een spreadsheet of een presentatie) moet leveren voor het einde van de dag.
Dit paper introduceert EnterpriseClawBench, een nieuwe manier om AI-agenten te testen op basis van echte, feitelijke werksessies van een bedrijf, in plaats van verzonnen oefentoetsen.
Hier is de uitsplitsing van wat ze hebben gedaan en gevonden, met eenvoudige analogieën:
1. De "Recyclingfabriek" voor Echt Werk
De onderzoekers begonnen met een enorm archief van duizenden echte werksessies van hun eigen bedrijf. Deze sessies waren rommelig: ze bevatten privéchats, kapotte bestandspaden en vage instructies.
Beschouw dit archief als een hoop ruw, onbewerkt erts. Het paper beschrijft een "constructie-pipeline" (een recyclingfabriek) die dit erts zuivert:
- De Filter: Ze gooiden taken weg die te kort waren, ontbrekende bestanden hadden of vertrouwden op links die kapot waren.
- De Vertaler: Ze namen complexe, rommelige gesprekken en herschreven deze naar duidelijke, "single-shot" instructies (zoals het omzetten van een warrige e-mailketen in een duidelijke "To-Do"-lijst).
- De Veiligheidscontrole: Ze zorgden ervoor dat elke taak opnieuw uitgevoerd kon worden zonder dat er geheime bedrijfswachtwoorden nodig waren.
Van 5.291 ruwe pogingen bleven er 852 hoogwaardige, reproduceerbare taken over. Ze creëerden ook een kleinere "Lite"-versie van 120 taken die door mensen handmatig werden gecontroleerd om de kwaliteit perfect te waarborgen.
2. De "Chauffeur en Auto" Test
Een belangrijke bevinding van dit paper is dat je de AI-modellen (de "motor") niet zomaar in een vacuüm kunt testen. Je moet de AI + het Software Framework (de "auto") samen testen.
- De Analogie: Stel je voor dat je een Ferrari-motor test. Als je die in een roestige, kapotte vrachtwagen plaatst, zal hij niet goed presteren. Als je hem in een gestroomlijnde sportwagen plaatst, vliegt hij vooruit.
- Het Resultaat: Het paper testte 32 verschillende combinaties van "Motoren" (zoals GPT-5.5, Sonnet 4.6) en "Auto's" (software frameworks zoals Claude Code, OpenClaw, Hermes).
- De Verrassing: Sommige krachtige motoren presteerden slecht wanneer ze gekoppeld werden aan het verkeerde framework. Zo daalde de score van een topmodel aanzienlijk wanneer het werd gebruikt met het "Hermes"-framework, omdat het framework het model blokkeerde van het uitvoeren van bepaalde noodzakelijke acties. Dit bewijst dat de software-wrapper net zo belangrijk is als de AI-hersenen.
3. Het "Rapportcijfer" is Meer dan Eén Cijfer
Op school krijg je één eindcijfer. In deze benchmark zeggen de onderzoekers dat dat niet genoeg is voor echt werk. Ze beoordelen de agenten op een multidimensionaal rapportcijfer:
- Hebben ze de klus geklaard? (Artifact delivery)
- Gingen ze snel genoeg? (Runtime)
- Kostte het te veel geld? (Cost)
- Is het bestand daadwerkelijk bruikbaar? (Visual quality)
- Begrepen ze de context? (Semantic quality)
De Realiteitscheck: Zelfs de beste combinatie (Codex met GPT-5.5) scoorde slechts 66,3%. Dit betekent dat zelfs onze slimste AI-agenten nog steeds moeite hebben met het perfect afhandelen van echte kantoortaken. Ze missen vaak details, vinden het juiste bestand niet, of produceren een rapport dat er goed uitziet maar de verkeerde cijfers bevat.
4. Het "Vaardigheidsoverdracht" Experiment
De onderzoekers wilden zien of een AI een vaardigheid kon "leren" van de ene taak en deze kan toepassen op een andere, vergelijkbare taak.
- Het Experiment: Ze namen een AI die geoefend had met het maken van "Frontend Webpagina's" en gaven het een nieuwe webpaginataak die het nog nooit had gezien.
- De "Leraar" vs. De "Student": Ze ontdekten dat de kwaliteit van de "vaardigheid" volledig afhing van wie het aanleerde.
- Als een sterke AI (zoals GPT-5.5) de vaardigheid destilleerde, werd de student-AI beter.
- Als een zwakkere AI probeerde de vaardigheid te onderwijzen, werd de student-AI zelfs slechter.
- De Les: Je kunt er niet vanuit gaan dat een AI een vaardigheid heeft "geleerd". De kwaliteit van het onderwijs is cruciaal, en soms maakt een slechte leraar een goede student juist kapot.
5. Het "Mens vs. Robot" Beoordelingsprobleem
Om deze taken te beoordelen, gebruikten ze AI-beoordelaars (robots die robots beoordelen).
- Teksttaken: De AI-beoordelaars waren vrij goed in het beoordelen van tekstrapporten en kwamen nauw overeen met menselijke beoordelaars.
- Visuele taken: Wanneer het ging om het beoordelen van spreadsheets, dia's of afbeeldingen, waren de AI-beoordelaars zeer onbetrouwbaar. Ze gaven vaak hoge scores aan slordige resultaten die mensen zouden afwijzen.
- De Conclusie: We zijn goed in testen of een AI een zin kan schrijven, maar we zijn nog steeds slecht in het testen of een AI een professioneel ogend zakelijk document kan maken.
Samenvatting
EnterpriseClawBench is een reality check voor de AI-industrie. Het zegt:
- Stop met het testen van AI in nep, schone omgevingen; test ze in rommelige, echte archieven.
- Het software framework dat je gebruikt is net zo belangrijk als het AI-model zelf.
- Huidige AI-agenten zijn nog niet klaar om menselijke werkers volledig te vervangen in complexe kantoorbanen; ze maken nog steeds te veel fouten om blind vertrouwd te worden met het eindproduct.
- We hebben betere manieren nodig om visuele outputs te beoordelen, niet alleen tekst.
Het paper concludeert dat hoewel AI beter wordt, de kloof tussen "chatten met een AI" en "betrouwbaar een bedrijfsafdeling runnen" nog steeds groot is.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.