🤖 AI

SaaS-Bench: Can Computer-Use Agents Leverage Real-World SaaS to Solve Professional Workflows?

Het artikel introduceert SaaS-Bench, een uitgebreide benchmark die bestaat uit 106 realistische taken over 23 professionele SaaS-systemen, en waaruit blijkt dat huidige computergebruikende agenten aanzienlijk moeite hebben met complexe workflows met een lange horizon, met een succespercentage van minder dan 4% van begin tot eind als gevolg van beperkingen in planning, statusvolging en foutherstel.

Oorspronkelijke auteurs: Kean Shi, Zihang Li, Tianyi Ma, Zengji Tu, Jialong Wu, Xinbo Xu, Qingyao Yang, Ruoyu Wu, Weichu Xie, Ming Wu, Jason Zeng, Michael Heinrich, Elvis Zhang, Liang Chen, Kuan Li, Baobao Chang

Gepubliceerd 2026-05-18

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Kean Shi, Zihang Li, Tianyi Ma, Zengji Tu, Jialong Wu, Xinbo Xu, Qingyao Yang, Ruoyu Wu, Weichu Xie, Ming Wu, Jason Zeng, Michael Heinrich, Elvis Zhang, Liang Chen, Kuan Li, Baobao Chang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een nieuwe assistent inhuurt om je meest complexe werkdag te beheren. Je wilt niet alleen dat ze e-mails beantwoorden; je wilt dat ze inloggen op je bank, je projectmanagementsoftware, je medische dossiers en je ontwerptools om het werk daadwerkelijk te doen.

Dit artikel introduceert een nieuwe "eindexamen" genaamd SaaS-Bench om te testen hoe goed AI-assistenten (zogenaamde Computer-Using Agents) werkelijk zijn in dit soort echte banen.

Hier is de uiteenzetting van wat ze deden en wat ze vonden, met behulp van eenvoudige analogieën.

1. Het Probleem: De "Videospellen" vs. De "Echte Baan"

Tot nu toe waren de meeste tests voor AI-assistenten als het spelen van een videospel. De levels waren kort, de regels waren simpel, en als je vastliep, resette het spel gewoon.

De Oude Manier: "Klik op de rode knop, typ dan 'Hallo'." (Eenvoudig, kort, geïsoleerd).
De Echte Wereld: "Ga naar het HR-systeem om een werknemer te ontslaan, ga dan naar het boekhoudsysteem om hun laatste loonstrook te berekenen, ga dan naar de CRM om hun klanten opnieuw toe te wijzen, en zorg ervoor dat de data perfect overeenkomen." (Moeilijk, lang, rommelig).

De auteurs realiseerden zich dat het slagen voor de "videospelletjes"-tests niet betekende dat een AI een echte baan kon aan. Dus bouwden ze een nieuwe test op basis van 23 echte, inzetbare softwaresystemen (zoals echte medische dossiersystemen, boekhoudtools en projectmanagers) die professionals daadwerkelijk gebruiken.

2. Het Examen: SaaS-Bench

Zie SaaS-Bench als een enorm meerdaags obstakelbaan.

De Baan: Het bevat 106 verschillende taken verspreid over zes verschillende "wijken" van werk (zoals Gezondheidszorg, Financiën en Software Engineering).
De Regels: De AI moet deze systemen navigeren met een webbrowser, net zoals een mens dat zou doen. Het kan niet valsspelen door in de databasecode te kijken; het moet op knoppen klikken en schermen lezen.
De Moeilijkheidsgraad: Dit zijn geen taken van 5 minuten. De gemiddelde taak duurt meer dan 100 stappen (klikken, typen en scrollen). Het is alsof je iemand vraagt om een cake te bakken, een recept ervoor te schrijven, het recept naar een vriend te mailen en vervolgens de bon voor de bloem in te dienen, allemaal in één keer.

3. De Resultaten: De AI Raakte Verdwaald

De onderzoekers testten de slimste beschikbare AI-modellen (zoals de "topstudenten" van de AI-wereld) op dit examen. De resultaten waren nuchter:

De Score: Zelfs het beste AI-model voltooide minder dan 4% van de taken volledig van begin tot eind.
De "Bijna"-Valstrik: De AI was eigenlijk goed in het begin van de taken. Het kon 80% van de weg afleggen. Het kon het eerste formulier invullen, op de juiste knoppen klikken en het eerste document maken.
De Crash: Maar dan maakte het een klein foutje (zoals het verkeerde datum invoeren), merkte het de fout niet op, en ging dan verder op het verkeerde pad. Tegen de tijd dat het bij het einde aankwam, was het hele resultaat verkeerd.

De Analogie: Stel je een GPS voor die geweldig is in het zeggen van "sla linksaf" en "rij 5 mijl". Maar als je per ongeluk een afslag mist, zegt de GPS niet: "Je bent verdwaald, laten we opnieuw berekenen." In plaats daarvan zegt het zelfverzekerd dat je nog 50 mijl rechtdoor moet rijden totdat je benzine op is. De AI is zelfverzekerd, maar vaak verkeerd.

4. Waarom Mislukten Ze? (De Vier Grote Hindernissen)

Het artikel identificeert vier hoofdredenen waarom de AI worstelde, met behulp van enkele geweldige metaforen:

Het "Kaartenhuis"-Effect (Fragiliteit): Bij deze lange taken hangt elke stap af van de vorige. Als je stap 10 verpest, zijn stap 11 tot en met 100 verpest. De AI is zo goed in stap 10 dat het denkt het geweldig doet, maar die ene kleine fout doet de hele structuur instorten.
Het "Stille Vergif" (Fouten die zich opstapelen): Soms maakt de AI een fout die er aan de oppervlakte correct uitziet.
- Voorbeeld: De AI maakt een klant genaamd "Elena" in plaats van "Arcturus Digital". Het scherm toont "Elena (Arcturus)", dus denkt de AI: "Geweldig, ik heb het gedaan!" Maar omdat de naam technisch gezien verkeerd is, wordt elke daaropvolgende financiële transactie aan de verkeerde persoon gekoppeld. De AI beseft nooit dat het de bron heeft vergiftigd.
De "Zelfzekere Leugenaar" (Zelfbedrog): De AI heeft een "geheugen" waarin het zichzelf vertelt wat het heeft gedaan. Soms ziet het een fout, probeert het die te herstellen, maar vergeet dan te controleren of de oplossing werkte. Het schrijft vervolgens een rapport met de tekst: "Ik heb het opgelost!" terwijl het scherm nog steeds de fout toont. Het is als een student die beseft dat een rekenfout heeft gemaakt, probeert het weg te wissen, maar vervolgens het antwoord toch opschrijft en zegt: "Ik ben klaar."
Het "Muntworp"-Principe (Onbetrouwbaarheid): Als je dezelfde AI drie keer dezelfde taak laat uitvoeren, kan het een perfecte score behalen bij de eerste poging, volledig falen bij de tweede en het redelijk doen bij de derde. Het is niet consistent. Dit betekent dat je niet kunt vertrouwen dat het vandaag een baan betrouwbaar uitvoert, zelfs als het het gisteren wel deed.

5. De Conclusie

Het artikel vraagt: "Kunnen AI-agenten echte software gebruiken om professioneel werk op te lossen?"

Het antwoord is: Nog niet.

Hoewel deze AI-modellen ongelooflijk slim zijn in het praten en begrijpen van taal, zijn ze momenteel verschrikkelijk slecht in lange, complexe, echte uitvoering. Ze raken verdwaald in de details, ze controleren hun werk niet dubbel, en ze kunnen zich niet herstellen wanneer ze een fout maken.

De auteurs bouwden deze test (SaaS-Bench) niet om te zeggen dat AI nutteloos is, maar om ons precies te laten zien waar het misgaat zodat we het kunnen repareren. Totdat de AI een workflow van 100 stappen kan hanteren zonder verward te raken of zelfverzekerd te zijn over het verkeerde antwoord, is het niet klaar om je professionele baan over te nemen.

Technische Samenvatting: SaaS-Bench

Probleemstelling

Computer-Using Agents (CUA's) zijn geëvolueerd van passieve tekstgeneratoren naar actieve uitvoerders die in staat zijn om te interageren met grafische gebruikersinterfaces (GUI's) en webbrowsers. Echter, bestaande benchmarks voor het evalueren van deze agents lijden onder drie kritieke beperkingen die leiden tot een systematische overschatting van hun real-world capaciteiten:

Beperkte Toepassingcomplexiteit: Veel benchmarks vertrouwen op vereenvoudigde, statische of synthetische webomgevingen die de volledige frontend-backend logica, dynamische staat-afhankelijkheden en zakelijke beperkingen van productiesoftware missen.
Geïsoleerde Werkstromen: Taken zijn vaak beperkt tot enkele applicaties met korte horizon, waardoor ze de coördinatie tussen applicaties, domeinspecifieke kennis en gestructureerde meerstapsprocessen die inherent zijn aan professioneel werk, niet vastleggen.
Korte-Horizon Afhankelijkheden: Bestaande taken vereisen zelden de uitgebreide interactie-sequenties (vaak meer dan 100 stappen) die nodig zijn om de plannings-, staat-tracking- en foutherstelcapaciteiten van een agent in de loop van de tijd te testen.

Bijgevolg ontbreekt het aan rigoureuze evaluatiekaders om te bepalen of CUA's effectief kunnen opereren in realistische, hoogwaardige Software-as-a-Service (SaaS) omgevingen.

Methodologie

Constructie van de Benchmark (SaaS-Bench)

De auteurs introduceren SaaS-Bench, een benchmark ontworpen om CUA's te evalueren in realistische, inzetbare SaaS-omgevingen. Het constructieproces voldoet aan drie kernprincipes:

Realistische en Inzetbare Omgevingen:
- De benchmark is gebaseerd op 23 echte, open-source SaaS-systemen (bijv. OpenEMR, OnlyOffice, BigCapital) in plaats van speelgoedwebsites.
- Deze systemen zijn gecontaineriseerd via Docker, wat volledige frontend-backend logica, persistente database-staten en gebruikersauthenticatie garandeert.
- Omgevingen worden voor elke taak gereset naar vooraf gedefinieerde beginstaten om reproduceerbaarheid te waarborgen en staatverontreiniging te voorkomen.
- Data wordt semantisch gevuld met een combinatie van door LLM gegenereerde realistische data en geïmporteerde open-source datasets om een betekenisvolle zakelijke context te waarborgen.
Professionele, Cross-Application en Multimodale Werkstromen:
- Taken zijn georganiseerd over zes professionele domeinen: Software Engineering, Bedrijfsvoering, Gezondheidszorgadministratie, Teamcollaboratie, Landbouw en Mediavormgeving.
- De benchmark omvat 106 taken die zijn gebaseerd op real-world werkstromen.
- 93,4% van de taken omvat ten minste twee applicaties, waarbij 50% coördinatie vereist over drie applicaties.
- De set bevat 74 tekst-only taken en 32 multimodale taken (betreffende afbeeldingen, documenten of media), voornamelijk in de Landbouw- en Mediadomeinen.
Uitvoering met Lange Horizon:
- Taken zijn ontworpen met een gemiddelde van meer dan 100 interactiestappen.
- Een vierstaps-pijplijn (Taak Seed $\rightarrow$ Syntheselus $\rightarrow$ Static Check $\rightarrow$ Uitvoeringscheck) zorgt ervoor dat taken professioneel, uitvoerbaar en verifieerbaar zijn. Dit omvat een iteratieve "Builder-Challenger-Refiner"-lus waarbij LLM's kandidaten genereren en menselijke experts ze beoordelen op ambiguïteit, volledigheid en verifieerbaarheid.

Evaluatieprotocol

Uitvoeringskader: Agents interageren uitsluitend via browser-gebaseerde UI-operaties (navigeren, klikken, typen) met behulp van het browser-use-kader. Directe toegang tot databases, API's of bestandsystemen is verboden.
Verificatie: Elke taak wordt ontbonden in gewogen verificatiecheckpoints. Drie verificatiemethoden worden toegepast:
- State-Check: Verifieert objectieve systeemstaten (DB-records, API-responsen).
- Content-Check: Valideert tekstuele output via stringmatching.
- LLM-Judge: Evalueert open-eindige output zoals rapportkwaliteit.
Metrieken:
- Resolved Score: Binair (1 of 0); 1 alleen als alle checkpoints slagen.
- Checkpoint Score: Een gewogen deelscore die voortgang weerspiegelt, waardoor de meting van tussentijdse successen in taken met lange horizon mogelijk is.

Belangrijkste Resultaten

Prestatieoverzicht

Experimenten zijn uitgevoerd op zeven frontier-modellen (waaronder Claude Opus 4.6, GPT-5.4 High, Qwen 3.6 Plus en anderen). De resultaten geven aan dat huidige agents significant worstelen in realistische SaaS-werkstromen:

Lage End-to-End Voltooiing: Zelfs het sterkste model, Claude Opus 4.6, behaalde een Resolved Score van slechts 1,9% (minder dan 4% van de taken voltooid end-to-end).
Checkpoint Scores: De algehele Checkpoint Score voor het beste model was 43,2%, wat aangeeft dat agents vaak tussentijdse stappen kunnen voltooien, maar falen in het behouden van coherentie om de volledige werkstroom te voltooien.
Domeinvariatie: De prestaties varieerden per domein, waarbij "Teamwork"-taken over het algemeen makkelijker waren dan "Business"- en "Gezondheidszorg"-taken, die strengere numerieke beperkingen en domeinspecifieke procedures vereisen.

Analyse van Falingsmodi

Het paper identificeert vier fundamentele falingsmodi die de lage resolved scores verklaren:

Fragiliteit van Lange-Horizon Voltooiing: Vanwege het multiplicatieve karakter van succesprobabiliteiten ( $p^N$ ), resulteert zelfs een hoge nauwkeurigheid per checkpoint (bijv. 95%) in bijna nul resolved scores voor taken met 10–20 checkpoints.
Foutcascadering in Cross-Application Werkstromen: Een enkele semantische fout (bijv. het verkeerd classificeren van een klant als "individueel" in plaats van "bedrijf") kan stilzwijgend door een afhankelijkheidsketen propageren, waardoor downstream checks falen zelfs als de agent denkt dat de taak voltooid is.
Onbetrouwbare Zelfverificatie: Agents falen vaak om hun acties na correcties opnieuw te verifiëren. Ze kunnen een fout herkennen, een poging tot fix doen, en vervolgens doorgaan naar de volgende subtaak zonder te bevestigen dat de fix succesvol was, wat leidt tot "stilzwijgende" falen.
Hoge Run-tot-Run Variatie: Prestaties zijn zeer instabiel. Hetzelfde model kan in één run een score van 0,80 behalen en in een andere run 0,10 op dezelfde taak. Dit suggereert dat huidige evaluaties die vertrouwen op single-run metrieken (pass@1) misleidend zijn; pass@k-metrieken onthullen dat agents af en toe een succesvolle traject kunnen vinden, maar consistentie blijft een grote uitdaging.

Betekenis en Claims

Het paper claimt dat SaaS-Bench de eerste rigoureuze, realistische testomgeving biedt voor het evalueren van CUA's in professionele, cross-application, lange-horizon settings. De betekenis hiervan ligt in:

Blootleggen van Capaciteitskloven: Het toont aan dat ondanks vooruitgang in LLM's, huidige agents nog niet in staat zijn om professionele werkstromen in real-world SaaS-omgevingen betrouwbaar op te lossen, waarbij minder dan 4% van de taken end-to-end wordt voltooid.
Herscheppen van Evaluatiestandaarden: Het pleit ervoor dat korte-horizon, single-application benchmarks ontoereikend zijn. Het vakgebied moet verschuiven naar het evalueren van agents op hun vermogen om staat te behouden, te herstellen van fouten en te coördineren over meerdere systemen gedurende lange sequenties.
Identificeren van Structurele Beperkingen: De resultaten benadrukken dat de primaire knelpunten niet alleen kennisretrieval zijn, maar planning, staat-tracking en foutherstel. Het paper suggereert dat huidige agent-architecturen de gesloten-lus verificatiemechanismen missen die nodig zijn om de fragiliteit van taken met lange horizon het hoofd te bieden.

De auteurs concluderen dat hoewel SaaS-Bench significante beperkingen blootlegt, het dient als een noodzakelijke basis voor toekomstig onderzoek naar betrouwbaardere en praktisch inzetbare Computer-Using Agents.