💬 NLP

OccuBench: Evaluating AI Agents on Real-World Professional Tasks via Language World Models

Dit paper introduceert OccuBench, een benchmark die AI-agenten evalueert op 100 real-world professionele taken via taalwereldmodellen, en onthult dat geen enkel model alle industrieën domineert, impliciete fouten het moeilijkst zijn, grotere modellen beter presteren, en dat de kwaliteit van de simulatie cruciaal is voor betrouwbare evaluaties.

Oorspronkelijke auteurs: Xiaomeng Hu, Yinger Zhang, Fei Huang, Jianhong Tu, Yang Su, Lianghao Deng, Yuxuan Liu, Yantao Liu, Dayiheng Liu, Tsung-Yi Ho

Gepubliceerd 2026-04-14

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Xiaomeng Hu, Yinger Zhang, Fei Huang, Jianhong Tu, Yang Su, Lianghao Deng, Yuxuan Liu, Yantao Liu, Dayiheng Liu, Tsung-Yi Ho

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

OCCUBENCH: De "Proefkeuken" voor AI-Agents in de echte wereld

Stel je voor dat je een nieuwe kok wilt aannemen voor je restaurant. Je hebt hem niet alleen getest op het koken van een simpele boterham (dat is wat de huidige tests doen), maar je wilt weten of hij ook een complex diner kan bereiden, of hij kan omgaan met een kapotte oven, en of hij een recept kan volgen terwijl de lichten uitvallen.

Dat is precies wat dit nieuwe onderzoek, OCCUBENCH, doet, maar dan voor AI-agents (slimme computerprogramma's die taken uitvoeren in plaats van alleen tekst schrijven).

Hier is een simpele uitleg van wat ze hebben gedaan, waarom het belangrijk is, en wat ze hebben ontdekt, vertaald naar alledaagse taal.

1. Het Probleem: De "Proefkeuken" bestond niet

Tot nu toe konden we AI's alleen testen in veilige, simpele omgevingen, zoals het bladeren door een website of het schrijven van code.

De realiteit: AI's moeten straks echte beroepen doen: een arts helpen bij het triageren van patiënten, een reactorbeveiliger zijn, of douaneformulieren verwerken.
Het probleem: Je kunt deze taken niet zomaar testen. Je kunt geen echte ziekenhuisafdeling of kerncentrale openstellen voor een computer om mee te spelen. Dat is te gevaarlijk of er is geen publieke toegang toe.
Het gevolg: We wisten niet of AI's deze zware beroepen echt aankunnen. Het was alsof je een piloot testte op een speelgoedvliegtuigje in een kamer, terwijl hij straks een passagiersvliegtuig moet vliegen.

2. De Oplossing: De "Toverkeuken" (Language World Models)

De onderzoekers hebben een slimme truc bedacht. In plaats van een echte omgeving te bouwen (wat te duur en moeilijk is), hebben ze een Toverkeuken gemaakt.

Hoe werkt het? Ze gebruiken een zeer slim AI-model (een "Language World Model") dat de rol van de omgeving speelt.
De analogie: Stel je voor dat je een rollenspel speelt. Jij bent de speler, en de AI is de Spelleider (de Dungeon Master). De Spelleider kent alle regels van de wereld. Als jij zegt: "Ik wil een kamer boeken", denkt de Spelleider na over de regels van het hotel en zegt: "Oké, kamer 205 is vol, maar 206 is vrij."
Het resultaat: Ze hebben zo 100 verschillende beroepsscenario's gemaakt, van "Brandweer-coördinator" tot "Visserij-manager". De AI die getest wordt, denkt dat hij in de echte wereld zit, maar hij is eigenlijk aan het spelen met een zeer slimme Spelleider.

3. De Test: Niet alleen slimmer, maar ook veerkrachtig

Ze hebben 15 van de slimste AI-modellen ter wereld getest in deze 100 beroepen. Ze keken naar twee dingen:

Kunnen ze de taak doen? (De "slimme kok" test).
Kunnen ze omgaan met rotzooi? (De "veerkracht" test).

In de echte wereld gaan dingen mis. Soms is de internetverbinding weg, soms ontbreken er gegevens, en soms geven systemen een vaag foutje zonder te zeggen wat er aan de hand is.

Heldere fouten (E1): De computer zegt: "Fout 500! Ik kan niet werken!" (Dit is makkelijk op te lossen: probeer het nog eens).
Stille fouten (E2): De computer geeft je een lijstje, maar mist halverwege de helft van de namen, zonder dat hij het zegt. Het ziet eruit alsof het klopt, maar het is onvolledig. Dit bleek de grootste uitdaging. De meeste AI's dachten: "Oké, dit is alles wat er is," en maakten een fout. Ze misten het signaal dat er iets mis was.

4. De Belangrijkste Ontdekkingen

Wat hebben ze geleerd van deze grote proef?

Geen enkele AI is de beste in alles:
Net als mensen hebben AI's verschillende talenten. Een model dat fantastisch is in wiskunde en wetenschap (zoals Gemini), kan juist moeite hebben met logistiek of transport. Een ander model (Claude) is geweldig in transport, maar minder goed in handel. Er is geen "super-AI" die alles perfect doet.
Stille fouten zijn gevaarlijker dan harde fouten:
AI's reageren goed als er een rode knop oplicht ("Fout!"). Maar als de data gewoon "minder goed" is zonder waarschuwing, haken ze vaak af of maken ze slordige fouten. Ze moeten leren om te zeggen: "Wacht even, dit voelt niet compleet."
Groter en slimmer is beter:
Net als bij mensen: een groter model (meer hersenen) en een model dat meer tijd neemt om na te denken ("redeneren"), doet het altijd beter. Hoe meer tijd je een AI geeft om na te denken, hoe beter hij de taak uitvoert.
De "Spelleider" moet ook slim zijn:
Dit was een verrassende ontdekking. Om een AI goed te testen, moet de "Spelleider" (de simulator) ook heel slim zijn. Als je een domme Spelleider gebruikt, kan het lijken alsof de AI faalt, terwijl de AI het juist goed deed en de Spelleider de regels verdraaide. Een sterke AI is niet per se een goede Spelleider.

Conclusie: Waarom is dit belangrijk?

Vroeger testten we AI's alsof ze in een zwembad met water zaten. Nu hebben we ze eindelijk in de "ruwe zee" gegooid, met golven, stormen en onvoorspelbaar weer.

OCCUBENCH laat zien dat we nog een lange weg te gaan hebben voordat AI's veilig en betrouwbaar complexe beroepen kunnen overnemen. Ze zijn slim, maar ze moeten nog leren omgaan met de onvolkomenheden van de echte wereld. En als we ze willen testen, moeten we zorgen dat onze testomgevingen net zo realistisch (en soms net zo onbetrouwbaar) zijn als de echte wereld.

Kortom: AI's zijn niet langer alleen maar chatbots; ze zijn nu echte werknemers in opleiding, en deze test is hun eerste sollicitatiegesprek voor een zwaar beroep.

1. Het Probleem

Huidige benchmarks voor AI-agenten zijn fundamenteel beperkt in hun dekking van professionele werkgebieden.

De "Onbeoordeelbare Meerderheid": De meest waardevolle toepassingen van AI-agenten (zoals triage in de spoedeisende hulp, nucleaire veiligheidsmonitoring, douane-afhandeling en fabrieksplanning) vinden plaats in domeinen waar geen publieke omgevingen of API's bestaan. Bestaande benchmarks (zoals WebArena, SWE-bench, TAU-bench) zijn beperkt tot domeinen met beschikbare testomgevingen (webbrowsing, code-repositories, desktop-operaties).
Schalingskosten: Het handmatig bouwen van simulaties of het integreren van echte API's voor elk nieuw professioneel domein is te duur en complex om op grote schaal te doen.
Gebrek aan Robuustheidstests: Bestaande benchmarks testen agenten voornamelijk op de "happy path" (zonder fouten). Ze beoordelen niet hoe agenten omgaan met realistische omgevingsfouten zoals time-outs, onvolledige data of stilte degradatie van diensten.

2. Methodologie: Language World Models (LWMs)

De auteurs introduceren OCCUBENCH, een benchmark die mogelijk wordt gemaakt door Language World Models (LWMs). In plaats van complexe engineering voor het bouwen van simulaties, gebruiken ze LLM's om de omgeving zelf te simuleren.

Formalisatie: Een LWM wordt gedefinieerd als een functie $(s_{t+1}, o_{t+1}) = f_\theta(s_t, a_t; c)$ , waarbij de LLM de toestand ( $s$ ) en observaties ( $o$ ) genereert op basis van agentacties ( $a$ ) en een configuratie ( $c$ ).
Configuratie: Elke omgeving wordt volledig gespecificeerd door vier componenten:
1. Systeemprompt: Definieert gedragsregels, simulatielogica en foutafhandeling.
2. Tool Schema: Definieert de actie-ruimte (aanroepbare functies met typen en voorbeelden).
3. Initiële Staat: Een gestructureerd JSON-object met startcondities.
4. Staatbeschrijving: Semantische annotaties om causale consistentie te waarborgen.
Multi-Agent Synthese Pipeline: Een geautomatiseerde pipeline (aangedreven door een LLM) genereert evaluatie-instanties die voldoen aan vier criteria: oplosbaarheid, verifieerbaarheid, discriminatievermogen (gekalibreerde moeilijkheid) en diversiteit. Er worden professionele referentiedocumenten gebruikt om de gegenereerde taken te grondvesten.

3. De OCCUBENCH Benchmark

OCCUBENCH is de eerste systematische evaluatie van AI-agenten op professionele taken in de echte wereld.

Schaal: 100 professionele taakscenario's verspreid over 10 industrie-categorieën en 65 gespecialiseerde domeinen (bijv. spoedeisende hulp, kernreactorbeveiliging, douane, landbouw).
Datasets: 382 oplosbare taakinstanties.
Evaluatie-dimensies:
1. Taakvoltooiing: Multi-stap besluitvorming over verschillende industrieën.
2. Omgevingsrobuustheid: Prestaties onder gecontroleerde foutinjectie:
  - E0 (Clean): Geen fouten.
  - E1 (Expliciete Fouten): Duidelijke fouten (HTTP 500, Timeouts). De agent weet dat het mislukt is.
  - E2 (Impliciete Fouten): Gedegradeerde responsen zonder foutmelding (afgeknipte data, ontbrekende velden). De agent moet de kwaliteitsproblemen zelf detecteren.
  - E3 (Gemengd): Een mix van expliciete en impliciete fouten.

4. Belangrijkste Resultaten

De auteurs evalueerden 15 toonaangevende modellen (8 families, waaronder GPT-5.2, Claude Opus 4.6, Gemini 3.1 Pro, Qwen 3.5 Plus) en vonden de volgende inzichten:

Geen Universele Dominantie: Geen enkel model domineert alle industrieën. Elk model heeft een uniek profiel van sterke en zwakke punten.
- Voorbeeld: Gemini 3.1 Pro excelleert in Onderwijs (84%) en Wetenschap (81%), maar presteert slecht in Zorg (62%). Claude Opus 4.6 is sterk in Vervoer (77%) maar zwak in Handel (53%).
Impliciete Fouten zijn het Moeilijkst: Impliciete fouten (E2) bleken moeilijker dan expliciete fouten (E1) of gemengde fouten (E3).
- Gemiddelde prestatie E0: 67.5% -> E1: 62.6% -> E2: 53.4%.
- Agenten missen vaak het vermogen om data-degradatie (zoals afgeknipte lijsten) te detecteren zonder een duidelijke foutmelding.
Schaling en Redenering:
- Grotere modellen presteren consequent beter dan kleinere varianten binnen dezelfde familie.
- Hogere "reasoning effort" (dieper nadenken) leidt tot betere prestaties. GPT-5.2 verbeterde met 27,5 punten bij het verhogen van de redeneerinspanning van minimaal naar maximaal.
Agent vs. Simulator: Een sterke agent is niet per se een sterke simulator. GPT-5.2 was de beste agent (79,6% voltooiing), maar leverde de slechtste simulatiekwaliteit op, wat leidde tot lage scores voor alle agenten die erop werden getest. Met een bekwaam simulator (zoals Gemini Flash) was de rangschikking tussen modellen echter zeer consistent (85,7% overeenkomst).

5. Bijdragen en Significantie

Systematische Dekking: OCCUBENCH vult de enorme evaluatiekloof voor professionele domeinen die tot nu toe "onbeoordeelbaar" waren vanwege het ontbreken van publieke omgevingen.
Nieuwe Evaluatieparadigma: Het introduceert een methode om omgevingsrobuustheid (vooral tegen impliciete fouten) systematisch te testen, wat cruciaal is voor de inzetbaarheid in de echte wereld.
Praktische Implicaties: De resultaten tonen aan dat organisaties modellen moeten selecteren op basis van hun specifieke industriële behoeften in plaats van alleen op algemene benchmark-ranglijsten.
Validatie van LWMs: Het paper bewijst dat LLM's als betrouwbare wereldmodellen kunnen fungeren voor evaluatie, mits de kwaliteit van de simulator wordt gevalideerd.

Kortom, OCCUBENCH biedt een robuust raamwerk om AI-agenten te testen op complexe, multi-stap professionele taken in realistische, foutgevoelige omgevingen, en onthult dat huidige agenten nog kwetsbaar zijn voor subtiele data-degradatie en dat er geen "one-size-fits-all" oplossing bestaat voor alle industrieën.