CEO-Bench: Can Agents Play the Long Game?
Het artikel introduceert CEO-Bench, een nieuwe benchmark die het vermogen van taalmodel-agenten evalueert om langlopende, onzekere en ruisgevoelige zakelijke uitdagingen uit de echte wereld te navigeren door de operatie van een startup gedurende 500 dagen te simuleren, wat onthult dat zelfs de meest geavanceerde modellen moeite hebben om consistent winstgevendheid te bereiken.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een briljante, hyperintelligente robot inhuurt om een startup te runnen. Je geeft het een miljoen dollar, een laptop en een set hulpmiddelen om alles te beheren, van prijsstelling en marketing tot onderzoek en klantenservice. Je doel? Het bedrijf 500 dagen lang in leven en winstgevend houden.
Dit is precies wat het papier CEO-BENCH test. De onderzoekers creëerden een realistische, videogame-achtige simulatie van een startup genaamd "NovaMind" om te zien of de meest geavanceerde AI-agenten van vandaag de lange, rommelige en onzekere baan van een CEO kunnen aan.
Hier is de uitsplitsing van wat ze hebben gedaan en wat ze hebben gevonden, met behulp van eenvoudige analogieën:
1. Het spel: Een marathon van 500 dagen
De meeste eerdere tests voor AI waren als sprintwedstrijden. Ze vroegen de AI om één specifieke taak snel uit te voeren, zoals "fix deze kapotte code" of "schrijf een e-mail". De AI krijgt een duidelijk doel, handelt en krijgt direct feedback.
CEO-BENCH is een marathon in een mistig bos.
- De Mist: De AI kan niet alles zien. Het weet niet precies hoe tevreden klanten zijn of wat de concurrenten van plan zijn. Het moet gissen op basis van aanwijzingen (zoals klachten op sociale media of verkoopgegevens).
- Het Mistige Pad: Beslissingen doen er lang over om rendement te opleveren. Als je vandaag geld uitgeeft aan onderzoek, zie je misschien pas weken later een beter product. Als je de prijzen verlaagt, krijg je nu misschien meer klanten, maar verlies je later geld.
- Het Bewegende Doelwit: Het bos verandert. Concurrenten worden slimmer, de economie verschuift en de smaak van klanten verandert. De AI moet zijn kaart blijven aanpassen terwijl hij rent.
2. De Tools: Een Zwitsers zakmes
De AI praat niet alleen; het moet ook doen. Het opereert via een computeterminal waar het kan:
- Code schrijven om enorme spreadsheets te analyseren (SQL-databases).
- Prijzen instellen voor verschillende producten.
- Advertentieruimte kopen.
- Onderhandelingen voeren over deals met grote zakelijke klanten.
- Berichten plaatsen op sociale media om de reputatie te herstellen.
Denk eraan als het geven van een vliegtuig aan een piloot met 34 verschillende controles. De AI moet uitzoeken welke hendels hij moet overhalen, wanneer hij ze moet overhalen en hoe ze elkaar allemaal beïnvloeden.
3. De Resultaten: De meeste AI's crashten
De onderzoekers draaiden deze simulatie met de slimste AI-modellen ter wereld (zoals GPT-5.5, Claude Opus en anderen). De resultaten waren sober:
- Het "Faillissement"-percentage: De meeste AI-agenten raakten hun geld kwijt en gingen failliet voordat de 500 dagen voorbij waren. Ze waren als bestuurders die de gaspedaal bleven indrukken zonder naar de brandstofmeter te kijken.
- De Overlevers: Slechts twee modellen, Claude Opus 4.8 en GPT-5.5, slaagden erin de race te voltooien met meer geld dan ze begonnen.
- De Realiteitscheck: Zelfs de winnaars werden niet rijk. Ze eindigden met ongeveer $20–27 miljoen, maar de onderzoekers berekenden dat een perfecte strategie meer dan $2 miljard had kunnen verdienen. Dit betekent dat zelfs de beste AI's nog steeds de "geheime saus" van echte bedrijfsstrategie missen.
4. Hoe de winnaars het deden
Het papier keek nauwgezet naar hoe de winnende AI's dachten. Ze vonden drie belangrijke verschillen tussen de winnaars en de verliezers:
- Ze waren detectives: In plaats van te gokken, schreven de winnaars code om door de data te graven. Ze bekeken eerdere onderhandelingsverslagen om te achterhalen wat klanten bereid waren te betalen, ook al werd dit niet direct aan de AI verteld.
- Ze waren waarzeggers: De winnaars draaiden hun eigen "mini-simulaties" in hun hoofd. Voordat ze een grote zet deden, schreven ze code om te vragen: "Als ik X doe, wat gebeurt er dan over 4 weken?" Dit hielp hen om vallen te vermijden.
- Ze waren aanpasbaar: Wanneer de "concurrent" in het spel sterker werd, merkten de winnaars dit snel op en pasten ze hun strategie aan. De verliezers bleven hetzelfde doen totdat ze crashten.
5. De "Regelgebaseerde" Baseline
Interessant genoeg testten de onderzoekers ook een simpel, dom computerprogramma dat basisregels volgde (zoals "houd prijzen altijd op $10"). Dit simpele programma verdiende $15 miljoen.
- De Les: De beste AI-modellen versloegen een simpel, dom regelvolgend script nauwelijks. Dit laat zien dat hoewel AI erg goed is in het opvolgen van instructies, het nog steeds moeite heeft met het complexe, langetermijndenken dat nodig is om een echt bedrijf te runnen.
De Kernboodschap
CEO-BENCH is een wake-up call. Het laat zien dat hoewel AI-agenten heel goed worden in kortetermijntaken (zoals het corrigeren van een enkele typefout), ze nog steeds erg slecht zijn in langetermijnstrategie (zoals het sturen van een bedrijf door een 500-daagse storm).
Het papier concludeert dat om echt nuttige AI te bouwen, we verder moeten gaan dan testen of ze "een taak kunnen uitvoeren" en moeten beginnen met testen of ze "het lange spel kunnen spelen" in een wereld die ruisig, veranderlijk en vol verborgen verrassingen is.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.