: Benchmarking AI Agents for Long-Term Planning and Consistent Execution
Dit paper introduceert YC-Bench, een open-source benchmark die AI-agenten evalueert op hun vermogen tot langetermijnplanning en consistente uitvoering door hen een gesimuleerd startup-jaar te laten leiden, waarbij blijkt dat slechts een beperkt aantal modellen succesvol winstgevend is en dat het gebruik van een 'scratchpad' de belangrijkste succesfactor is.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een virtueel bedrijf runt, alsof je de CEO bent van een start-up. Je hebt een startkapitaal van $200.000 en je doel is simpel: aan het einde van het jaar zoveel mogelijk geld overhouden.
Maar hier is de twist: je wordt niet bestuurd door een mens, maar door een kunstmatige intelligentie (een AI). En deze AI moet niet alleen vandaag beslissingen nemen, maar een heel jaar lang slim plannen, fouten leren van, en zich aanpassen aan een wereld vol verrassingen.
Dit is precies wat het nieuwe onderzoek YC-Bench test. Het is een soort "proefexamen" voor AI's om te zien of ze echt slim zijn op de lange termijn, of dat ze alleen maar goed zijn in korte, simpele taken.
Hier is hoe het werkt, vertaald naar alledaagse taal:
1. De Simulatie: Een Bedrijf in Chaos
De AI moet een jaar lang een bedrijf runnen. Elke dag (of "beurt") moet het:
- Opdrachten aannemen: Er is een markt vol klussen van verschillende klanten. Sommige klussen betalen goed, andere zijn valstrikken.
- Mensen inzetten: De AI heeft 8 werknemers in dienst. Sommigen zijn experts in onderzoek, anderen in data. Als je een verkeerde persoon op een klus zet, faalt het project.
- Geld beheren: Elke maand moet de AI salarissen betalen. Als je te veel mensen inhuurt of te veel mislukte projecten hebt, loop je leeg.
De valstrik: Ongeveer één op de drie klanten is een bedrieger. Ze beloven een hoge prijs, maar als je de klus accepteert, blijkt het werk onmogelijk groot te zijn. De AI moet leren welke klanten te vertrouwen zijn en welke een "zwarte lijst" moeten krijgen.
2. Het Grote Probleem: Het Geheugen
Dit is het slimste deel van de test. De AI heeft een korte geheugenband. Na 20 gesprekken (beurten) wordt het oude gesprek gewist om ruimte te maken.
Om niet alles te vergeten, heeft de AI een krabbelblok (scratchpad). Dit is het enige stukje papier waar het zijn notities op mag schrijven die het niet mag vergeten.
- Goed: "Onthoud: Klant X is een oplichter, werk nooit meer voor hen."
- Slecht: "Ik ben vergeten wie ik gisteren heb ontmoet, dus ik ga opnieuw dezelfde fout maken."
Als de AI dit krabbelblok niet slim gebruikt, raakt het in de war, herhaalt het fouten en gaat het failliet.
3. De Resultaten: Wie is de winnaar?
De onderzoekers hebben 12 van de slimste AI's ter wereld tegen elkaar laten strijden. Het resultaat? De meeste faalden.
- De failliete groep: De meeste AI's (zoals de kleinere versies van bekende modellen) eindigden met minder geld dan ze begonnen. Ze werden bedrogen door de oplichters, huurden te veel mensen in, of vergaten hun eigen regels.
- De winnaars: Slechts 3 modellen wisten echt winst te maken.
- Claude Opus 4.6 was de absolute kampioen. Het eindigde met $1,27 miljoen. Het was als een ervaren CEO die elke dag zijn krabbelblok raadpleegde, precies wist wie hij moest vertrouwen en nooit in dezelfde valstrik trapte.
- GLM-5 deed het ook fantastisch (met $1,21 miljoen), maar was veel goedkoper om te draaien.
- GPT-5.4 deed het ook goed, maar minder goed dan de top twee.
4. Waarom faalden de anderen? (De Leerlessen)
De onderzoekers keken naar de "lijkkist" van de failliete AI's en zagen drie hoofdproblemen:
- Ze herkennen leugenaars niet: Veel AI's bleven opdrachten aannemen van de bedriegers, zelfs nadat ze al een paar keer waren opgelicht. Ze hadden hun krabbelblok niet gebruikt om te onthouden: "Die vent is gevaarlijk!"
- Ze vergeten hun eigen regels: Sommige AI's schreven een slimme regel op hun krabbelblok (bijv. "Neem nooit meer dan 2 klussen tegelijk"), maar vergeten die regel vervolgens in de volgende beurt. Ze schreven het op, maar deden het niet.
- Ze zijn te lui of te stug: Een paar AI's deden precies hetzelfde elke dag, zonder te kijken of het werkte. Alsof je elke dag hetzelfde verkeerde pad neemt, terwijl je weet dat je vastloopt.
5. De Grootste Les: "Geheugen" is de sleutel
Het meest opvallende ontdekking was dit: Het gebruik van het krabbelblok was de enige echte voorspeller van succes.
De slimste AI's waren niet per se degenen met het grootste "brein", maar degenen die het beste wisten wat ze moesten onthouden. Ze schreven strategische notities op, zoals een echte mens dat zou doen in een vergadering.
Conclusie in één zin
YC-Bench laat zien dat AI's vandaag de dag nog niet echt "slim" zijn op de lange termijn; ze zijn vaak briljant in het oplossen van één raadsel, maar ze raken in de war als ze een heel jaar lang een complex bedrijf moeten runnen, tenzij ze leren om hun eigen notities te gebruiken om niet te vergeten wat ze hebben geleerd.
Het is als een examen voor een stagiair: de slimste stagiairs zijn niet degene die de meeste feiten uit hun hoofd kennen, maar degene die een goed dagboek bijhoudt om niet dezelfde fout twee keer te maken.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.