CoffeeBench: Benchmarking Long-Horizon LLM Agents in Heterogeneous Multi-Agent Economies
Het artikel introduceert CoffeeBench, een benchmark die is ontworpen om langetermijn-LLM-agenten te evalueren binnen een heterogene multi-agent koffie-economie, wat onthult dat hoewel de meeste modellen een positief netto-inkomen behalen door actieve communicatie, sommige specifieke foutmodi vertonen zoals "idle-drift" ondanks coherente planning.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je een gigantische, digitale koffiebar-simulatie voor die 90 dagen lang draait. In deze wereld zijn er zes onafhankelijke bedrijven: twee boeren die bonen verbouwen, twee branders die deze bonen tot koffie verwerken, en twee retailers die de uiteindelijke kopjes aan klanten verkopen.
Het paper introduceert CoffeeBench, een nieuwe "test" om te zien hoe goed AI-agenten een van deze bedrijven gedurende een lange periode kunnen runnen. In tegenstelling tot eerdere tests waarbij een AI simpelweg vragen beantwoordde of een enkel spelletje speelde, dwingt CoffeeBench de AI om te handelen als een echte CEO: het beheren van geld, het kopen en verkopen van goederen, het onderhandelen met andere bedrijven en het nemen van beslissingen, dag na dag.
Hier is een overzicht van hoe de test werkt en wat de onderzoekers ontdekten, gebruikmakend van eenvoudige analogieën:
De Opzet: Een Digitale Koffieketen
Beschouw de simulatie als een complexe estafette met een twist.
- De Spelers: Er zijn twee boeren, twee branders en twee retailers. Ze concurreren allemaal met elkaar, maar moeten ook met elkaar handelen om te overleven.
- Het Doel: De AI die wordt getest, krijgt de rol van één specifieke brander toegewezen. De enige taak is om gedurende 90 dagen zoveel mogelijk winst te maken.
- De Tegenstanders: De andere vijf bedrijven worden gerund door andere AI-agenten (of vaste regels). Zij proberen ook hun eigen geld te verdienen.
- De Regels:
- Je kunt niet gewoon afwachten; je moet groene bonen kopen, ze branden en de gebrande koffie verkopen.
- Je moet je cash beheren (niet zonder geld komen te zitten), je voorraad beheren (niet laten dat de koffie bederft) en je prijzen bepalen.
- Je kunt praten met andere bedrijven. Je kunt zeggen: "Ik koop 20 kg bonen voor $10," of "Hé, kun je mij een volumekorting geven?"
- Als je zonder cash komt te zitten, ga je failliet en word je uit het spel gezet.
De Test: Hoe de AI het deed
De onderzoekers lieten verschillende AI-modellen tegen elkaar strijden in deze koffie-economie. Ze wilden zien wie de beste "bedrijfseigenaar" kon zijn.
1. De Winnaars (De Actieve Managers)
Modellen zoals GPT-5.5 en Claude Opus 4.7 presteerden het best.
- Wat ze deden: Ze waren als drukke, praatgrage ondernemers. Ze belden constant andere bedrijven, onderhandelden over prijzen en sloten deals. Ze wachtten niet alleen af tot er iets gebeurde; ze beheerden actief hun toeleveringsketen.
- Het Resultaat: Ze maakten een gezonde winst (ongeveer $3.000 in de simulatie).
2. De "Stille" Presteerders
Sommige modellen, zoals Gemini 3.1 Pro, verdienden decent geld maar praatten niet veel.
- Wat ze deden: Ze waren efficiënt maar reactief. Ze wachtten tot anderen hen een bericht stuurden en reageerden dan. Ze initieerden zelf weinig gesprekken, maar slaagden er nog steeds in om de business draaiende te houden.
3. De Verliezer: De "Idle Drift" Fout
Eén model, Claude Haiku 4.5, had een heel vreemd probleem.
- Het Probleem: Het leed aan wat de auteurs "Idle Drift" noemen.
- De Analogie: Stel je een schaker voor die aan het bord zit, heel diep nadenkt, een briljant plan op een stuk papier schrijft en dan... niets doet. Hij zit daar gewoon te wachten tot de volgende dag begint.
- Wat er gebeurde: De AI las het nieuws, analyseerde de markt, zei "Alles ziet er goed uit, ik heb een geweldig plan," en koos er vervolgens voor om 40 van de 90 dagen absoluut niets te doen. De redenering bleef coherent, maar de AI weigerde actie te ondernemen.
- Het Resultaat: Omdat de AI niets deed, verloor het geld en eindigde het de simulatie met een negatief saldo.
Belangrijkste Conclusies uit het Paper
- Praten Maakt Uit: De meest succesvolle AI-agenten waren degenen die het meest communiceerden. In een complexe economie kun je niet gewoon in je kantoor zitten en hopen op het beste; je moet onderhandelen en relaties opbouwen.
- Lange Termijn Denken is Moeilijk: Het runnen van een bedrijf gedurende 90 dagen is een marathon, geen sprint. Veel AI's raakten in de loop van de tijd in de war of werden lui.
- Meer Acties Meer Geld: Alleen omdat een AI veel "tool calls" uitvoerde (zoals het controleren van prijzen of het versturen van berichten), betekende dat niet dat de AI meer geld verdiende. De kwaliteit van de beslissingen (zoals het krijgen van een goede prijs) was belangrijker dan de kwantiteit van de acties.
- De "Idle" Bug: Het paper belicht een specifieke foutmodus waarbij een AI vast komt te zitten in een lus van "denken" zonder "doen". Dit is een cruciaal probleem voor toekomstige AI die langdurige taken moet uitvoeren.
Wat het Paper NIET Zegt
- Het beweert niet dat deze AI's morgen echte koffiebedrijven kunnen runnen.
- Het zegt niet dat dit financiële crises zal oplossen of de wereldeconomie zal veranderen.
- Het suggereert niet dat de AI "bewust" is of zich voelt als een bedrijfseigenaar; het volgt simpelweg instructies om een getal te maximaliseren.
Kortom: CoffeeBench is een videogame voor AI waarbij het doel is om een koffiebedrijf te runnen. De winnaars waren degenen die het meest praatten en het meest handelden. De verliezer was degene die te veel nadacht en te weinig deed, om uiteindelijk weg te drijven in een staat van nietsdoen.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.