Can LLMs Be CEOs? Benchmarking Strategic Resource Reallocation with Multi-Role Agent Simulation
Dit artikel introduceert \textsc{CEO-Bench}, een multi-agent benchmark die LLM's evalueert op strategische herallocatie van middelen onder conflicterend advies van belanghebbenden, wat onthult dat hoewel grensverleggende modellen structureel geldige plannen kunnen produceren, ze moeite hebben met strategische kalibratie door systematische fouten zoals adviseurs-capturing en een afweging tussen het integreren van diverse perspectieven en het nemen van besluitvaardige actie.
Oorspronkelijk artikel vrijgegeven aan het publieke domein onder CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je de kapitein bent van een enorm, complex schip. Je stuurt niet alleen; je moet ook beslissen hoe je je beperkte brandstof, voedsel en bemanning verdeelt over vier verschillende afdelingen: de machinekamer, het navigatieteam, de vrachtafhandelaars en de passagiersservicecrew.
Dit artikel stelt een eenvoudige maar moeilijke vraag: Kan een AI (specifiek een Large Language Model) die kapitein zijn?
Om dit te achterhalen, hebben de onderzoekers een test ontwikkeld genaamd CEO-BENCH. Zo hebben ze het gedaan, uitgelegd in alledaagse termen:
De Opstelling: Een Bestuurskamer van Robots
In plaats van de AI een simpele rekensom of een trivia-vraag te stellen, plaatsten ze het in een gesimuleerde bedrijfsbestuurskamer.
- De AI is de CEO: Het moet de uiteindelijke beslissing nemen over hoe het geld binnen het bedrijf wordt verplaatst.
- De Adviseurs zijn ook AI: De AI-CEO moet luisteren naar vier andere "robot-executives" (een CFO, CTO, COO en CMO).
- De Vangst: De adviseurs zijn geprogrammeerd om het oneens te zijn.
- De CFO (geldmanager) is bang voor risico's en wil geld besparen.
- De CTO (tech-baas) wil zwaar investeren in nieuwe gadgets.
- De COO (operations-baas) is bezorgd over het breken van dingen als er te snel wordt veranderd.
- De CMO (marketingbaas) ziet een enorme verkoopplaats en wil nú veel uitgeven.
Cruciaal is dat elke adviseur slechts een klein beetje van de waarheid kent (informatie-asymmetrie). De AI-CEO moet uitzoeken wie er gelijk heeft, wie er ongelijk heeft, en hoe hij het advies van hen die met elkaar in conflict zijn kan balanceren zonder het bedrijf te laten wachten.
De Test: 13 Verschillende Scenario's
De onderzoekers creëerden 13 verschillende "crisis"-situaties die de AI moest oplossen. Sommige waren makkelijk (iedereen was het eens) en sommige waren chaotisch (iedereen vocht en het bedrijf zat in de problemen).
- Het Doel: De AI moest een plan maken om geld van de ene afdeling naar de andere te verplaatsen.
- De Regels: Het plan moest legaal zijn (de regels volgen), gedurfd genoeg om impact te hebben, en consistent met wat het bedrijf in eerdere rondes deed (niet de geschiedenis vergeten).
De Resultaten: Goed in Rekenen, Slecht in Onderbuikgevoel
De onderzoekers testten vijf verschillende top-tier AI-modellen. Dit is wat ze vonden:
- Ze zijn geweldig in het volgen van regels: Bijna alle AI's konden een plan maken dat de wiskunde of de regels niet overtrad. Als je hen vroeg om "10% van het geld te verplaatsen", konden ze de berekening perfect uitvoeren.
- Ze worstelen met "Onderbuikgevoel" (Strategische Daadkracht): Dit was het moeilijkste deel. Wanneer de situatie vroeg om een risicovolle, gedurfde zet om het bedrijf te redden, neigden de AI's naar te voorzichtig te zijn. Ze kozen vaak voor de veilige, saaie optie, zelfs wanneer de situatie om een gok vroeg.
- Ze krijgen "Amnesie": In een spel met meerdere rondes vergaten sommige AI's wat er in de vorige ronde was gebeurd. Ze namen vandaag een beslissing die in strijd was met wat ze gisteren hadden besloten, als een kapitein die vergeet dat hij al de helft van de brandstof heeft verbrand.
- Ze worden "Gekidnapt" door één stem: Soms, in plaats van alle vier de adviseurs te balanceren, volgde de AI blindelings de luidste stem (meestal degene die schreeuwde om groei of degene die schreeuwde om veiligheid) en negeerde de rest.
De Grote Afweging
Het onderzoek ontdekte een grappige tegenstrijdigheid:
- De AI's die echt goed waren in het luisteren naar iedereen en het proberen te vinden van een middenweg, eindigden vaak met zwakke, besluiteloze plannen.
- De AI's die gedurfde, besliste plannen maakten, negeerden vaak belangrijke waarschuwingen van de andere adviseurs.
Het Eindoordeel
Kan een AI een CEO zijn?
- Als rekenmachine? Ja. Het is uitstekend in het controleren van de cijfers en het controleren of het plan legaal is.
- Als leider? Nog niet helemaal. Het heeft moeite met het wegen van conflicterende menselijke emoties, het omgaan met onzekerheid en het maken van de "onderbuikbeslissing" wanneer de data rommelig is. Het neigt naar te voorzichtig zijn of te gemakkelijk te worden beïnvloed door één luide stem.
Het paper concludeert dat hoewel AI beter wordt in redeneren, de specifieike vaardigheid van "het integreren van conflicterend advies onder druk" nog steeds een menselijke specialiteit is die AI nog niet volledig beheerst.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.