STOCKTAKE: Measuring the Gap Between Perception and Action in LLM Agents with a Fair Oracle
Dit artikel introduceert STOCKTAKE, een 26-wekelijkse supply-chain benchmark met een eerlijke oracle die de toestandsschatting scheidt van de controleacties, wat onthult dat hoewel geavanceerde LLM-agenten verborgen defecten nauwkeurig kunnen diagnosticeren, ze deze kennis vaak niet effectief kunnen vertalen naar beslissingen, wat resulteert in prestatiekloven waarbij sommige modellen zelfs onderpresteren ten opzichte van een symptom-blinde baseline ondanks betere detectiecapaciteiten.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je de kapitein bent van een schip dat door een mistig archipel vaart. De kaart die je vasthoudt is incompleet; je kunt de verborgen riffen of de verschuivende stromingen niet direct zien. In plaats daarvan zie je alleen de golven tegen de romp slaan, de kleur van het water en het geluid van de wind. Om veilig te navigeren, moet je raden wat er onder het oppervlak gebeurt op basis van deze aanwijzingen. Dit is de wereld van AI-agenten die langetermijnbeslissingen proberen te nemen. In dit veld testen wetenschappers hoe goed kunstmatige intelligentie kan handelen als een menselijke kapitein, waarbij het verborgen gevaren afleidt uit ruisende symptomen en keuzes maakt die geld besparen of rampen voorkomen over weken of maanden.
De grote vraag die onderzoekers stellen is: Wanneer een AI faalt, komt dat dan doordat het de aanwijzingen niet begreep, of omdat het de aanwijzingen perfect begreep maar een verschrikkelijke keuze maakte? Dit wordt de "knowing-doing gap" (de kennis-actie kloof) genoemd. Het is als een leerling die het antwoord op een wiskundevraag weet, maar het verkeerde getal opschrijft omdat hij in paniek raakte. Lange tijd was het moeilijk om het verschil te zien, omdat het "juiste" antwoord meestal vereiste dat men de verborgen riffen kon zien die de AI niet mocht zien. Als de AI faalde, wisten we niet of het blind was of gewoon onhandig.
De Grote Voorraadopname van de Toeleveringsketen
In dit onderzoek bouwden de onderzoekers een digitale speeltuin genaamd STOCKTAKE om dit mysterie op te lossen. Ze creëerden een 26-wekelijkse simulatie waarin een AI optreedt als manager van een importeur van elektronica. De manager moet elke week beslissen hoeveel gadgets hij moet bestellen. Het probleem? De wereld zit vol met verborgen boelmakers: een leverancier kan falen, een scheepskanaal kan geblokkeerd zijn, of de vraag kan plotseling pieken. De AI kan deze problemen niet direct zien; het ziet alleen een wekelijks dashboard met ruisende, verwarrende symptomen (zoals "wachttijden bij de kade zijn hoog" of "vrachtkosten zijn gestegen").
Om te bepalen of de AI "blind" of gewoon "onhandig" is, hebben de onderzoekers een Fair Oracle (Eerlijke Orakel) uitgevonden. Denk aan dit als een superintelligente, perfect logische robot die naast de AI zit. Deze robot ziet exact hetzelfde verwarrende dashboard als de AI. Hij krijgt ook geen toegang tot de verborgen boelmakers. Echter, deze robot is een wiskundig genie: hij gebruikt perfecte probabilistische regels (Bayes-filters) om te raden wat er aan de hand is en berekent de absoluut beste bestelling die geplaatst kan worden op basis van die vermoedens.
Door de prestaties van de AI te vergelijken met deze Fair Oracle, konden de onderzoekers twee zaken apart meten:
- Perceptie: Heeft de AI correct geraden wat er mis was? (Heeft het de verborgen problemen benoemd?)
- Actie: Heeft de AI de juiste stap ondernomen nadat het de diagnose stelde? (Heeft het de juiste hoeveelheid besteld?)
Ze voerden dit experiment uit met vier van de slimste beschikbare AI-modellen (Claude Sonnet 5, GPT-5.4, DeepSeek-V4-Pro en Grok 4.5) over 50 verschillende "seeds" (verschillende versies van de verborgen wereld).
Wat ze vonden: De "Knowing-Doing" Kloof is Echt
De resultaten waren verrassend en een beetje grappig.
1. De AI kan prima zien
Eerst controleerden de onderzoekers of de AI de verborgen problemen kon opsporen. Het antwoord was een overtuigend ja. Alle vier de modellen waren uitstekend in "zien". Ze identificeerden verborgen stress (zoals een blokkade in een haven of een falende leverancier) in 84% tot 88% van de gevallen. Nog beter: ze ontdekten het meestal binnen een week nadat het was begonnen. Sterker nog, de modellen die uiteindelijk financieel het slechtst presteerden, waren juist degenen die de problemen het snelst ontdekten. Dus de fout was niet dat de AI blind was.
2. De AI kan niet (soms) handelen
Hier wordt het verhaal interessant. Ondanks dat de AI wist wat er mis was, maakte het vaak de verkeerde beweging.
- De "Onder-responders": Sommige modellen, zoals Claude Sonnet 5, zouden een probleem correct diagnosticeren maar vervolgens bevriezen. Bijvoorbeeld, als ze zagen dat een haven geblokkeerd was, stopten ze volledig met bestellen, denkend dat hun huidige voorraad genoeg zou zijn. Maar omdat de haven geblokkeerd was, kwam hun voorraad nooit aan, waardoor ze zonder goederen kwamen te zitten en geld verloren. Ze wisten wat het probleem was, maar handelden te voorzichtig.
- De "Over-responders": Andere modellen, zoals DeepSeek-V4-Pro en Grok 4.5, deden het tegenovergestelde. Ze merkten een probleem op en raakten in paniek, waarbij ze enorme hoeveelheden dure luchtvracht bestelden of hoge prijzen vastlegden. Ze wisten wat het probleem was, maar ze reageerden zo overdreven dat ze veel meer geld uitgeven dan nodig was. Sterker nog, in ongeveer de helft van hun testruns presteerden deze modellen zo slecht dat een simpele regel die alle symptomen negeert, meer geld zou hebben bespaard. Hun "vaardigheidsscores" waren zelfs negatief (specifiek -0,23 en -0,13), wat betekent dat ze onder de baseline van een symptoom-blinde strategie lagen.
3. De "Knowing-Doing" Kloof is de Bottleneck
De studie toonde aan dat de grootste kloof tussen een goede AI en een geweldige AI niet ging over intelligentie of het helder zien van de wereld. Het ging over controle.
- In de "Persistent" (aanhoudende) stressscenario's (waarbij een probleem vele weken duurt), liepen ze zelfs wanneer de AI de kwestie correct diagnosticeerde, in 34% tot 43% van de gevallen nog steeds zonder voorraad te zitten.
- De onderzoekers berekenden een "vaardigheidsscore" om te zien hoe dicht de AI bij de perfecte Fair Oracle kwam. Twee van de modellen (DeepSeek en Grok) scoorden negatieve getallen, wat betekent dat ze slechter presteerden dan een simpele regel die alle symptomen negeert. Toch waren dezezelfde modellen de snelsten in het benoemen van de verborgen problemen in hun geschreven verklaringen.
De Conclusie
Het artikel concludeert dat voor huidige AI-agenten het probleem niet is dat ze niet kunnen begrijpen wat er in de wereld gebeurt. Ze zijn uitstekend in deductie. Het probleem is dat het omzetten van een correcte gedachte in een correcte actie ongelooflijk moeilijk is.
De AI kan een perfecte paragraaf schrijven waarin staat: "Het kanaal is gesloten en we moeten meer bestellen," maar vervolgens bestelt het te weinig, te laat, of betaalt het te veel voor een oplossing. De "knowing-doing gap" is echt: deze modellen kunnen een juiste overtuiging koesteren, maar er niet effectief naar handelen. De onderzoekers suggereren dat het oplossen hiervan niet alleen een slimmere AI vereist die beter ziet; het zal ook betere manieren vereisen om de AI te leren hoe het zijn kennis moet vertalen naar de juiste, kostbare acties.
Kortom: De AI is niet blind. Hij is gewoon onhandig met zijn handen.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.