RetailBench: Evaluating Long-Horizon Autonomous Decision-Making and Strategy Stability of LLM Agents in Realistic Retail Environments

Dit paper introduceert RetailBench, een benchmark voor het evalueren van lange-termijn besluitvorming van LLM-agenten in realistische retailomgevingen, en stelt een nieuw raamwerk voor dat strategisch redeneren scheidt van uitvoering om stabiliteit te verbeteren, hoewel fundamentele beperkingen blijven bestaan bij toenemende taakcomplexiteit.

De kern

Stel je voor dat je de eigenaar bent van een enorme supermarkt. Je moet elke dag beslissingen nemen: welke producten moet je vullen op het schap, wat moet je voor ze vragen, en welke leverancier moet je bellen?

Nu, in plaats van dat jij dat doet, heb je een robot-assistent (een AI) aangesteld. Deze robot is heel slim; hij kan lezen, rekenen en zelfs redeneren. Maar er is een probleem: deze robot is gewend om korte taken te doen, zoals "zoek een recept" of "schrijf een e-mail". Wat gebeurt er als je hem de volledige leiding geeft over je supermarkt voor een heel jaar?

Dat is precies wat dit onderzoek, genaamd RetailBench, heeft onderzocht.

Hier is de uitleg in gewone taal, met een paar creatieve vergelijkingen:

1. Het Probleem: De "Korte Aandachtspanne" van de Robot

De onderzoekers ontdekten dat deze slimme robots goed zijn in korte taken, maar snel in de war raken als het om lange periodes gaat.

• De Analogie: Stel je voor dat je een robot vraagt om een lange reis te maken. Hij kan de eerste 10 minuten perfect de weg vinden. Maar na een uur begint hij te twijfelen, vergeet hij waar hij naartoe ging, en plotseling rijdt hij in de verkeerde richting of stopt hij gewoon.
• In de supermarkt: De robot begon goede beslissingen te nemen, maar na een paar weken begon hij producten te bestellen die niet bestonden, prijzen te zetten die onmogelijk waren (bijvoorbeeld €999 voor een blik soep), of hij vergat dat hij huur moest betalen. De winkel ging failliet omdat de robot zijn lange-termijn doel uit het oog verloor.

2. De Oplossing: De "Strategische Chef" en de "Uitvoerende Klerk"

Om dit op te lossen, bedachten de onderzoekers een nieuwe manier om de robot te laten werken. Ze noemen dit het "Evolving Strategy & Execution" raamwerk.

In plaats van dat de robot alles in één keer doet, splitsen ze het in twee rollen:

• De Strategische Chef (De Denker): Deze robot kijkt elke ochtend naar de grote lijnen. Hij denkt na over de strategie voor de hele week: "We moeten meer focus leggen op verse groenten en minder op snoep." Hij plant het grote plan.
• De Uitvoerende Klerk (De Doener): Deze robot krijgt het plan van de Chef en voert het uit. Hij mag het plan niet zomaar veranderen terwijl hij aan het werk is. Hij doet alleen wat er staat: "Vul de groentekast op, pas de prijs aan."

Waarom werkt dit?
Stel je voor dat je een orkest dirigeert. Als de dirigent (de Chef) elke noot die de violist (de Klerk) speelt, direct probeert te corrigeren, wordt het een chaos. Maar als de dirigent een duidelijk plan schetst en de violist die noten rustig speelt, ontstaat er harmonie. Door het denken en het doen te scheiden, blijft de robot rustig en stabiel.

3. De Test: De Supermarkt Simulator

De onderzoekers bouwden een digitale supermarkt die zich gedraagt als de echte wereld:

• Onvoorspelbare klanten: Soms komen er veel mensen, soms weinig.
• Nieuws: Soms staat er in de krant dat er een tekort is aan sinaasappels, wat de prijs beïnvloedt.
• Vervallen producten: Als je melk te lang op het schap laat staan, is het weg.

Ze lieten 8 verschillende, zeer geavanceerde AI-modellen deze supermarkt runnen.

4. Wat Vonden Ze?

De resultaten waren een mix van hoop en teleurstelling:

• De nieuwe methode werkt beter: De robots die werkten met de "Chef en Klerk"-methode (Evolving Strategy) hielden hun winkel langer open en maakten meer winst dan de robots die alles in één keer probeerden te doen. Ze maakten minder fouten en waren stabieler.
• Maar nog steeds niet perfect: Zelfs met de nieuwe methode faalden de robots als de supermarkt te groot en te complex werd.
  • De "Hallucinaties": Soms bedachten de robots producten die niet bestonden (alsof ze "roze olifanten" bestelden in plaats van melk).
  • De "Gierigheid": Soms bestelden ze 18.000 blikken soep, terwijl ze maar ruimte hadden voor 100.
  • Verlies van het overzicht: Als de winkel te groot werd (met 20 verschillende productgroepen in plaats van 5), raakten ze de draad kwijt en konden ze niet meer alle producten goed beheren.

5. De Conclusie: We zijn nog niet zover

De boodschap van dit onderzoek is: AI is geweldig, maar nog niet klaar voor de lange termijn.

Het is alsof we een auto hebben die perfect kan parkeren en een korte rit naar de supermarkt kan maken. Maar als we hem vragen om een rondreis over de hele wereld te maken zonder dat hij moe wordt of de weg vergeet, is hij daar nog niet voor gemaakt. Hij raakt verdwaald, maakt onlogische keuzes en stopt uiteindelijk.

Kort samengevat:
De onderzoekers hebben een nieuwe manier bedacht om slimme robots beter te laten plannen voor de lange termijn (door ze te laten denken en doen in aparte stappen). Dit helpt, maar de robots zijn nog steeds niet slim genoeg om een complexe, dynamische wereld (zoals een echte supermarkt) volledig zelfstandig en foutloos te runnen. Er is nog veel werk te doen voordat we echt op deze robots kunnen vertrouwen voor zware, langdurige taken.

Technische samenvatting

Probleemstelling

Hoewel Large Language Model (LLM)-gebaseerde agenten succesvol zijn gebleken in korte-termijn taken en sterk gestructureerde omgevingen, blijft hun vermogen om coherent te beslissen over lange tijdshorizons in realistische, dynamische omgevingen een open uitdaging. Bestaande benchmarks focussen vaak op webinteracties of kortetermijnplanning, wat niet voldoende inzicht biedt in het vermogen van agenten om:

1. Doelstellingen consistent te houden over lange periodes.
2. Om te gaan met niet-stationaire omgevingen (veranderende vraag, externe factoren).
3. Foutenaccumulatie te voorkomen bij langdurige uitvoering.

In de praktijk, zoals bij economische systemen, leiden hallucinaties, gebrek aan strategische stabiliteit en irrationeel gedrag vaak tot het falen van autonome agenten voordat ze langdurig operationeel kunnen zijn.

Methodologie

1. RetailBench: Een Nieuwe Benchmark

De auteurs introduceren RetailBench, een high-fidelity benchmark gebaseerd op echte commerciële data (Dominick's dataset) en economische modellering.

• Omgeving: Een gesimuleerde supermarkt die werkt als een Markov Decision Process (MDP).
• Tijdschaal: Agenten moeten opereren over duizenden dagen. Een episode eindigt als de winkel vijf dagen op rij geen huur kan betalen.
• Staten: De staat omvat productinformatie, voorraad, toeleveringsketen, vraagsignalen (klantverkeer, reviews), externe nieuwsgebeurtenissen en financiële status.
• Acties: Prijsaanpassingen, bestellingen plaatsen (herbevoorrading), informatieopvragingen, geheugenoperaties en het beëindigen van de dag.
• Complexiteitsniveaus: Drie configuraties (Easy, Middle, Hard) variëren in het aantal productcategorieën (5 vs. 20), budget, en de aanwezigheid van dynamische nieuwsgebeurtenissen en variabele leveranciersprijzen.

2. Het "Evolving Strategy & Execution" Framework

Om de beperkingen van bestaande frameworks (zoals ReAct of standaard Reflection) te overwinnen, stellen de auteurs een nieuw tweestaps-framework voor:

• Fase 1: Evolving Strategy (Strategische Evolutie): De agent analyseert de omgeving, evalueert historische resultaten en past de globale strategie aan op dag-niveau. In deze fase worden geen directe acties in de omgeving uitgevoerd. De strategie wordt expliciet vastgelegd (Macro-strategie en Uitvoerings-strategie).
• Fase 2: Execution (Uitvoering): De strategie wordt als onveranderlijk (immutable) beschouwd. De agent voert concrete acties uit die strikt consistent zijn met de vastgestelde strategie.
• Doel: Deze scheiding voorkomt "goal drift" (doelverschuiving) en oscillatie tijdens de uitvoering, en zorgt voor een duidelijke attributie tussen strategie en gedrag.

3. Experimenteel Opzet

• Modellen: Acht state-of-the-art LLMs (o.a. GPT-5.2, Kimi-K2, GLM-4.6, DeepSeek-V3.2) werden getest.
• Vergelijking: Het voorgestelde framework werd vergeleken met baselines zoals Reflection (op dag- en stap-niveau) en Plan-and-Act.
• Metrieken: Aantal operationele dagen, gemiddelde dagelijkse verkoop/inkomsten, verhouding van verlopen producten, en retourpercentages.

Belangrijkste Resultaten

1. Framework Prestaties

• Het Evolving Strategy & Execution framework presteert consistent beter dan de baselines (Reflection en Plan-and-Act) op alle kernmetrieken.
• Het resulteert in langere operationele periodes, hogere winst, en significant lagere percentages verlopen producten en returns.
• Dit bevestigt dat het scheiden van strategische planning van tactische uitvoering cruciaal is voor stabiliteit op lange termijn.

2. Prestaties over Omgevingen

• Afname bij Complexiteit: Naarmate de omgeving complexer wordt (van Easy naar Hard), daalt de prestatie van alle modellen aanzienlijk.
• Schalingsprobleem: Hoewel sommige modellen in de "Easy" omgeving redelijk presteren, falen ze vaak in de "Hard" omgeving. Ze kunnen de beslissingsruimte (20 categorieën, dynamische nieuwsfeiten) niet effectief beheren.
• Gap met Menselijke Referentie: Er blijft een enorme kloof tussen de LLM-agenten en een handmatig ontworpen heuristische policy (die toegang heeft tot interne staten), wat aangeeft dat LLMs nog ver verwijderd zijn van robuuste autonomie in complexe economische systemen.

3. Analyse van Falingsmodi

De auteurs identificeren vier kritieke oorzaken van falen:

1. Niet-schalende Besluitvorming: Agenten nemen niet proportioneel meer beslissingen naarmate de omgeving groeit; ze negeren vaak een groot deel van de beschikbare SKUs.
2. Onvolledige Informatiegebruik: Agenten focussen sterk op historische verkoop en leveranciersprijzen, maar negeren vaak cruciale signalen zoals recente klantreviews en retourpercentages, wat leidt tot suboptimale beslissingen.
3. Temporale Instabiliteit: Zelfs in stabiele omgevingen wijzigen agenten hun uitvoeringsstrategie te vaak van dag tot dag, wat leidt tot inconsistente en inefficiënte trajecten.
4. Hallucinaties en Irrationele Acties: Agenten genereren vaak niet-bestaande product-ID's, fabriceren data, of voeren economisch onlogische acties uit (bijv. negatieve bestellingen of prijzen van 999 voor een goedkoop product), wat het systeem snel kan laten instorten.

Bijdragen

1. RetailBench: Een nieuwe, realistische benchmark voor het evalueren van lange-termijn autonome besluitvorming in retail, gebaseerd op echte data en economische principes.
2. Evolving Strategy & Execution Framework: Een nieuw architecturaal patroon dat strategische evolutie en uitvoering scheidt, wat bewezen de operationele stabiliteit verbetert ten opzichte van bestaande methoden.
3. Systematische Analyse: Een uitgebreide kwantitatieve en kwalitatieve analyse van de falingsmodi van huidige LLMs in complexe, multi-factor omgevingen, met een focus op schaalbaarheid, informatiegebruik en strategische stabiliteit.

Betekenis en Conclusie

Het paper benadrukt dat hoewel LLMs krachtige redeneerders zijn, ze nog niet klaar zijn voor robuuste, langdurige autonomie in realistische economische systemen. De huidige beperkingen liggen niet alleen in het redeneren, maar vooral in het beheren van lange-termijn consistentie, het integreren van heterogene informatiebronnen en het voorkomen van hallucinaties over tijd.

RetailBench biedt een gestructureerde testomgeving om deze problemen aan te pakken. De resultaten suggereren dat toekomstige doorbraken waarschijnlijk zullen komen van hybride benaderingen die gestructureerde planning, strikte constraints (voor economische rationaliteit) en mogelijk reinforcement learning combineren, in plaats van alleen vertrouwen op prompt-engineering van monolithische LLMs.