Technische Samenvatting: RetailBench

Probleemstelling

Hoewel Large Language Model (LLM) agents bekwaamheid hebben getoond in taken met een korte horizon en een goed afgebakende scope (bijv. code bewerken, informatie ophalen), blijft hun vermogen om coherente besluitvorming te handhaven in dynamische omgevingen met een lange horizon onzeker. Bestaande benchmarks isoleren vaak individuele subproblemen of missen de gekoppelde, gesloten loops-dynamiek van reële bedrijfsvoering. Bijgevolg ontbreekt het de gemeenschap aan een open, datagedreven benchmark om te evalueren of tool-gebruikende LLM-agents in staat zijn om gedurende langere perioden een persistente doelstelling-alignement en stabiele gedragsconsistentie te behouden, met name wanneer lokale fouten cumulatief leiden tot vertraagde gevolgen die de toekomstige toestandsverdelingen hervormen.

Methodologie: RetailBench

De auteurs introduceren RetailBench, een datagedreven simulatie-benchmark ontworpen om tool-gebruikende LLM-agents te evalueren in de context van de exploitatie van een enkele supermarkt. De omgeving wordt gemodelleerd als een Partially Observable Markov Decision Process (POMDP), $M = (S, A, O, T, \Omega, R)$, waarbij de agent via een specifieke set tools interageert met een simulator.

Constructie van de omgeving

• Datagedreven fundering: De simulator is verankerd in reële retaildata van de Dominick's dataset (University of Chicago Booth School of Business) om het productuniversum (96 producten over 20 categorieën), historische prijzen, verkooptrajecten en inkoopkosten te definiëren.
• Dynamische feedback: Review-teksten zijn gesampled uit de Amazon Reviews 2023 corpus, en nieuwsgebeurtenissen zijn aangepast van financiële nieuwsartikelen. Deze introduceren corpus-gebaseerde dynamiek waarbij verborgen metadata de vraag en het aanbodzijde-effecten aanstuurt.
• Modules: De omgeving koppelt zeven modules: Inventaris, Leveranciers & Bestellingen, Schap, Klantvraag, Reviews & Retouren, Nieuwsgebeurtenissen, en Financiën & Administratie.
• Toestand en Acties:
  • Toestand ($S$): Omvat productattributen, inventaris (inclusief veroudering), schapassortiment, leverancierskandidaten, vraagfactoren, extern nieuws en financiële administratie.
  • Acties ($A$): Agents selecteren uit drie toolgroepen:
    1. Alleen-lezen ($A_{read}$): Het opvragen van fondsen, inventaris, prijzen, verkoopgeschiedenis, leveranciersoffertes en reviews.
    2. Auxiliair ($A_{other}$): Beperkte analyse, geheugenbeheer en code-executie (gesandboxed).
    3. Toestand-veranderend ($A_{act}$): Het bijwerken van prijzen, het plaatsen van aanvullingsbestellingen, het beheren van het schapassortiment, het schrijven van aantekeningen en het afsluiten van de dag.
• Simulatiehorizon: De benchmark ondersteunt simulaties op de schaal van duizenden dagen. Het evaluatieprotocol gebruikt een horizon van 180 dagen.

Evaluatieprotocol

• Modellen: Zeven hedendaagse LLM's werden geëvalueerd met drie prompting-gebaseerde frameworks: ReAct, Reflection, en Plan-and-Act.
• Selectieregel: Vanwege de variantie in prestaties over een lange horizon, hanteren de auteurs een "survival-first" selectieregel: voor elk model wordt de run met de langste overlevingshorizon geselecteerd, waarbij het uiteindelijke netto vermogen en de totale omzet als tie-breakers dienen.
• Baseline: Een privileged oracle policy is opgenomen als een niet-agent referentie. Deze policy heeft directe toegang tot gestructureerde simulatorvelden (bijv. verborgen kwaliteitsscores van leveranciers) en volgt handmatig gespecificeerde, kwaliteitsbewuste operationele regels.

Metrieken

Prestaties worden gemeten over vijf categorieën:

1. Operationele Leefbaarheid: Eindnetto vermogen en Overlevingsdagen.
2. Verkoopeffectiviteit: Totale Omzet, Dagelijks Verkochte Producten en Retourratio.
3. Inventarisbeheer: Voorraadtekortdagen (Stockout Days) en Verouderingsratio (Expired Ratio).
4. Tool-gebruik Gedrag: Directe en Totale Tool-aanroepen per dag.
5. Tokenverbruik: Gemiddeld dagelijks tokenverbruik.

Belangrijkste Bijdragen

1. Een Retailomgeving met Lange Horizon: RetailBench biedt een gecontroleerde, datagedreven testomgeving die prijsstelling, inventaris, leveranciersselectie, klantfeedback, externe gebeurtenissen en financiële beperkingen koppelt over uitgebreide episodes.
2. Evaluatie van Huidige Systemen: De benchmark laat zien dat huidige agent-frameworks en state-of-the-art LLM's moeite hebben met het bereiken van stabiele, hoogpresterende operationele policies over lange horizonten.
3. Systematische Foutanalyse: De auteurs identificeren drie terugkerende foutmodi via diagnostische metrieken:
   • Onvolledige Bewijsgaring: Agents handelen vaak zonder cruciale informatie op te vragen (bijv. proxies voor leverancierskwaliteit, inventarisveroudering).
   • Oppervlakkige Besluitvorming: Agents vertrouwen op direct zichtbare signalen (bijv. prijs) terwijl ze consequentiële maar minder zichtbare factoren (bijv. leverancierskwaliteit, retourrisico's) onderwaarderen.
   • Gebrek aan Consistente Lange-Horizon Policy: Agents falen in het behouden van aandacht voor belangrijke producten en bezoeken de vertraagde gevolgen van eerdere acties niet consistent.

Resultaten

• Overleving: Onder het survival-first protocol varieerde de overleving van 58 tot 180 dagen. Alleen DeepSeek-V4-Pro en GPT-5.5 voltooiden de volledige 180-daagse horizon. De meeste andere modellen eindigden tussen de 58 en 73 dagen.
• Prestatiekloof: Zelfs de sterkste LLM-runs bleven aanzienlijk achter bij de oracle policy.
  • Netto Vermogen: De oracle policy bereikte 131.510,42, terwijl de beste LLM (GPT-5.5) 24.350,98 bereikte.
  • Omzet: De oracle policy bereikte 267.998 eenheden, terwijl de beste LLM (DeepSeek-V4-Pro) 164.417 bereikte.
• Gedragsdiagnostiek:
  • Bewijsverwerving: GPT-5.5 vertoonde de hoogste bewijs-volledigheid (0,9689), terwijl andere zoals Grok-4.3 bijna nul volledigheid lieten zien.
  • Besluitkwaliteit: LLM's vertoonden een sterke bias naar "PriceFirst" (kiezen voor de goedkoopste leverancier) boven "QualityFirst". De oracle policy gaf prioriteit aan kwaliteit, terwijl LLM's de goedkoopste leverancier kozen in 55,6% van de bestellingen, vergeleken met slechts 21,5% voor de beste kwaliteitkeuze.
  • Temporele Opvolging: LLM's misten 32,86% tot 88,18% van de kansen met een hoge vraag en faalden erin om consequent op te volgen op vertraagde gevolgen (bijv. voorraadtekorten, retouren) binnen een venster van zeven dagen.

Betekenis en Claims

Het artikel positioneert RetailBench niet louter als een prestatiebenchmark, maar als een diagnostische testomgeving voor het bestuderen van betrouwbare autonomie in economisch gefundeerde, lange-horizon besluitvorming. De auteurs stellen dat de resultaten een kritieke kloof aantonen tussen huidige LLM-capaciteiten en de vereisten voor duurzame operationele continuïteit.

De betekenis ligt in de identificatie dat het verbeteren van LLM-agents met een lange horizon meer vereist dan alleen een toename in tool-gebruik; het vereist vooruitgang in:

1. Bewijsselectie: Het vermogen om te identificeren en te verwerven welke informatie cruciaal is voor besluitvorming.
2. Bewijs-naar-Actie Redenering: Het vermogen om verworven bewijs te vertalen naar beslissingen die rekening houden met lange-termijn uitkomsten (bijv. het balanceren van kosten versus kwaliteit).
3. Stateful Policy Maintenance: Het vermogen om persistente aandacht te behouden voor kritieke entiteiten en vertraagde gevolgen te herbezoeken om lokale tool-aanroepen af te stemmen op lange-termijn zakelijke uitkomsten.

De auteurs concluderen dat voordat LLM-agents betrouwbaar kunnen opereren in complexe omgevingen met een lange horizon, zij specifieke knelpunten in bewijsverwerving, redeneerdiepte en beleidsconsistentie moeten overwinnen.