🤖 machine learning

Modelling Customer Trajectories with Reinforcement Learning for Practical Retail Insights

Dit artikel stelt een maximum-entropy versterkingsleerframework voor voor het modelleren van klanttrajecten in retailruimtes, en toont aan dat dit traditionele heuristieken zoals TSP en PNN overtreft door nauwkeurigere, gedragsmatig onderbouwde inzichten te bieden voor de optimalisatie van winkelindelingen en winstmaximalisatie zonder dat kostbare real-world dataverzameling vereist is.

Oorspronkelijke auteurs: Ken Ming Lee, Paul Barde, Maxime C. Cohen, Derek Nowrouzezahrai

Gepubliceerd 2026-05-19

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Ken Ming Lee, Paul Barde, Maxime C. Cohen, Derek Nowrouzezahrai

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een klein supermarktje bezit. Je doel is simpel: zo veel mogelijk geld verdienen. Je weet dat mensen vaak dingen kopen die ze niet van plan waren te kopen—zoals een reep chocolade of een frisdrank—alleen omdat ze het zagen terwijl ze door het gangpad liepen. Dit heet een "impulsaankoop".

Om mensen deze artikelen te laten kopen, moet je precies weten waar ze lopen. Als je de chocoladereep direct in hun pad legt, grijpen ze er naar. Als je het in een hoek verstopt die ze nooit bezoeken, doen ze het niet.

Het Probleem: Het "Raadselspel" versus de "Duikspion"
Om uit te vinden waar klanten lopen, heb je twee slechte opties:

De Spion (Echte Data): Je huurt mensen in om klanten met camera's en kaarten te volgen. Dit geeft je perfecte informatie, maar het is ongelooflijk duur en inbreukmakend. De meeste kleine winkels kunnen dit niet betalen.
De Gissing (Heuristieken): Je gebruikt eenvoudige wiskundige regels om het pad te raden.
- De "Kortste Pad"-regel (TSP): Dit gaat ervan uit dat klanten robots zijn die altijd het absoluut kortste pad nemen om hun artikelen te halen.
- De "Dichtstbijzijnde Buur"-regel (PNN): Dit gaat ervan uit dat klanten een beetje willekeurig zijn, maar nog steeds voornamelijk het dichtstbijzijnde item bij hen kiezen.

Het paper vond dat deze "gissing"-regels in 28% van de gevallen verkeerd zitten. Echte mensen zijn rommelig. Ze dwalen, ze maken omwegen en ze nemen niet altijd het kortste pad. Omdat de gissingen zo verkeerd zijn, plaatsen winkeliers producten op de verkeerde plekken en missen ze verkopen.

De Oplossing: Een "Videospel"-student
De auteurs bedachten een nieuwe manier om klantpaden te voorspellen met behulp van Versterkend Leren (RL). Denk hierbij aan het trainen van een videospelkarakter (een "agent") om te handelen als een echte menselijke shopper.

In plaats van het karakter alleen te vertellen "neem het kortste pad", leerden ze het een meer menselijke les:

Haal de artikelen: Je krijgt punten voor het kopen van wat je nodig hebt.
Wees een beetje onvoorspelbaar: Je krijgt ook punten voor het verkennen van verschillende routes, niet alleen dezelfde saaie elke keer.

Dit heet "Maximum Entropy"-leren. Het dwingt de computer om te beseffen dat mensen geen robots zijn; we hebben "beperkte rationaliteit". We maken fouten, we worden afgeleid en we nemen verschillende paden, zelfs als we dezelfde dingen kopen.

Wat Ze Dedden
Ze namen echte data van een supermarkt (waar ze meer dan 3.000 echte shoppers volgden) en gebruikten dit om hun "videospel-student" te trainen. Vervolgens vroegen ze de student om 10.000 winkeltjes te simuleren.

De Resultaten: De Student Wint
Toen ze de paden van de "videospel-student" vergeleken met de echte menselijke paden:

De "Kortste Pad"-regel faalde jammerlijk. Het miste hele secties van de winkel omdat het alleen zocht naar de snelste route.
De "Dichtstbijzijnde Buur"-regel was beter, maar miste nog steeds het "dwalende" gedrag van echte mensen.
De RL-student was de dichtste match. Het begreep dat mensen soms door de onderkant van de winkel lopen, zelfs als de bovenkant korter is, gewoon omdat ze zo graag winkelen.

Waarom Dit Belangrijk Is voor Je Portemonnee
Het paper testte dit door een specifiek product (zoals frisdrank) naar een nieuw schap te verplaatsen om meer geld te verdienen.

Als je de Kortste Pad- of Dichtstbijzijnde Buur-gissingen gebruikte, zeiden ze je het product naar een schap te verplaatsen dat eigenlijk leeg was en zelden werd bezocht. Dit zou een verspilling van ruimte zijn geweest.
De RL-student identificeerde correct de drukke, hoog-verkeerde schappen waar echte mensen echt langs lopen.

Toen ze het product verplaatsten naar de plek die de RL-student had voorgesteld, maakte de winkel bijna evenveel extra winst als wanneer ze de dure "Spion"-data hadden gebruikt. De eenvoudige gissingregels slaagden er niet in de juiste plek te vinden.

De Conclusie
Dit paper laat zien dat je geen fortuin hoeft uit te geven aan het volgen van elke klant met camera's om je winkel te optimaliseren. In plaats daarvan kun je een slim computermodel gebruiken dat leert om te "denken" als een menselijke shopper. Het overbrugt de kloof tussen "te simpel om waar te zijn" (de gissingregels) en "te duur om praktisch te zijn" (echte data), en geeft winkeliers een goedkope, nauwkeurige manier om hun schappen te rangschikken voor maximale winst.

Technische Samenvatting: Modellering van Klanttrajecten met Versterkingslering voor Praktische Retailinzichten

1. Probleemstelling

Het centrale doel van de optimalisatie van de indeling van een retailwinkel is het maximaliseren van de winst, voornamelijk gedreven door impulsaankopen (spontane aankopen beïnvloed door productplaatsing en blootstelling). Om indelingen te optimaliseren, moeten retailers de bewegingspatronen (trajecten) van klanten begrijpen. Het verzamelen van trajectdata uit de echte wereld is echter kostbaar en vaak niet haalbaar, vooral voor kleinere retailers.

Derhalve vertrouwt de industrie op goedkope heuristische benaderingen:

Reizend Verkoper Probleem (TSP): Gaat ervan uit dat klanten het globaal kortste pad nemen.
Probabilistische Dichtste Buur (PNN): Modelleert een stochastische, hebzuchtige route waarbij het volgende item wordt gekozen op basis van nabijheid.

Het Kruispunt: Eerdere onderzoeken geven aan dat werkelijke klanttrajecten gemiddeld 28% afwijken van schattingen op basis van het kortste pad. Dit creëert een afweging: heuristieken zijn goedkoop maar onrealistisch (ze missen gedragsvariabiliteit en begrensd rationalisme), terwijl echte data accuraat is maar onbetaalbaar duur. Het artikel tracht deze kloof te overbruggen door een methode voor te stellen die gedragsmatig accurater is dan heuristieken, maar toegankelijker dan het verzamelen van nieuwe grondwaarheidsdata.

2. Methodologie

De auteurs stellen een agent-gebaseerd modelkader voor waarbij de voorspelling van klanttrajecten wordt geformuleerd als een Maximum Entropy Reinforcement Learning (MaxEnt RL) probleem.

2.1 Omgeving en Data

Data Bron: Geanonimiseerde 3D-coördinaten van gewrichten en afrekenmanden uit een supermarkt (verzameld sept 2023–feb 2024).
Discretisatie: De winkel wordt gemodelleerd als een $16 \times 36$ rooster (50cm per cel). De dataset focust op de 61 bestverkochte producten uit 11 categorieën.
Preprocessing: Trajecten worden genormaliseerd om te starten bij de ingang en te eindigen bij een kassa. Ongeldige punten worden gecorrigeerd en trajecten worden omgezet in $(state, action)$-sequenties.

2.2 RL Formulering

Agent: Klanten worden gemodelleerd als conditionele MaxEnt RL-agenten getraind met Proximal Policy Optimization (PPO) met een convolutioneel neurale netwerk als ruggegraad.
Doel: De agent maximaliseert de verwachte cumulatieve beloning terwijl hij tegelijkertijd de entropie van het beleid maximaliseert. Deze dubbele doelstelling moedigt de agent aan om diverse, taak-geldige paden te vinden in plaats van één deterministisch kortste pad, wat effectief begrensd rationalisme modelleert.
Observaties: De agent observeert een multi-layer 2D-tensor inclusief:
- Objectkaarten (muren, schappen, producten).
- Staptelling en tijdslimiet (om de reisduur te controleren).
- Een binaire maskering van niet-bezochte cellen.
- Conditionele mand (bedoelde aankopen) en kassalocatie.
Acties: Vooruit bewegen, links draaien, rechts draaien, en oppakken/afrekenen.
Beloning: Gebaseerd op de nauwkeurigheid van opgepakte items, correct gebruik van de kassa en naleving van de tijdslimiet. Een bonusbeloning wordt verleend voor het bezoeken van unieke staten om verdere exploratie te stimuleren.

2.3 Baselines

De RL-aanpak wordt vergeleken met:

TSP: Berekent de kortst mogelijke route.
PNN: Selecteert het volgende product probabilistisch op basis van afstand (dichterbij gelegen items zijn waarschijnlijker).

3. Belangrijkste Bijdragen en Experimentele Resultaten

De studie evalueert het kader via drie fasen: trajectgelijkheid, schapverkeersschatting en impulspercentage/winstoptimalisatie.

3.1 Nauwkeurigheid van Trajectgeneratie

Met behulp van Jensen-Shannon Divergentie (JSD) en Wasserstein Afstand (WD) om gesimuleerde trajecten te vergelijken met grondwaarheidsdata van mensen:

Resultaten: RL presteerde significant beter dan zowel TSP als PNN.
- Gemiddelde JSD: RL (0,476) < PNN (0,676) < TSP (0,777).
- Gemiddelde WD: RL (0,00920) < PNN (0,0142) < TSP (0,0176).
Kwalitatief Inzicht: TSP faalt in het vastleggen van multimodale gedragingen (bijvoorbeeld klanten die langere routes nemen via de onderkant van de winkel). PNN vangt enige stochastiek op, maar blijft toch vooroordelen tonen richting kortste paden. MaxEnt RL slaagt erin diverse, geldige trajecten te herstellen die overeenkomen met menselijk gedrag.

3.2 Schatting van Schapverkeersdichtheid

Schapverkeersdichtheid ( $\theta_b$ ) is de waarschijnlijkheid dat een schap wordt bezocht.

Methode: Trajecten werden gegenereerd om bezochte schappen te markeren.
Resultaten: RL-gegenereerde verkeersdichtheidskaarten lagen dichter bij menselijke grondwaarheid (lagere JSD/WD) dan TSP of PNN. Heuristieken faalden in het voorspellen van bezoeken aan schappen die niet op het directe kortste pad tussen essentiële items en de kassa lagen.

3.3 Schatting van Impulspercentages

Impulspercentages werden geschat met de formule: $P_{aankoop} = P_{bezoek\_schap} \times P_{impulspercentage}$ .

Uitdaging: Voor bepaalde productclusters (bijvoorbeeld Cluster 2) bezochten TSP- en PNN-trajecten nooit de schappen met impulsitems (frisdrank, fruit/yoghurt), wat leidde tot deling door nul-fouten of oneindige schattingen van het impulspercentage.
RL Prestatie: RL-trajecten bezochten deze schappen succesvol. Hoewel de absolute waarden iets afweken van de grondwaarheid, behield RL de relatieve volgorde van impulspercentages (het identificeerde correct dat frisdrank impulsiever is dan fruit/yoghurt), terwijl heuristieken faalden in het onderscheid maken tussen deze.

3.4 Indelingsoptimalisatie (Verplaatsing)

De auteurs simuleerden het verplaatsen van één impulsproduct naar een onbezet, hoogverkeerd schap om de winst te maximaliseren.

Besluitvorming: Alleen RL identificeerde het correcte "meest winstgevende" impulsproduct (frisdrank) en de correcte hoogverkeerde schaplocaties, wat overeenkwam met de beslissingen afgeleid uit echte menselijke data. TSP en PNN selecteerden suboptimale producten en locaties.
Winstresultaat: Bij evaluatie met menselijke trajecten leverde de RL-geïnformeerde indeling een winsttoename ($0,162) op die vergelijkbaar was met de grondwaarheidsoptimale indeling. Indelingen gebaseerd op TSP en PNN leverden aanzienlijk lagere rendementen op ($0,090 en $0,050, respectievelijk).

4. Betekenis en Beweringen

Het artikel beweert dat Maximum Entropy RL een praktische, gedragsgegronde alternatief biedt voor zowel te vereenvoudigde heuristieken als datageïntensiveerde benaderingen.

Kloof Overbruggen: RL vult het gat tussen de onnauwkeurigheid van TSP/PNN en de kosten van dataverzameling in de echte wereld.
Hanteerbare Inzichten: In tegenstelling tot heuristieken leveren RL-gebaseerde voorspellingen verplaatsingsbeslissingen op die overeenkomen met het werkelijke klantgedrag, wat resulteert in vergelijkbare winsttoenames als die afgeleid uit grondwaarheidsdata.
Toegankelijkheid: Door broncode en een digitale tweeling-omgeving vrij te geven, streven de auteurs ernaar nauwkeurige indelingsoptimalisatie toegankelijk te maken voor retailers die zich geen eigen dataverzameling kunnen veroorloven.
Beperkingen & Toekomstig Werk: De auteurs erkennen dat het trainen van robuuste RL-beleidslijnen rekenkundig duur is en momenteel hertraining vereist voor nieuwe indelingen. Zij suggereren toekomstig werk op het gebied van domeinrandomisatie (om te generaliseren over indelingen zonder hertraining) en end-to-end indelingsoptimalisatie waarbij een externe agent plaatsingen aanpast terwijl een interne agent gedrag modelleert.

Concluderend toont de studie aan dat RL-gegenereerde trajecten niet alleen statistisch dichter bij menselijk gedrag liggen, maar functioneel superieur zijn voor het nemen van winstmaximaliserende beslissingen over de winkelindeling.