🤖 machine learning

Modelling Customer Trajectories with Reinforcement Learning for Practical Retail Insights

Questo articolo propone un framework di apprendimento per rinforzo a massima entropia per modellare le traiettorie dei clienti negli spazi retail, dimostrando che supera gli euristiche tradizionali come TSP e PNN fornendo intuizioni più accurate e fondate sul comportamento per l'ottimizzazione del layout del negozio e la massimizzazione dei profitti senza richiedere costose raccolte di dati nel mondo reale.

Autori originali: Ken Ming Lee, Paul Barde, Maxime C. Cohen, Derek Nowrouzezahrai

Pubblicato 2026-05-19

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Ken Ming Lee, Paul Barde, Maxime C. Cohen, Derek Nowrouzezahrai

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di possedere un piccolo minimarket. Il tuo obiettivo è semplice: guadagnare più denaro possibile. Sai che le persone spesso acquistano cose che non avevano pianificato di comprare – come una barretta di cioccolato o una bibita – semplicemente perché le hanno viste mentre camminavano lungo il corridoio. Questo è chiamato "acquisto d'impulso".

Per spingere le persone ad acquistare questi articoli, devi sapere esattamente dove camminano. Se metti la barretta di cioccolato proprio sul loro percorso, la prenderanno. Se la nascondi in un angolo che non visitano mai, non la prenderanno.

Il Problema: Il "Gioco delle Indovinate" contro la "Spia Costosa"
Per capire dove camminano i clienti, hai due opzioni negative:

La Spia (Dati Reali): Assumi persone per seguire i clienti con telecamere e mappe. Questo ti dà informazioni perfette, ma è incredibilmente costoso e invasivo. La maggior parte dei piccoli negozi non può permetterselo.
L'Indovinata (Euristiche): Usi semplici regole matematiche per indovinare il percorso.
- La Regola del "Percorso Più Breve" (TSP): Questa presuppone che i clienti siano robot che prendono sempre il percorso assolutamente più breve per ottenere i loro articoli.
- La Regola del "Vicino Più Prossimo" (PNN): Questa presuppone che i clienti siano un po' casuali, ma scelgano comunque per lo più l'articolo più vicino a loro.

Lo studio ha scoperto che queste regole di "indovinata" sono sbagliate nel 28% dei casi. Le persone reali sono disordinate. Si aggirano, fanno deviazioni e non prendono sempre il percorso più breve. Poiché le ipotesi sono così errate, i proprietari dei negozi finiscono per posizionare i prodotti nei posti sbagliati, perdendo vendite.

La Soluzione: Uno Studente "Videogioco"
Gli autori hanno creato un nuovo modo per prevedere i percorsi dei clienti utilizzando l'Apprendimento per Rinforzo (RL). Pensa a questo come all'addestramento di un personaggio di un videogioco (un "agente") a comportarsi come un vero acquirente umano.

Invece di dire semplicemente al personaggio di "prendere il percorso più breve", gli hanno insegnato una lezione più umana:

Ottieni gli articoli: Ricevi punti per acquistare ciò di cui hai bisogno.
Sii un po' imprevedibile: Ricevi anche punti per esplorare percorsi diversi, non sempre lo stesso noioso ogni volta.

Questo è chiamato apprendimento "Massima Entropia". Costringe il computer a rendersi conto che gli umani non sono robot; abbiamo una "razionalità limitata". Commettiamo errori, ci distraiamo e prendiamo percorsi diversi anche quando acquistiamo le stesse cose.

Cosa Hanno Fatto
Hanno preso dati reali da un minimarket (dove hanno tracciato oltre 3.000 acquirenti reali) e li hanno usati per addestrare il loro "studente videogioco". Poi, hanno chiesto allo studente di simulare 10.000 acquisti.

I Risultati: Lo Studente Vince
Quando hanno confrontato i percorsi dello "studente videogioco" con quelli degli umani reali:

La regola del "Percorso Più Breve" ha fallito miseramente. Ha perso intere sezioni del negozio perché cercava solo il percorso più veloce.
La regola del "Vicino Più Prossimo" era migliore, ma mancava comunque il comportamento di "vagabondaggio" delle persone reali.
Lo Studente RL era la corrispondenza più vicina. Ha capito che a volte le persone camminano attraverso la parte inferiore del negozio anche se la parte superiore è più breve, semplicemente perché è così che amano fare la spesa.

Perché Questo Conta per il Tuo Portafoglio
Lo studio ha testato questo cercando di spostare un prodotto specifico (come le Bibite) su un nuovo scaffale per guadagnare più denaro.

Se avessi usato le ipotesi di Percorso Più Breve o Vicino Più Prossimo, ti avrebbero detto di spostare il prodotto su uno scaffale che era effettivamente vuoto e visitato raramente. Questo sarebbe stato uno spreco di spazio.
Lo Studente RL ha correttamente identificato gli scaffali affollati e ad alto traffico che gli umani reali attraversano davvero.

Quando hanno spostato il prodotto nel punto suggerito dallo studente RL, il negozio ha guadagnato quasi lo stesso extra-profitto che avrebbero ottenuto usando i dati costosi della "Spia". Le semplici regole di indovinata non sono riuscite a trovare il posto giusto.

La Conclusione
Questo studio dimostra che non hai bisogno di spendere una fortuna tracciando ogni cliente con le telecamere per ottimizzare il tuo negozio. Invece, puoi utilizzare un modello informatico intelligente che impara a "pensare" come un acquirente umano. Colma il divario tra "troppo semplice per essere vero" (le regole di indovinata) e "troppo costoso per essere pratico" (dati reali), offrendo ai proprietari dei negozi un modo economico e accurato per disporre i loro scaffali per il massimo profitto.

Riepilogo Tecnico: Modellazione delle Traiettorie dei Clienti con Apprendimento per Rinforzo per Insight Pratici nel Retail

1. Enunciato del Problema

L'obiettivo centrale dell'ottimizzazione del layout dei negozi al dettaglio è la massimizzazione del profitto, guidata principalmente dagli acquisti d'impulso (acquisti spontanei influenzati dal posizionamento e dall'esposizione dei prodotti). Per ottimizzare i layout, i rivenditori devono comprendere i modelli di movimento dei clienti (traiettorie). Tuttavia, la raccolta di dati reali sulle traiettorie è costosa e spesso non fattibile, in particolare per i rivenditori più piccoli.

Di conseguenza, il settore si affida a approssimazioni euristico-economiche:

Problema del Commesso Viaggiatore (TSP): Assume che i clienti percorrano il percorso globalmente più breve.
Vicino più Vicino Probabilistico (PNN): Modella un percorso stocastico e greedy in cui il prossimo articolo è scelto in base alla prossimità.

Il Divario: Ricerche precedenti indicano che le traiettorie reali dei clienti si discostano dalle stime del percorso più breve in media del 28%. Questo crea un compromesso: le euristiche sono economiche ma irrealistiche (non riescono a catturare la variabilità comportamentale e la razionalità limitata), mentre i dati reali sono accurati ma proibitivamente costosi. Il documento mira a colmare questo divario proponendo un metodo più accurato dal punto di vista comportamentale rispetto alle euristiche, ma più accessibile rispetto alla raccolta di nuovi dati di verità fondamentale.

2. Metodologia

Gli autori propongono un framework di modellazione basata su agenti in cui la previsione delle traiettorie dei clienti è formulata come un problema di Apprendimento per Rinforzo a Massima Entropia (MaxEnt RL).

2.1 Ambiente e Dati

Fonte Dati: Coordinate 3D delle articolazioni anonimizzate e carrelli di cassa da un negozio di alimentari (raccolti da settembre 2023 a febbraio 2024).
Discretizzazione: Il negozio è modellato come una griglia $16 \times 36$ (50 cm per cella). Il dataset si concentra sui 61 prodotti più venduti in 11 categorie.
Preprocessing: Le traiettorie sono normalizzate per iniziare all'ingresso e terminare alla cassa. I punti invalidi sono corretti e le traiettorie sono trasformate in sequenze $(stato, azione)$.

2.2 Formulazione RL

Agente: I clienti sono modellati come agenti MaxEnt RL condizionati, addestrati utilizzando Proximal Policy Optimization (PPO) con un backbone di rete neurale convoluzionale.
Obiettivo: L'agente massimizza la ricompensa cumulativa attesa massimizzando simultaneamente l'entropia della politica. Questo doppio obiettivo incoraggia l'agente a trovare percorsi diversi e validi per il compito, piuttosto che un singolo percorso deterministico più breve, modellando efficacemente la razionalità limitata.
Osservazioni: L'agente osserva un tensore 2D multistrato comprendente:
- Mappe degli oggetti (muri, scaffali, prodotti).
- Conteggio dei passi e budget temporale (per controllare la durata della visita).
- Una maschera binaria delle celle non visitate.
- Carrello condizionato (acquisti previsti) e posizione della cassa.
Azioni: Avanzare, girare a sinistra, girare a destra, prelevare/andare alla cassa.
Ricompensa: Basata sull'accuratezza degli articoli prelevati, sull'uso corretto della cassa e sul rispetto del budget temporale. Viene concessa una ricompensa bonus per la visita di stati unici per incoraggiare ulteriormente l'esplorazione.

2.3 Baseline

L'approccio RL è confrontato con:

TSP: Calcola il percorso possibile più breve.
PNN: Seleziona il prossimo prodotto in modo probabilistico basato sulla distanza (gli articoli più vicini sono più probabili).

3. Contributi Chiave e Risultati Sperimentali

Lo studio valuta il framework attraverso tre fasi: similarità delle traiettorie, stima del traffico sugli scaffali e ottimizzazione del tasso di impulso/profitto.

3.1 Accuratezza nella Generazione di Traiettorie

Utilizzando la Divergenza Jensen-Shannon (JSD) e la Distanza di Wasserstein (WD) per confrontare le traiettorie simulate con i dati umani reali:

Risultati: RL ha superato significativamente sia TSP che PNN.
- JSD Media: RL (0,476) < PNN (0,676) < TSP (0,777).
- WD Media: RL (0,00920) < PNN (0,0142) < TSP (0,0176).
Insight Qualitativo: TSP non riesce a catturare comportamenti multimodali (ad esempio, clienti che percorrono rotte più lunghe attraverso la parte inferiore del negozio). PNN cattura una certa stocasticità ma rimane ancora distorto verso i percorsi più brevi. MaxEnt RL recupera con successo traiettorie diverse e valide che si allineano al comportamento umano.

3.2 Stima della Densità di Traffico sugli Scaffali

La densità di traffico sugli scaffali ( $\theta_b$ ) è la probabilità che uno scaffale venga visitato.

Metodo: Sono state generate traiettorie per segnare gli scaffali visitati.
Risultati: Le mappe di densità del traffico generate da RL erano più vicine alla verità fondamentale umana (JSD/WD inferiori) rispetto a TSP o PNN. Le euristiche non sono riuscite a prevedere visite agli scaffali che non si trovavano sul percorso più breve diretto tra gli articoli essenziali e la cassa.

3.3 Stima dei Tassi di Impulso

I tassi di impulso sono stati stimati utilizzando la formula: $P_{acquisto} = P_{visita\_scaffale} \times P_{tasso\_impulso}$ .

Sfida: Per certi cluster di prodotti (ad esempio, Cluster 2), le traiettorie TSP e PNN non hanno mai visitato gli scaffali contenenti articoli d'impulso (Bevande Analcoliche, Frutta/Yogurt), portando a errori di divisione per zero o stime infinite del tasso di impulso.
Performance RL: Le traiettorie RL hanno visitato con successo questi scaffali. Sebbene i valori assoluti differissero leggermente dalla verità fondamentale, RL ha preservato l'ordinamento relativo dei tassi di impulso (identificando correttamente le Bevande Analcoliche come più impulsive rispetto a Frutta/Yogurt), mentre le euristiche non sono riuscite a distinguerle.

3.4 Ottimizzazione del Layout (Riposizionamento)

Gli autori hanno simulato il riposizionamento di un singolo prodotto d'impulso su uno scaffale non occupato ad alto traffico per massimizzare il profitto.

Processo Decisionale: Solo RL ha identificato il corretto prodotto "più profittevole" (Bevande Analcoliche) e le corrette posizioni degli scaffali ad alto traffico, corrispondendo alle decisioni derivate dai dati umani reali. TSP e PNN hanno selezionato prodotti e posizioni subottimali.
Risultato sul Profitto: Quando valutato con traiettorie umane, il layout informato da RL ha prodotto un guadagno di profitto (0,162 $) comparabile al layout ottimale di verità fondamentale. I layout basati su TSP e PNN hanno prodotto rendimenti significativamente inferiori (0,090 $e 0,050$ , rispettivamente).

4. Significato e Affermazioni

Il documento afferma che l'RL a Massima Entropia fornisce un'alternativa pratica e fondata sul comportamento sia alle euristiche eccessivamente semplificate che agli approcci intensivi di dati.

Colmare il Divario: RL colma il vuoto tra l'imprecisione di TSP/PNN e il costo della raccolta di dati reali.
Insight Azionabili: A differenza delle euristiche, le previsioni basate su RL producono decisioni di riposizionamento che si allineano al comportamento reale dei clienti, risultando in guadagni di profitto comparabili a quelli derivati da dati di verità fondamentale.
Accessibilità: Pubblicando il codice sorgente e un ambiente "digital twin", gli autori mirano a rendere l'ottimizzazione accurata del layout accessibile ai rivenditori che non possono permettersi la raccolta di dati proprietari.
Limitazioni e Lavori Futuri: Gli autori riconoscono che l'addestramento di politiche RL robuste è computazionalmente costoso e attualmente richiede un riaddestramento per nuovi layout. Suggeriscono lavori futuri sulla randomizzazione del dominio (per generalizzare tra i layout senza riaddestramento) e sull'ottimizzazione end-to-end del layout, dove un agente esterno regola i posizionamenti mentre un agente interno modella il comportamento.

In conclusione, lo studio dimostra che le traiettorie generate da RL non sono solo statisticamente più vicine al comportamento umano, ma sono funzionalmente superiori per guidare decisioni di layout del negozio che massimizzano il profitto.