🤖 machine learning

Modelling Customer Trajectories with Reinforcement Learning for Practical Retail Insights

Ce papier propose un cadre d'apprentissage par renforcement à entropie maximale pour modéliser les trajectoires des clients dans les espaces de vente au détail, démontrant qu'il surpasse les heuristiques traditionnelles telles que le TSP et le PNN en fournissant des insights plus précis et fondés sur le comportement pour l'optimisation de la disposition des magasins et la maximisation des profits, sans nécessiter de collecte coûteuse de données réelles.

Auteurs originaux : Ken Ming Lee, Paul Barde, Maxime C. Cohen, Derek Nowrouzezahrai

Publié 2026-05-19

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Ken Ming Lee, Paul Barde, Maxime C. Cohen, Derek Nowrouzezahrai

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous possédez une petite épicerie. Votre objectif est simple : gagner le plus d'argent possible. Vous savez que les gens achètent souvent des choses qu'ils n'avaient pas prévues d'acheter — comme une barre de chocolat ou un soda — simplement parce qu'ils les ont vues en marchant dans l'allée. On appelle cela un « achat impulsif ».

Pour inciter les gens à acheter ces articles, vous devez savoir exactement où ils marchent. Si vous placez la barre de chocolat directement sur leur chemin, ils la saisiront. Si vous la cachez dans un coin qu'ils ne visitent jamais, ils ne l'achèteront pas.

Le Problème : Le « Jeu de Devinettes » contre l'« Espion Coûteux»
Pour déterminer où les clients se déplacent, vous avez deux mauvaises options :

L'Espion (Données réelles) : Vous engagez des personnes pour suivre les clients avec des caméras et des cartes. Cela vous donne une information parfaite, mais c'est incroyablement cher et intrusif. La plupart des petites épiceries ne peuvent pas se le permettre.
La Devinette (Heuristiques) : Vous utilisez de simples règles mathématiques pour deviner le parcours.
- La Règle du « Chemin le plus court » (TSP) : Elle suppose que les clients sont des robots qui empruntent toujours l'itinéraire absolument le plus court pour obtenir leurs articles.
- La Règle du « Voisin le plus proche » (PNN) : Elle suppose que les clients sont un peu aléatoires, mais choisissent quand même principalement l'article le plus proche d'eux.

L'article a révélé que ces règles de « devinette » sont erronées dans 28 % des cas. Les vrais humains sont désordonnés. Ils errent, font des détours et ne prennent pas toujours le chemin le plus court. Parce que les devinettes sont si éloignées de la réalité, les propriétaires d'épiceries finissent par placer les produits aux mauvais endroits, manquant ainsi des ventes.

La Solution : Un Élève « Jeu Vidéo »
Les auteurs ont créé une nouvelle méthode pour prédire les parcours des clients en utilisant l'Apprentissage par Renforcement (RL). Imaginez cela comme entraîner un personnage de jeu vidéo (un « agent ») à se comporter comme un vrai client.

Au lieu de simplement dire au personnage de « prendre le chemin le plus court », ils lui ont enseigné une leçon plus humaine :

Obtenir les articles : Vous gagnez des points pour acheter ce dont vous avez besoin.
Être un peu imprévisible : Vous gagnez également des points pour explorer différents itinéraires, pas seulement le même chemin ennuyeux à chaque fois.

Ceci s'appelle l'apprentissage de « l'Entropie Maximale ». Cela force l'ordinateur à réaliser que les humains ne sont pas des robots ; nous avons une « rationalité limitée ». Nous faisons des erreurs, nous nous laissons distraire et nous empruntons différents chemins même lorsque nous achetons les mêmes choses.

Ce qu'ils ont fait
Ils ont utilisé de vraies données provenant d'une épicerie (où ils ont suivi plus de 3 000 vrais clients) pour entraîner leur « élève jeu vidéo ». Ensuite, ils ont demandé à l'élève de simuler 10 000 courses.

Les Résultats : L'Élève Gagne
Lorsqu'ils ont comparé les parcours de l'« élève jeu vidéo » à ceux des vrais humains :

La règle du « Chemin le plus court » a lamentablement échoué. Elle a manqué des sections entières du magasin car elle ne cherchait que l'itinéraire le plus rapide.
La règle du « Voisin le plus proche » était meilleure, mais elle manquait toujours le comportement d'« errance » des vrais humains.
L'Élève RL était le plus proche de la réalité. Il a compris que parfois, les gens traversent le bas du magasin même si le haut est plus court, simplement parce que c'est ainsi qu'ils aiment faire leurs courses.

Pourquoi cela compte pour votre portefeuille
L'article a testé cela en essayant de déplacer un produit spécifique (comme des boissons gazeuses) vers un nouvel étagère pour gagner plus d'argent.

Si vous utilisiez les devinettes du Chemin le plus court ou du Voisin le plus proche, elles vous auraient dit de déplacer le produit vers une étagère qui était en fait vide et rarement visitée. Cela aurait été un gaspillage d'espace.
L'Élève RL a correctement identifié les étagères fréquentées et à fort trafic que les vrais humains traversent réellement.

Lorsqu'ils ont déplacé le produit vers l'endroit suggéré par l'élève RL, le magasin a réalisé presque autant de profit supplémentaire que s'ils avaient utilisé les coûteuses données de l'« Espion ». Les simples règles de devinette ont échoué à trouver le bon endroit.

Le Conclusion
Cet article montre que vous n'avez pas besoin de dépenser une fortune pour suivre chaque client avec des caméras afin d'optimiser votre magasin. À la place, vous pouvez utiliser un modèle informatique intelligent qui apprend à « penser » comme un vrai client. Il comble le fossé entre « trop simple pour être vrai » (les règles de devinette) et « trop cher pour être pratique » (données réelles), offrant aux propriétaires d'épiceries un moyen peu coûteux et précis d'agencer leurs étagères pour un profit maximal.

Résumé Technique : Modélisation des Trajectoires Clients par Apprentissage par Renforcement pour des Insights Pratiques en Vente au Détail

1. Énoncé du Problème

L'objectif central de l'optimisation de la disposition des magasins de détail est la maximisation du profit, principalement pilotée par les achats impulsifs (achats spontanés influencés par le placement et l'exposition des produits). Pour optimiser les dispositions, les détaillants doivent comprendre les schémas de déplacement des clients (trajectoires). Cependant, la collecte de données de trajectoires réelles est coûteuse et souvent irréalisable, en particulier pour les petits détaillants.

Par conséquent, l'industrie s'appuie sur des approximations heuristiques peu coûteuses :

Problème du Voyageur de Commerce (TSP) : Suppose que les clients empruntent le chemin globalement le plus court.
Plus Proche Voisin Probabiliste (PNN) : Modélise un itinéraire stochastique et gourmand où l'article suivant est choisi en fonction de la proximité.

Le Vide : La recherche antérieure indique que les trajectoires réelles des clients s'écartent des estimations du chemin le plus court d'une moyenne de 28 %. Cela crée un compromis : les heuristiques sont peu coûteuses mais irréalistes (échouant à capturer la variabilité comportementale et la rationalité limitée), tandis que les données réelles sont précises mais prohibitivement coûteuses. L'article vise à combler ce vide en proposant une méthode plus précise sur le plan comportemental que les heuristiques, mais plus accessible que la collecte de nouvelles données de vérité terrain.

2. Méthodologie

Les auteurs proposent un cadre de modélisation basé sur des agents où la prédiction de trajectoire client est formulée comme un problème d'Apprentissage par Renforcement à Entropie Maximale (MaxEnt RL).

2.1 Environnement et Données

Source de Données : Coordonnées articulaires 3D anonymisées et paniers de caisse d'un magasin de proximité (collectées de septembre 2023 à février 2024).
Discrétisation : Le magasin est modélisé comme une grille de $16 \times 36$ (50 cm par cellule). L'ensemble de données se concentre sur les 61 produits les plus vendus répartis sur 11 catégories.
Prétraitement : Les trajectoires sont normalisées pour commencer à l'entrée et se terminer à une caisse. Les points invalides sont corrigés, et les trajectoires sont transformées en séquences $(état, action)$.

2.2 Formulation RL

Agent : Les clients sont modélisés comme des agents RL à entropie maximale conditionnels, entraînés à l'aide de l'Optimisation de Politique Proximale (PPO) avec un réseau de neurones convolutif comme colonne vertébrale.
Objectif : L'agent maximise la récompense cumulative attendue tout en maximisant simultanément l'entropie de la politique. Cet objectif dual encourage l'agent à trouver des chemins diversifiés et valides pour la tâche plutôt qu'un unique chemin déterministe le plus court, modélisant ainsi efficacement la rationalité limitée.
Observations : L'agent observe un tenseur 2D multicouche incluant :
- Des cartes d'objets (murs, étagères, produits).
- Le nombre d'étapes et le budget de temps (pour contrôler la durée du trajet).
- Un masque binaire des cellules non visitées.
- Le panier conditionnel (achats prévus) et l'emplacement de la caisse.
Actions : Avancer, tourner à gauche, tourner à droite, et prendre/rendre à la caisse.
Récompense : Basée sur la précision des articles pris, l'utilisation correcte de la caisse et le respect du budget de temps. Une récompense bonus est accordée pour la visite d'états uniques afin d'encourager davantage l'exploration.

2.3 Lignes de Base

L'approche RL est comparée à :

TSP : Calcule l'itinéraire le plus court possible.
PNN : Sélectionne le prochain produit de manière probabiliste basée sur la distance (les articles plus proches sont plus probables).

3. Contributions Clés et Résultats Expérimentaux

L'étude évalue le cadre à travers trois étapes : similarité des trajectoires, estimation du trafic des étagères, et optimisation du taux d'impulsion/profit.

3.1 Précision de la Génération de Trajectoires

En utilisant la Divergence de Jensen-Shannon (JSD) et la Distance de Wasserstein (WD) pour comparer les trajectoires simulées aux données humaines de vérité terrain :

Résultats : Le RL surpasse nettement le TSP et le PNN.
- JSD moyenne : RL (0,476) < PNN (0,676) < TSP (0,777).
- WD moyenne : RL (0,00920) < PNN (0,0142) < TSP (0,0176).
Insight Qualitatif : Le TSP échoue à capturer les comportements multimodaux (par exemple, les clients empruntant des itinéraires plus longs par le bas du magasin). Le PNN capture une certaine stochasticité mais reste biaisé vers les chemins les plus courts. Le MaxEnt RL récupère avec succès des trajectoires valides et diversifiées qui s'alignent sur le comportement humain.

3.2 Estimation de la Densité de Trafic des Étagères

La densité de trafic des étagères ( $\theta_b$ ) est la probabilité qu'une étagère soit visitée.

Méthode : Des trajectoires ont été générées pour marquer les étagères visitées.
Résultats : Les cartes de densité de trafic générées par le RL étaient plus proches de la vérité terrain humaine (JSD/WD plus faibles) que le TSP ou le PNN. Les heuristiques ont échoué à prédire les visites aux étagères qui ne se trouvaient pas sur le chemin le plus court direct entre les articles essentiels et la caisse.

3.3 Estimation des Taux d'Impulsion

Les taux d'impulsion ont été estimés à l'aide de la formule : $P_{achat} = P_{visite\_etagere} \times P_{taux\_impulsion}$ .

Défi : Pour certains clusters de produits (par exemple, le Cluster 2), les trajectoires TSP et PNN n'ont jamais visité les étagères contenant des articles impulsifs (Boissons gazeuses, Fruits/Yogourt), entraînant des erreurs de division par zéro ou des estimations de taux d'impulsion infinies.
Performance RL : Les trajectoires RL ont visité avec succès ces étagères. Bien que les valeurs absolues diffèrent légèrement de la vérité terrain, le RL a préservé l'ordre relatif des taux d'impulsion (identifiant correctement les Boissons gazeuses comme plus impulsives que les Fruits/Yogourt), tandis que les heuristiques ont échoué à les distinguer.

3.4 Optimisation de la Disposition (Repositionnement)

Les auteurs ont simulé le repositionnement d'un seul produit impulsif sur une étagère inoccupée à fort trafic pour maximiser le profit.

Prise de Décision : Seul le RL a identifié le bon produit impulsif « le plus rentable » (Boissons gazeuses) et les bons emplacements d'étagères à fort trafic, correspondant aux décisions dérivées des données humaines réelles. Le TSP et le PNN ont sélectionné des produits et des emplacements sous-optimaux.
Résultat de Profit : Lorsqu'évalué avec des trajectoires humaines, la disposition informée par le RL a généré un gain de profit (0,162 $) comparable à la disposition optimale de vérité terrain. Les dispositions basées sur le TSP et le PNN ont généré des rendements nettement inférieurs (0,090 $ et 0,050 $, respectivement).

4. Signification et Revendications

L'article revendique que le RL à Entropie Maximale fournit une alternative pratique et ancrée dans le comportement aux heuristiques trop simplifiées et aux approches intensives en données.

Combler le Vide : Le RL comble le vide entre l'inexactitude du TSP/PNN et le coût de la collecte de données réelles.
Insights Actionnables : Contrairement aux heuristiques, les prédictions basées sur le RL génèrent des décisions de repositionnement qui s'alignent sur le comportement réel des clients, entraînant des gains de profit comparables à ceux dérivés de données de vérité terrain.
Accessibilité : En publiant le code source et un environnement de jumeau numérique, les auteurs visent à rendre l'optimisation précise de la disposition accessible aux détaillants qui ne peuvent pas se permettre la collecte de données propriétaires.
Limites et Travaux Futurs : Les auteurs reconnaissent que l'entraînement de politiques RL robustes est coûteux en calcul et nécessite actuellement un réentraînement pour de nouvelles dispositions. Ils suggèrent des travaux futurs sur la randomisation de domaine (pour généraliser à travers les dispositions sans réentraînement) et l'optimisation de la disposition de bout en bout où un agent externe ajuste les placements tandis qu'un agent interne modélise le comportement.

En conclusion, l'étude démontre que les trajectoires générées par le RL ne sont pas seulement statistiquement plus proches du comportement humain, mais sont fonctionnellement supérieures pour piloter des décisions d'aménagement de magasin visant à maximiser les profits.