Offline Dynamic Inventory and Pricing Strategy: Addressing Censored and Dependent Demand

Cet article propose une nouvelle approche pilotée par les données pour optimiser les politiques de tarification et de gestion des stocks en environnement hors ligne, en surmontant les défis posés par la demande censurée et dépendante grâce à l'approximation par des processus de décision markoviens d'ordre élevé et à l'estimation de politiques optimales via des algorithmes inspirés de l'apprentissage par renforcement hors ligne et de l'analyse de survie.

L'essentiel

Imaginez que vous êtes le directeur d'une chaîne de boutiques de vêtements. Votre défi quotidien est double : combien de vêtements commander et à quel prix les vendre pour gagner le plus d'argent possible.

Mais voici le piège : vous ne pouvez pas voir l'avenir, et vos données passées sont trompeuses. C'est exactement ce que résout ce papier de recherche, que nous allons expliquer comme une histoire de détective.

1. Le Problème : Le "Fantôme" des Ventes Manquées

Dans le monde idéal, si vous vendez 100 t-shirts à 20 €, vous savez que la demande était de 100. Mais dans la réalité, vous avez un problème de censure (comme un rideau qui cache une partie de la scène).

• La Scène : Vous avez 50 t-shirts en rayon.
• La Réalité : 80 personnes veulent les acheter.
• Le Résultat : Vous en vendez 50, et 30 personnes partent les mains vides.
• Le Problème : Votre registre de caisse dit "50 ventes". Il ne sait pas qu'il y avait 80 clients. Vous pensez que la demande était faible, alors qu'elle était forte ! C'est comme essayer de deviner la taille d'un poisson en regardant seulement la partie qui dépasse de l'eau.

De plus, les clients sont dépendants les uns des autres. Si vous avez vendu beaucoup hier, les gens s'attendent à ce que vous ayez du stock aujourd'hui, ou au contraire, ils pourraient être déçus si vous n'en avez pas. C'est une chaîne de réactions, pas une série d'événements isolés.

2. L'Obstacle : Pourquoi les anciennes méthodes échouent

Habituellement, les entreprises utilisent des modèles mathématiques (appelés "Processus de Décision de Markov") qui supposent que le futur ne dépend que du présent. Mais ici, à cause des ventes manquées (les 30 clients partis sans acheter), l'histoire est incomplète.

C'est comme si vous jouiez aux échecs, mais que votre adversaire effaçait les coups qu'il a perdus. Vous ne pouvez plus prédire la prochaine étape avec certitude, et la meilleure stratégie change tout le temps. De plus, comme vous n'avez pas de données en temps réel pour tester de nouvelles stratégies (vous devez utiliser les vieux registres), vous ne pouvez pas simplement "essayer et se tromper".

3. La Solution : Le Détective et ses Deux Nouvelles Armes

Les auteurs du papier proposent une méthode intelligente pour résoudre ce casse-tête en utilisant les vieux registres (les données "hors ligne"). Ils utilisent deux concepts clés, que nous pouvons comparer à des outils de détective :

A. La "Mémoire à Long Terme" (MDP d'ordre élevé)

Au lieu de regarder seulement "combien j'ai vendu aujourd'hui", le modèle regarde l'histoire récente : "Combien de fois de suite avons-nous manqué de stock ?".

• L'analogie : Imaginez que vous êtes un météorologue. Au lieu de regarder s'il pleut maintenant, vous regardez s'il a plu pendant 3 jours d'affilée. Si c'est le cas, vous savez que la probabilité qu'il pleuve demain est très différente. Le modèle apprend à compter les "jours de manque de stock" pour deviner la vraie demande cachée.

B. Les Deux Algorithmes (L'Apprentissage et la Survie)

Pour trouver la meilleure stratégie, ils inventent deux nouvelles méthodes :

1. L'Apprentissage par Renforcement "Hors Ligne" : C'est comme un joueur de vidéo-jeu qui regarde des milliers d'heures d'enregistrements de parties de champions pour apprendre à gagner, sans jamais avoir à jouer lui-même. Il analyse les erreurs passées pour ne pas les répéter.
2. L'Analyse de Survie : C'est un outil utilisé par les médecins pour prédire combien de temps un patient survit. Ici, ils l'utilisent pour prédire "combien de temps un client va attendre avant d'acheter ailleurs" si le produit est en rupture de stock. Cela aide à estimer la vraie demande cachée derrière les ventes manquantes.

4. Le Résultat : Une Recette Magique

En combinant ces idées, les chercheurs ont créé un algorithme capable de :

• Deviner la vraie demande même quand les ventes sont limitées par le stock.
• Calculer le prix parfait et la quantité à commander pour maximiser les profits à long terme.
• Prouver mathématiquement que cette méthode fonctionne bien, même avec des données imparfaites.

En Résumé

Ce papier est comme un manuel pour un chef cuisinier qui doit gérer un restaurant très populaire, mais dont le livre de commandes est incomplet (parce que certains clients partent quand il n'y a plus de place).

Au lieu de deviner au hasard, le chef utilise l'histoire des jours de "plein" et de "vide" pour reconstruire la vraie image de la faim des clients. Grâce à cette méthode, il peut enfin commander la bonne quantité d'ingrédients et fixer le bon prix, même s'il ne peut pas voir tous les clients qui sont passés devant la porte.

C'est la première fois qu'une telle méthode est proposée pour apprendre à gérer des stocks et des prix de manière intelligente, en tenant compte de la complexité humaine et des données manquantes.

Résumé technique

Voici un résumé technique détaillé de l'article « Offline Dynamic Inventory and Pricing Strategy: Addressing Censored and Dependent Demand » (Stratégie d'inventaire et de tarification dynamique hors ligne : Traitement de la demande censurée et dépendante), basé sur le résumé fourni.

1. Problématique

L'article s'attaque à un problème complexe de contrôle de séquence hors ligne (offline) combinant la tarification et la gestion des stocks. Le contexte se caractérise par deux défis majeurs :

• Dépendance temporelle de la demande : La demande actuelle dépend non seulement des covariables (features) et du prix actuel, mais aussi des niveaux de demande passés. Cela introduit une dynamique non stationnaire.
• Censure des données (Censored Demand) : Lorsqu'une demande dépasse le stock disponible, l'excédent est perdu (vente manquée). Les données observées ne reflètent que les ventes réelles (min(demande, stock)), masquant la vraie demande. Cela entraîne :
  • Une perte d'information sur le profit potentiel.
  • La rupture de la propriété de Markov dans le processus observé (l'état actuel ne suffit pas pour prédire l'avenir sans connaître l'historique complet des censure).
  • Une politique optimale qui devient non stationnaire.

L'objectif est d'utiliser un jeu de données historique (prix, quantités commandées, niveaux de stock, covariables et ventes censurées) pour estimer une politique optimale de tarification et de réapprovisionnement maximisant le profit à long terme, sans interaction en ligne avec le système.

2. Méthodologie

Les auteurs proposent une approche innovante combinant l'apprentissage par renforcement hors ligne (Offline RL) et l'analyse de survie pour surmonter les obstacles liés à la censure et à la dépendance.

• Approximation par MDP d'ordre élevé :
  Pour restaurer la propriété de Markov malgré la censure, les auteurs approximent la politique optimale en résolvant un Processus de Décision Markovien (MDP) d'ordre élevé. L'état de ce MDP est enrichi pour inclure le nombre d'instances consécutives de censure. Cela permet de modéliser l'impact de la censure passée sur la demande future.
• Équation de Bellman Spécialisée :
  Le problème se réduit à la résolution d'une équation de Bellman adaptée à ce contexte spécifique, tenant compte de la structure de censure et de la dépendance temporelle.
• Algorithmes d'Apprentissage :
  Inspirés par l'apprentissage par renforcement hors ligne et l'analyse de survie (pour gérer les données censurées), les auteurs proposent deux nouveaux algorithmes pilotés par les données :
  1. Ces algorithmes sont conçus pour résoudre les équations de Bellman dérivées.
  2. Ils permettent d'estimer la politique optimale directement à partir des données historiques sans nécessiter de modèle dynamique explicite parfait.

3. Contributions Clés

• Première approche data-driven : À la connaissance des auteurs, il s'agit de la première méthode basée sur les données pour apprendre des politiques de tarification et de gestion des stocks dans un environnement de prise de décision séquentielle caractérisé par une demande à la fois censurée et dépendante.
• Modélisation de la censure et de la dépendance : L'approche résout le problème de la perte de la propriété de Markov causée par la censure en utilisant une approximation d'ordre élevé, une avancée théorique significative par rapport aux modèles MDP standards.
• Garanties théoriques : Les auteurs établissent des bornes de regret à échantillon fini (finite-sample regret bounds), validant mathématiquement l'efficacité et la convergence de leurs algorithmes.
• Outils ouverts : Le code source des algorithmes proposés est rendu public, favorisant la reproductibilité et l'adoption par la communauté.

4. Résultats

• Validation par simulation : Des expériences numériques ont été menées pour démontrer l'efficacité des algorithmes proposés.
• Performance : Les résultats montrent que les algorithmes parviennent à estimer avec succès la politique optimale, surpassant les approches qui ignoreraient soit la censure, soit la dépendance temporelle de la demande.
• Robustesse : La méthode démontre sa capacité à gérer les informations manquantes (ventes perdues) et à exploiter les corrélations temporelles pour améliorer la prise de décision.

5. Signification et Impact

Ce travail comble un vide important dans la littérature sur la gestion des chaînes d'approvisionnement et l'apprentissage automatique. En pratique, de nombreuses entreprises disposent de vastes bases de données historiques où les ventes sont censurées (stock-out) et où la demande fluctue en fonction de l'histoire récente.

• Apport théorique : Il fournit un cadre rigoureux pour traiter la non-stationnarité induite par la censure dans les MDP.
• Apport pratique : Il offre aux praticiens des outils pour optimiser leurs stratégies de prix et de stock en utilisant leurs données existantes, évitant ainsi le coût et le risque des tests A/B en ligne (online testing) dans des environnements complexes.

En résumé, cet article propose une solution robuste et théoriquement fondée pour transformer des données historiques imparfaites (censurées et dépendantes) en politiques de gestion optimales, marquant une étape importante vers l'application réelle de l'apprentissage par renforcement dans la logistique et le pricing dynamique.