Learning Consumer Preferences from Bundle Sales Data

Résumé technique : Apprentissage des préférences des clients à partir des données de ventes de lots (bundles)

Définition du problème
Cet article traite du défi consistant à estimer les évaluations des consommateurs pour des produits individuels à partir de données de transactions historiques où les produits sont vendus à la fois individuellement et sous forme de lots à prix réduit. Bien que la vente de lots soit une stratégie de tarification omniprésente, l'apprentissage de la distribution sous-jacente des évaluations des consommateurs à partir de ces données est difficile en raison de trois obstacles principaux :

1. Observabilité partielle : Les données de transaction enregistrent les décisions d'achat mais pas la volonté de payer (WTP) spécifique. Un achat à un prix $p$ révèle seulement que l'évaluation est au moins égale à $p$, ce qui crée des données censurées par intervalle.
2. Censure de la demande : Les ensembles de données de transactions standards omettent généralement les observations de « non-achat », ce qui entraîne un biais de sélection où les clients ayant une faible évaluation ne sont pas observés.
3. Complexité structurelle : Lorsque des lots sont proposés, l'utilité d'un lot est liée aux évaluations de ses composants. Les modèles de choix discrets standards (par exemple, le Multinomial Logit) traitent souvent les lots comme des produits indépendants, échouant ainsi à récupérer les paramètres structurels des évaluations des produits individuels.

La littérature existante suppose souvent des distributions de demande connues ou s'appuie sur des données d'enquête. Cet article propose un cadre piloté par les données pour apprendre ces distributions directement à partir des transactions de ventes de lots, un écart souligné par les pratiques industrielles où l'estimation de la demande constitue la majeure partie des efforts de tarification.

Méthodologie
Les auteurs proposent un cadre d'estimation du maximum de vraisemblance basé sur l'algorithme d'Espérance-Maximisation (EM), augmenté par une simulation de Monte Carlo.

• Formulation du modèle : Le modèle de base suppose que les évaluations des consommateurs pour $I$ produits suivent une distribution gaussienne multivariée, $V \sim \mathcal{N}(\mu, \Sigma)$. L'utilité d'un lot est définie comme la somme des évaluations de ses composants (utilité additive).
• Polyèdres censurés : L'idée centrale est qu'une décision d'achat observée $c_n = j$ ne révèle pas le vecteur d'évaluation $v_n$, mais identifie une région polyédrique $R^j_n$ dans l'espace des évaluations où $v_n$ doit se situer, définie par des contraintes d'incitation à la compatibilité (IC) (c'est-à-dire que le lot choisi offre une utilité supérieure à toutes les autres options disponibles et à l'option extérieure).
• Algorithme EM avec Monte Carlo :
  • Étape E : Puisque la fonction de vraisemblance implique des intégrales de la distribution normale multivariée sur ces régions polyédriques de haute dimension (qui ne possèdent pas de solutions sous forme close), les auteurs utilisent la simulation de Monte Carlo pour approximer l'espérance de la log-vraisemblance des données complètes. Ils emploient une méthode de rejet-acceptation pour échantillonner des vecteurs d'évaluation à partir de la distribution normale tronquée définie par les polyèdres IC.
  • Étape M : Étant donné les échantillons de Monte Carlo, les paramètres $\mu$ et $\Sigma$ sont mis à jour à l'aide des estimateurs classiques du maximum de vraisemblance pour la distribution normale multivariée.
• Extensions :
  • Synergie de produit : Le cadre est étendu pour gérer les utilités non additives où les lots présentent des effets de complémentarité ou de substituabilité (effets de synergie). Cela est modélisé via une matrice d'interaction par paires $A$. Pour gérer la non-différentiabilité des contraintes IC par rapport à $A$, les auteurs introduisent un substitut différentiable utilisant une fonction sigmoïde pour lisser les contraintes strictes, permettant l'optimisation par gradient de $A$ au sein de l'étape M.
  • Demande censurée : Le modèle est étendu pour tenir compte des décisions de non-achat non observées. Le nombre total de clients (incluant les non-acheteurs) est traité comme une variable latente, modélisée via une distribution binomiale négative, et intégrée dans l'étape E.
  • Modèles de mélange gaussien (GMM) : Le cadre accepte les segments de marché regroupés en permettant à la distribution des évaluations d'être un mélange de gaussiennes.

Contributions clés

1. Reformulation en tant que données manquantes : L'article reformule les données de transaction de lots comme un problème d'estimation de données manquantes sur des régions polyédriques de haute dimension (polyèdres IC), généralisant le concept de données censurées par intervalle à plusieurs dimensions.
2. Algorithme scalable : L'algorithme EM proposé, combiné à la simulation de Monte Carlo et aux techniques d'échantillonnage préférentiel (importance sampling), permet l'estimation des distributions d'évaluation pour jusqu'à 6 produits et 10 000 transactions. Les auteurs notent qu'aucun algorithme connu ne peut gérer l'estimation à cette échelle pour des menus de prix de lots arbitraires.
3. Garanties théoriques :
   • Identifiabilité : L'article établit des conditions suffisantes pour que le modèle soit identifiable. Plus précisément, il prouve que si les articles sont vendus séparément à des prix réguliers et à au moins un prix promotionnel distinct, les paramètres $(\mu, \Sigma)$ peuvent être récupérés de manière unique.
   • Convergence : En adaptant le cadre de Balakrishnan et al. (2017), les auteurs fournissent des conditions dans lesquelles l'opérateur EM de la population est localement contractant, garantissant la convergence vers les vrais paramètres si l'initialisation se fait dans un bassin d'attraction spécifique.
4. Validation empirique : L'approche est validée à l'aide de jeux de données synthétiques et d'un jeu de données réelles à grande échelle provenant de JD.com.

Résultats

• Données synthétiques : Les expériences numériques démontrent que l'algorithme converge de manière stable et que la précision de l'estimation (mesurée par l'erreur $\ell_1$) s'améliore avec la taille de l'échantillon. La méthode surpasse un benchmark bayésien (basé sur Jedidi et al., 2003) en termes de récupération de paramètres, particulièrement dans les dimensions supérieures, malgré l'obtention de scores de log-vraisemblance similaires.
• Comparaison avec MNL : Comparé à un modèle Multinomial Logit (MNL) mal spécifié qui traite les lots comme des produits indépendants, le modèle gaussien proposé surpasse significativement le MNL en termes de log-vraisemblance hors échantillon et d'erreur quadratique moyenne (RMSE), soulignant l'importance de modéliser la dépendance structurelle entre les lots et leurs composants.
• Synergie et censure : Les modèles étendus récupèrent avec succès les paramètres de synergie et gèrent la demande censurée, montrant que bien que la censure augmente l'erreur de paramètre, le modèle maintient une log-vraisemblance prédictive élevée.
• Données réelles (JD.com) : Appliqué à un ensemble de près de 500 000 transactions, les modèles proposés (Base, Synergie et GMM) surpassent systématiquement le MNL et les benchmarks bayésiens en termes de log-vraisemblance, de RMSE et de précision top-$k$. Le modèle de base seul a fourni des améliorations significatives par rapport aux benchmarks, la Synergie et le GMM offrant des gains marginaux mais constants.

Signification et affirmations
L'article affirme fournir un cadre pratique et piloté par les données pour que les détaillants puissent apprendre les préférences des consommateurs à partir des données de ventes de lots, une tâche actuellement difficile en raison des limites des modèles de choix discrets standards en présence de lots. Les auteurs soulignent que leur approche comble le fossé entre les mécanismes de tarification théoriques (qui supposent souvent des évaluations connues) et la mise en œuvre pratique (qui nécessite d'apprendre les évaluations à partir des données).

La signification réside dans :

• Orientation pratique : Offrir un algorithme informatiquement réalisable pour les détaillants afin d'estimer les distributions de demande dans des environnements de vente de lots complexes.
• Rigueur théorique : Fournir les premiers résultats d'identifiabilité et de convergence locale pour les problèmes d'estimation de ventes de lots.
• Flexibilité : Démontrer que le cadre peut être étendu pour capturer les synergies non additives et les non-achats non observés sans sacrifier la tractabilité computationnelle.

Les auteurs restent modestes quant aux directions futures, notant que bien que leur méthode soit efficace, des défis subsistent pour gérer l'estimation des prix concurrentiels avec des données de concurrents censurées, affiner les bornes d'erreur de Monte Carlo et déterminer automatiquement le nombre de composantes dans les modèles de mélange gaussien.