Learning Consumer Preferences from Bundle Sales Data

Technische Samenvatting: Het leren van klantvoorkeuren uit bundelverkoopgegevens

Probleemdefinitie
Dit artikel behandelt de uitdaging van het schatten van de waarderingen van consumenten voor individuele producten met behulp van historische transactiegegevens waarbij producten zowel individueel als in korting verstrekte bundels worden verkocht. Hoewel productbundeling een alomtegenwoordige prijsstrategie is, is het leren van de onderliggende distributie van consumentenwaarderingen uit dergelijke gegevens moeilijk vanwege drie primaire obstakels:

1. Partiële Observeerbaarheid: Transactiegegevens registreren aankoopbeslissingen maar niet de specifieke bereidheid tot betalen (WTP). Een aankoop tegen prijs $p$ onthult alleen dat de waardering ten minste $p$ is, wat leidt tot interval-gecensureerde gegevens.
2. Vraagcensurering: Standaard transactiedatasets laten doorgaans "geen-aankoop"-observaties weg, wat leidt tot selectiebias waarbij klanten met een lage waardering ongeobserveerd blijven.
3. Structurele Complexiteit: Wanneer bundels worden aangeboden, is de utiliteit van een bundel gekoppeld aan de waarderingen van de componenten ervan. Standaard discrete keuzemodellen (bijv. Multinomial Logit) behandelen bundels vaak als onafhankelijke producten, waardoor het niet lukt om de structurele parameters van de individuele productwaarderingen te herstellen.

Bestaande literatuur gaat vaak uit van bekende vraagdistributies of vertrouwt op enquêtegegevens. Dit artikel stelt een datagedreven raamwerk voor om deze distributies direct te leren uit bundelverkooptransacties, een gat dat wordt benadrukt door de praktijk in de industrie waar schatting van de vraag het merendeel van de prijsinspanningen vormt.

Methodologie
De auteurs stellen een maximum likelihood-schattingsraamwerk voor op basis van het Expectation-Maximization (EM) algoritme, aangevuld met Monte Carlo-simulatie.

• Modelformulering: Het basismodel gaat ervan uit dat de consumentenwaarderingen voor $I$ producten een multivariate Gaussische distributie volgen, $V \sim \mathcal{N}(\mu, \Sigma)$. De utiliteit van een bundel wordt gedefinieerd als de som van de waarderingen van de componenten (additieve utiliteit).
• Gecensureerde Polyeders: Het kerninzicht is dat een geobserveerde aankoopbeslissing $c_n = j$ de waardatievector $v_n$ niet onthult, maar een polyhedraal gebied $R^j_n$ identificeert in de waardatieruimte waar $v_n$ moet liggen, gedefinieerd door incentive-compatibele (IC) beperkingen (d.w.z. de gekozen bundel biedt een hogere utiliteit dan alle andere beschikbare opties en de buitenoptie).
• EM-algoritme met Monte Carlo:
  • E-stap: Omdat de likelihoodfunctie integralen van de multivariate normale verdeling over deze hoogdimensionale polyhedrale gebieden omvat (die geen gesloten vorm hebben), gebruiken de auteurs Monte Carlo-simulatie om de verwachte complete-data log-likelihood te benaderen. Ze gebruiken een acceptatie-rejectiemethode om waardatievectoren te samplen uit de afgeknotte normale verdeling die door de IC-polyeders wordt gedefinieerd.
  • M-stap: Gegeven de Monte Carlo-samples worden de parameters $\mu$ en $\Sigma$ bijgewerkt met behulp van standaard closed-form maximum likelihood-schatters voor de multivariate normale verdeling.
• Extensies:
  • Productsynergie: Het raamwerk wordt uitgebreid om niet-additieve utiliteiten te behandelen waarbij bundels complementariteit of substitueerbaarheid vertonen (synergie-effecten). Dit wordt gemodelleerd via een paargewijkte interactiematrix $A$. Om de niet-differentieerbaarheid van de IC-beperkingen met betrekking tot $A$ aan te pakken, introduceren de auteurs een differentieerbare surrogaat met behulp van een sigmoidfunctie om de harde beperkingen te verzachten, wat gradiëntgebaseerde optimalisatie van $A$ binnen de M-stap mogelijk maakt.
  • Gecensureerde Vraag: Het model wordt uitgebreid om rekening te houden met ongeobserveerde geen-aankoopbeslissingen. Het totaal aantal klanten (inclusclusief niet-kopers) wordt behandeld als een latente variabele, gemodelleerd via een negatief binomiale verdeling, en geïntegreerd in de E-stap.
  • Gaussian Mixture Models (GMM): Het raamwerk faciliteert geclusterde marktsegmenten door de waardatieverdeling toe te staan een mengeling van Gaussische verdelingen te zijn.

Belangrijkste Bijdragen

1. Herformulering als ontbrekende data: Het artikel herformuleert bundeltransactiegegevens als een schattingsprobleem van ontbrekende data over hoogdimensionale polyhedrale gebieden (IC-polyeders), waarmee het concept van interval-gecensureerde gegevens generaliseert naar meerdere dimensies.
2. Schaalbaar Algoritme: Het voorgestelde EM-algoritme, gecombineerd met Monte Carlo-simulatie en importance sampling-technieken, maakt de schatting van waardatieverdelingen mogelijk voor tot 6 producten en 10.000 transacties. De auteurs merken op dat geen enkel bekend algoritme schatting op deze schaal kan afhandelen voor willekeurige bundelprijsmenu's.
3. Theoretische Garanties:
   • Identificeerbaarheid: Het artikel stelt voldoende voorwaarden vast waaronder het model identificeerbaar is. Specifiek bewijzen zij dat als artikelen afzonderlijk worden verkocht tegen reguliere prijzen en ten minste één afwijkende promotieprijs, de parameters $(\mu, \Sigma)$ uniek kunnen worden hersteld.
   • Convergentie: Door het raamwerk van Balakrishnan et al. (2017) aan te passen, bieden de auteurs voorwaarden waaronder de populatie-EM-operator lokaal contractief is, wat convergentie naar de ware parameters garandeert als de initialisatie binnen een specifieke basin of attractie valt.
4. Empirische Validatie: De aanpak wordt gevalideerd met synthetische datasets en een grootschalige real-world dataset van JD.com.

Resultaten

• Synthetische Data: Numerieke experimenten tonen aan dat het algoritme stabiel convergeert en dat de schattingsnauwkeurigheid (gemeten aan de hand van de $\ell_1$-fout) verbetert met de steekproefomvang. De methode presteert beter dan een Bayesiaanse benchmark (gebaseerd op Jedidi et al., 2003) in termen van parameterherstel, met name in hogere dimensies, ondanks het behalen van vergelijkbare log-likelihood scores.
• Vergelijking met MNL: Wanneer het wordt vergeleken met een misgespecificeerd Multinomial Logit (MNL) model dat bundels als onafhankelijke producten behandelt, presteert het voorgestelde Gaussische model aanzienlijk beter dan MNL in termen van out-of-sample log-likelihood en Root Mean Squared Error (RMSE), wat het belang van het modelleren van de structurele afhankelijkheid tussen bundels en componenten benadrukt.
• Synergie en Censurering: De uitgebreide modellen herstellen succesvol synergieparameters en gaan om met gecensureerde vraag, waarbij wordt aangetoond dat hoewel censurering de parameterfout vergroot, het model een hoge voorspellende log-likelihood behoudt.
• Real-World Data (JD.com): Toegepast op een dataset van bijna 500.000 transacties, presteren de voorgestelde modellen (Base, Synergy, en GMM) consequent beter dan zowel de MNL als de Bayesiaanse benchmarks op het gebied van log-likelihood, RMSE en top-$k$ nauwkeurigheidsmetrieken. Alleen het Base-model bood significante verbeteringen ten opzichte van de benchmarks, waarbij Synergy en GMM marginale maar consistente winsten boden.

Betekenis en Claims
Het artikel beweert een praktisch, datagedreven raamwerk te bieden voor retailers om consumentenvoorkeuren te leren uit bundelverkoopgegevens, een taak die momenteel moeilijk is vanwege de beperkingen van standaard discrete keuzemodellen in de aanwezigheid van bundels. De auteurs benadrukken dat hun aanpak de kloof overbrugt tussen theoretische prijsmechanismen (die vaak uitgaan van bekende waarderingen) en praktische implementatie (die het leren van waarderingen uit data vereist).

De betekenis ligt in:

• Praktische Begeleiding: Het bieden van een computationeel haalbaar algoritme voor retailers om vraagdistributies te schatten in complexe bundelomgevingen.
• Theoretische Rigor: Het leveren van de eerste identificeerbaarheid en lokale convergentieresultaten voor bundelverkoopschattingsproblemen.
• Flexibiliteit: Het aantonen dat het raamwerk kan worden uitgebreid om niet-additieve synergieën en ongeobserveerde geen-aankopen te vangen zonder de computationele traceerbaarheid op te offeren.

De auteurs blijven bescheiden over toekomstige richtingen en merken op dat hoewel hun methode effectief is, er nog steeds uitdagingen zijn bij het afhandelen van competitieve prijsinschatting met gecensureerde concurrentiegegevens, het verfijnen van Monte Carlo-foutgrenzen en het automatisch bepalen van het aantal componenten in Gaussian mixture models.