📊 statistics

Conjugating Variational Inference for Large Mixed Multinomial Logit Models and Consumer Choice

Dit artikel introduceert een nieuwe, schaalbare variatie-inferentiemethode voor het efficiënt schatten van grote gemengde multinomiale logit-modellen, die betere voorspellingen en inzichten in consumentenheterogeniteit biedt dan bestaande benaderingen.

Oorspronkelijke auteurs: Weiben Zhang, Ruben Loaiza-Maya, Michael Stanley Smith, Worapree Maneesoonthorn

Gepubliceerd 2026-02-20

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Weiben Zhang, Ruben Loaiza-Maya, Michael Stanley Smith, Worapree Maneesoonthorn

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Samenvatting: Hoe een slimme wiskundige truc ons helpt begrijpen waarom mensen pasta kopen

Stel je voor dat je een supermarktmanager bent. Je wilt precies weten: Waarom koopt meneer Jansen in de grote stadssupermarkt liever dure Barilla-pasta, terwijl mevrouw De Vries in de kleine dorpswinkel kiest voor het huismerk? En nog belangrijker: Hoe reageren ze op prijsverlagingen of aanbiedingen?

Dit is de vraag die dit wetenschappelijke artikel beantwoordt. De auteurs hebben een nieuwe, slimme rekenmethode bedacht om deze enorme hoeveelheid data te analyseren. Hier is de uitleg in simpele taal, met een paar verhelderende vergelijkingen.

1. Het Probleem: Een overweldigende berg data

In de wereld van consumentengedrag zijn mensen niet allemaal hetzelfde. Iedereen heeft zijn eigen smaak, budget en voorkeuren. In de statistiek noemen we dit heterogeniteit (verschil).

Om dit te modelleren gebruiken wetenschappers vaak "Mixed Multinomial Logit" modellen. Dat klinkt als een ingewikkeld woord voor een simpel idee: een model dat niet één gemiddelde voor iedereen neemt, maar voor elke winkel (en zelfs elk product) een eigen "smaakprofiel" berekent.

Het probleem:
Stel je voor dat je 500.000 aankoopbonnen hebt van 381 verschillende winkels. Als je probeert om voor elke winkel en elk product een eigen berekening te maken, krijg je een wiskundige hel. De berekeningen worden zo zwaar dat zelfs de snelste computers er dagen over doen, of ze geven gewoon de geest. De oude methoden zijn te traag of te onnauwkeurig voor deze enorme datasets.

2. De Oplossing: De "Conjugating" Truc (CVI)

De auteurs (Zhang, Loaiza-Maya, Smith en Maneesoonthorn) hebben een nieuwe methode bedacht die ze CVI noemen. Laten we dit uitleggen met een analogie:

De Oude Methode (DAVI): Stel je voor dat je een leraar hebt die elke leerling (winkel) afzonderlijk moet onderwijzen. Hij moet voor elke leerling een heel nieuw lesplan maken en dat plan constant herschrijven terwijl hij lesgeeft. Dit kost enorm veel tijd.
De Nieuwe Methode (CVI): De auteurs zeggen: "Wacht even. Laten we een groot, flexibel raamwerk maken dat voor bijna iedereen werkt." Ze gebruiken een slimme wiskundige truc (een 'tweede-orde Taylor-expansie', wat klinkt als wiskundig jargon, maar is eigenlijk een manier om een kromme lijn te benaderen met een rechte lijn).
- In plaats van elke keer alles opnieuw te berekenen, maken ze een schatting (een 'proxy') van wat de beste les is. Ze updaten deze schatting niet constant, maar alleen af en toe.
- De metafoor: Het is alsof je een GPS gebruikt. Je hoeft niet elke seconde de hele kaart opnieuw te tekenen. Je weet ongeveer waar je bent, en je past je route alleen aan als je echt een afslag mist. Hierdoor gaat het veel sneller, maar blijft het nog steeds heel nauwkeurig.

3. Wat hebben ze ontdekt? (De Pasta-studie)

Ze hebben hun nieuwe methode getest op een gigantische dataset van een Amerikaanse supermarktketen, specifiek over pasta. Ze keken naar 381 winkels en meer dan een half miljoen transacties.

Hier zijn de belangrijkste bevindingen, vertaald naar het dagelijks leven:

Merk is belangrijker dan type:
Mensen zijn niet zo gek op welk type pasta ze eten (bijvoorbeeld spaghetti vs. penne), maar ze zijn wel heel specifiek in hun merkkeuze. De voorkeur voor een merk (zoals Barilla of het huismerk) varieert enorm per winkel.
- Vergelijking: Het maakt voor de klant niet uit of ze een blauwe of rode sok dragen, maar ze zijn wel heel kieskeurig of ze Nike of Adidas dragen.
Grote winkels = Prijsgevoelige klanten:
Klanten in grote, goedkope supermarkten reageren veel sterker op prijsverlagingen dan klanten in kleine, dure winkels.
- Vergelijking: In een groot warenhuis met 50 soorten pasta is er veel keuze. Als de prijs van Barilla iets daalt, springen mensen daar direct op in. In een klein dorpje met maar twee merken is er minder keuze, dus mensen kopen gewoon wat ze altijd kopen, ongeacht de prijs.
De "Bundel" Truc:
Ze keken ook naar het kopen van pasta samen met tomatensaus. Ze ontdekten dat als je meekijkt naar de saus, je de pasta-keuze nog beter kunt voorspellen.
- Interessant detail: Mensen kopen pasta en saus vaak niet tegelijkertijd in dezelfde winkelreis. Waarom? Omdat je een pot saus maandenlang kunt bewaren, maar een doos pasta sneller op is. Mensen "staggeren" hun inkopen. Als je dit in het model meeneemt, worden de voorspellingen veel beter.

4. Waarom is dit belangrijk?

Vroeger moesten bedrijven kiezen tussen:

Snelheid: Een simpel model dat snel is, maar de echte verschillen tussen klanten mist.
Nauwkeurigheid: Een complex model dat alles ziet, maar maanden duurt om te berekenen.

Met hun nieuwe CVI-methode kunnen ze nu snel én nauwkeurig zijn. Ze kunnen enorme datasets (miljoenen transacties) in een paar uur analyseren in plaats van dagen.

Conclusie:
Deze wetenschappers hebben een nieuwe "motor" gebouwd voor de auto van de data-analyse. Hierdoor kunnen winkels en fabrikanten veel beter begrijpen wat hun klanten echt willen, hoe ze op prijzen reageren, en hoe ze hun producten het beste kunnen verkopen – zelfs als er sprake is van complexe combinaties zoals pasta en saus.

Kortom: Ze hebben de wiskunde van de "oneindige keuze" eindelijk beheerst, zodat we beter begrijpen waarom we doen wat we doen in de supermarkt.

Probleemstelling

De kern van het probleem ligt in het schatten van gemengde multinomiale logit-modellen (MMNL) voor grote datasets. Deze modellen worden gebruikt om heterogeniteit in consumentenkiesgedrag te modelleren door middel van toevallige coëfficiënten (random coefficients). Hoewel deze modellen robuust zijn en veel worden toegepast in marketing, transport en gezondheidszorg, zijn ze computatief zeer uitdagend bij grote datasets met hoge dimensies van de toevallige coëfficiënten.

Traditionele methoden zoals Markov Chain Monte Carlo (MCMC) worden computatief onhaalbaar bij duizenden observaties en duizenden parameters. Bestaande alternatieven, zoals Variational Inference (VI), bieden snelheid maar hebben beperkingen:

Data Augmentation VI (DAVI): Maakt vaak de onrealistische aanname van onafhankelijkheid tussen globale parameters en toevallige effecten, wat de nauwkeurigheid vermindert.
Amortized VI (AVI): Gebruikt neurale netwerken om de posterior te benaderen, maar kan moeite hebben met sterk onbalans in groepsgroottes (bijv. winkels met zeer verschillende aantallen transacties) en vereist veel training.

Het doel van het artikel is een nieuwe VI-methode te ontwikkelen die schaalbaar is, nauwkeurig blijft en de complexiteit van onbeperkte covariantiematrices in grote MMNL-modellen (inclusief geneste en bundelvarianten) aankan.

Methodologie: Conjugating Variational Inference (CVI)

De auteurs introduceren een nieuwe methode genaamd Conjugating Variational Inference (CVI). De kerninnovatie is het creëren van een "benaderende conjugatie" om de posterior van de toevallige coëfficiënten efficiënt te updaten.

Technische werking:

Benadering van de Likelihood: In plaats van de exacte log-likelihood te gebruiken (die geen gesloten vorm heeft voor multinomiale logit-modellen), benadert CVI de log-likelihood $\log p(y_i|\theta, \alpha_i)$ met een tweede-orde Taylor-expansie rond een hulppunt $a_i$ .
Conjugatie: Door deze kwadratische benadering te combineren met een Gaussische hiërarchische prior voor de toevallige coëfficiënten $\alpha_i$ , ontstaat er een Gaussische benadering van de conditionele posterior $p(\alpha_i | y_i, \theta)$ . Dit maakt de berekening van de variabele parameters analytisch mogelijk.
Proxy-parameters: Een cruciaal verschil met eerdere werken (zoals Tan, 2021) is het gebruik van een proxy-parameter $\vartheta$ in plaats van de volledige parametervector $\theta$ $θ$ voor de expansie.
- $\vartheta$ wordt zelden bijgewerkt (bijv. elke $\kappa$ iteraties) en volgt de variational mean.
- Dit elimineert de noodzaak om complexe derivaten (zoals derde-orde afgeleiden) bij elke iteratie te berekenen, wat de rekentijd drastisch verlaagt.
Optimalisatie: De methode gebruikt Stochastic Gradient Descent (SGD) met de re-parameterisatie-trick om de Evidence Lower Bound (ELBO) te maximaliseren. De variatieparameters worden bijgewerkt via een adaptieve stapgrootte (ADADELTA).

De methode wordt toegepast op drie modelvarianten:

MMNL: Standaard gemengde multinomiale logit.
B-MMNL: Gemengde modellen met bundels (combinaties van producten).
MNestL: Gemengde geneste logit-modellen (sequentiële keuze).

Belangrijkste Bijdragen

Nieuwe Schaalbare Methode (CVI): Een VI-algoritme dat de nauwkeurigheid van MCMC benadert maar met de snelheid van VI, specifiek ontworpen voor grote datasets met toevallige coëfficiënten.
Efficiëntie door Proxy-parameters: Door de expansiecentra ( $a_i$ ) en proxy-parameters ( $\vartheta$ ) niet bij elke stap te optimaliseren, maar te updaten via een gladde, zeldzame procedure, wordt de computatiedruk verlaagd zonder in te leveren op convergentie.
Toepassing op Complexe Modellen: De methode is succesvol toegepast op geneste logit-modellen en bundelkeuzemodellen, waar eerdere VI-methoden vaak faalden of onnauwkeurig waren.
Empirische Validatie: Uitgebreide simulaties en een grote empirische studie met consumentendata.

Resultaten

1. Simulatiestudies:

Nauwkeurigheid: CVI presteert aanzienlijk beter dan DAVI en vergelijkbaar met of beter dan AVI in termen van ELBO-waarden (nauwkeurigheid van de posterior) en voorspellende nauwkeurigheid (gemeten via F1-scores en log-scores).
Schaalbaarheid: Voor grote datasets (tot 5 miljoen observaties en 90.000 toevallige coëfficiënten) is CVI 100% tot 300% sneller dan DAVI en AVI.
Heterogeniteit: CVI schat de heterogeniteit (variatie in toevallige coëfficiënten) nauwkeuriger in dan DAVI, die de variatie vaak onderschat. Bij geneste modellen (MNestL) is CVI iets conservatiever in het schatten van heterogeniteit, maar blijft voorspellend zeer accuraat.

2. Empirische Toepassing: Pasta-keuze Data:
De auteurs pasten de methode toe op een dataset van Dunnhumby met meer dan 500.000 transacties van 381 supermarkten (uitgebreid naar ~1,2 miljoen met sausdata).

Modelprestaties: De gemengde modellen (MMNL, MNestL, B-MMNL) leverden aanzienlijk betere voorspellingen op dan modellen met vaste coëfficiënten.
Bundelvoordeel: Het toevoegen van pasta-sausdata in het B-MMNL model verbeterde de voorspellende nauwkeurigheid voor pasta-keuze verder. Dit effect was alleen zichtbaar in het gemengde model, niet in het vaste coëfficiënten model.
Heterogeniteit: De heterogeniteit in prijs- en promotie-gevoeligheid wordt voornamelijk gedreven door merkvoorkeuren (brand) en niet door pastasoort.
Winkelkenmerken:
- Grotere winkels vertonen een hogere prijselasticiteit (klanten zijn gevoeliger voor prijs).
- Winkels in "premium" segmenten (hoge gemiddelde transactiewaarde) vertonen een lagere prijselasticiteit.
- De geografische locatie beïnvloedt ook de prijsgevoeligheid.

Significantie en Conclusie

Dit artikel biedt een doorbraak in de schatting van complexe economische modellen voor consumentengedrag. De CVI-methode lost het fundamentele compromis op tussen snelheid en nauwkeurigheid bij Bayesian inference voor grote datasets.

Praktische impact: Het stelt onderzoekers en analisten in staat om realistische, heterogene modellen te schatten op schaal die voorheen onmogelijk was (bijv. met onbeperkte covariantiematrices en bundelkeuzes).
Wetenschappelijke waarde: Het demonstreert dat bundelkeuzemodellen (bundle choice) essentieel zijn voor nauwkeurige voorspellingen, maar dat deze alleen haalbaar zijn met geavanceerde inferentiemethoden zoals CVI.
Toekomstperspectief: De methode opent de deur voor toepassing in nog complexere omgevingen, zoals online retail, en kan verder worden uitgebreid met schuine verdelingen (skewness) voor nog realistischere benaderingen.

Kortom, CVI maakt het mogelijk om de nuance van consumentenheterogeniteit in grote datasets te vangen zonder de rekenkracht van supercomputers te vereisen, wat cruciaal is voor moderne marketingstrategieën en beleidsvorming.