Approximate Bayesian inference for cumulative probit regression models

Deze paper introduceert drie schaalbare algoritmen op basis van Variational Bayes en Expectation Propagation voor de benadering van de posteriorverdeling in cumulatieve probit-regressiemodellen, die bij grote datasets superieure rekenprestaties en nauwkeurigheid bieden ten opzichte van traditionele MCMC-methode.

De kern

Hier is een uitleg van het onderzoek in eenvoudig Nederlands, met behulp van alledaagse analogieën.

De Kern: Hoe maak je een grote berg data begrijpelijk?

Stel je voor dat je een enorme berg post hebt ontvangen van duizenden mensen. Iedereen heeft een vraag gesteld, maar ze kunnen niet gewoon "ja" of "nee" antwoorden. Ze moeten kiezen uit een schaal:

• "Helemaal oneens"
• "Oneens"
• "Niet zeker"
• "Akkoord"
• "Helemaal akkoord"

Dit noemen we ordinaal data (data met een volgorde). In de statistiek willen we vaak een model bouwen dat uitlegt waarom mensen voor bepaalde antwoorden kiezen. Bijvoorbeeld: "Hoe beïnvloedt je leeftijd of inkomen je mening?"

Het probleem is dat als je duizenden of tienduizenden vragen hebt, de traditionele manier om dit te berekenen (zoals het zoeken naar het perfecte antwoord door oneindig veel pogingen te doen) te traag is. Het is alsof je probeert een hele berg te verplaatsen met een theelepel.

De Oplossing: Drie Slimme "Schattingen"

De auteur, Emanuele Aliverti, stelt drie nieuwe, snellere manieren voor om een goed antwoord te vinden. In plaats van het perfecte antwoord te zoeken (wat te lang duurt), maken deze methoden een zeer nauwkeurige schatting.

Je kunt deze drie methoden vergelijken met drie verschillende manieren om een grote, donkere kamer te verkennen:

1. De "Grote Scheidingsmuur" (Mean-Field Variational Bayes)

• De Analogie: Stel je voor dat je de kamer in tweeën deelt met een muur. Je kijkt alleen naar de ene kant en zegt: "Oké, hier is alles wat ik weet." Dan kijk je naar de andere kant en zegt: "En hier is alles wat ik weet." Je negeert de complexe interacties tussen de twee kanten om het simpel te houden.
• Wat het doet: Dit is de snelste methode. Het is alsof je een snelle schets maakt van de kamer. Het is goed genoeg voor veel dingen, maar het mist soms de fijne details van hoe de objecten in de kamer met elkaar verbonden zijn.

2. De "Slimme Gids" (Partially Factorized Mean-Field)

• De Analogie: Deze methode is een beetje slimmer. Je deelt de kamer nog steeds op, maar je laat de gids van de ene kant een beetje praten met de gids van de andere kant. Ze houden rekening met elkaar, maar niet volledig.
• Wat het doet: Dit is iets langzamer dan de eerste methode, maar het resultaat is nauwkeuriger. Het vangt meer van de subtiele verbanden in de data op.

3. De "Iteratieve Puzzelaar" (Expectation Propagation - EP)

• De Analogie: Dit is de meest gedetailleerde methode. Stel je voor dat je een puzzel hebt. Je begint met een ruwe schets. Dan kijk je naar één stukje, pas je het aan, en kijk je hoe dat de rest van de puzzel beïnvloedt. Dan pak je het volgende stukje, pas je dat aan, en zo ga je door tot de hele puzzel perfect past. Je "verfijnt" je antwoord steeds opnieuw.
• Wat het doet: Dit is de meest nauwkeurige methode. Het kost iets meer tijd dan de eerste twee, maar het resultaat is zo goed dat het bijna niet te onderscheiden is van het perfecte antwoord (dat je met de oude, trage methode zou krijgen). Het is alsof je de kamer niet alleen verkent, maar ook elke hoek en kromme perfect in kaart brengt.

Waarom is dit belangrijk?

In het verleden moesten onderzoekers kiezen tussen:

1. Snelheid: Een snel, maar onnauwkeurig antwoord.
2. Nauwkeurigheid: Een perfect antwoord, maar het duurt dagen of weken om te berekenen.

Met deze nieuwe methoden (vooral de derde, EP) kunnen onderzoekers nu snel én nauwkeurig werken, zelfs met enorme datasets.

Twee Voorbeelden uit de Wereld

De auteur testte deze methoden op twee echte situaties:

1. De Bankklant:
   Stel je voor dat een bank duizenden klanten vraagt hoe tevreden ze zijn (van 1 tot 5 sterren). Ze willen weten: "Is de klant tevreden omdat hij oud is, of omdat hij veel verdient?"

   • Met de nieuwe methoden konden ze dit in een paar seconden berekenen. Het bleek dat oudere mannen vaak tevredener waren, maar dat mensen met een hoger inkomen juist minder tevreden waren (misschien omdat ze hogere verwachtingen hebben).

2. De Maffia (Het "Infinito" Netwerk):
   Dit is een coole, maar ernstige toepassing. Onderzoekers keken naar een criminele organisatie in Italië. Ze hadden data over wie met wie vergaderde (vaak, soms, nooit).

   • Ze wilden weten: "Wie zijn de echte leiders?" en "Werken mensen samen als ze uit dezelfde buurt komen?"
   • De nieuwe algoritmen konden dit enorme netwerk analyseren. Ze ontdekten dat mensen uit dezelfde buurt (de "locale") veel vaker contact hadden. Maar interessant genoeg: de echte "bazen" hadden juist minder directe contacten met gewone leden. Ze bleven op de achtergrond om niet betrapt te worden. Dit soort inzichten was voorheen te moeilijk om snel te berekenen.

Conclusie

Kortom: Deze paper introduceert drie nieuwe "rekenmachines" voor statistici. Ze maken het mogelijk om complexe vragen over geordende antwoorden (zoals meningsschalen) te beantwoorden in een fractie van de tijd die het vroeger kostte, zonder in te leveren op de kwaliteit van het antwoord. Het is alsof je van een fiets op een supersnelle elektrische scooter stapt, terwijl je toch nog steeds precies weet waar je bent.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het artikel "Approximate Bayesian inference for cumulative probit regression models" van Emanuele Aliverti, geschreven in het Nederlands.

Probleemstelling

Orde-categorie data (ordinale data) komt veel voor in praktische toepassingen, zoals Likert-schalen in de sociale wetenschappen, klinische beoordelingen van symptoomernst of klanttevredenheid. Wanneer deze data als responsvariabele wordt gebruikt in regressie, zijn cumulatieve link-modellen (zoals het cumulatieve probit-model) de standaardkeuze.

Het centrale probleem dat dit artikel aanpakt, is de schaalbaarheid van Bayesiaanse inferentie voor deze modellen. Traditionele methoden voor Bayesiaanse analyse, zoals Markov Chain Monte Carlo (MCMC), worden computatievriendelijk onhaalbaar naarmate het aantal observaties ($n$) groeit. Hoewel er recente vooruitgang is geboekt op het gebied van schaalbare maximum likelihood schatting, ontbreekt het aan nauwkeurige en schaalbare methoden voor de benadering van de posteriorverdeling onder een Bayesiaans raamwerk voor grote datasets.

Methodologie

De auteur stelt drie schaalbare algoritmen voor om de posteriorverdeling van de regressiecoëfficiënten ($\beta$) in cumulatieve probit-modellen te benaderen. Alle methoden maken gebruik van de latente variabele representatie van het model, waarbij de geobserveerde ordinale respons $y_i$ wordt gezien als een discretisatie van een onderliggende continue Gaussische variabele $z_i$.

De drie voorgestelde methoden zijn:

1. Mean-Field Variational Bayes (MFVB):

   • Dit is een klassieke variational inference (VI) aanpak.
   • De posterior wordt benaderd door een product van onafhankelijke verdelingen: $q(\beta, z) = q(\beta)q(z)$.
   • Het algoritme minimaliseert de Kullback-Leibler (KL) divergentie tussen de benadering en de ware posterior door iteratief de parameters van de Gaussische verdeling voor $\beta$ en de afgeknotte Gaussische verdelingen voor de latente variabelen $z$ te updaten.
   • Beperking: Door de volledige factorisatie wordt de onafhankelijkheid tussen $\beta$ en $z$ aangenomen, wat kan leiden tot onderschatting van de onzekerheid.

2. Partially Factorized Mean-Field (PMF):

   • Een verfijning van MFVB die een grotere variational familie gebruikt: $q(\beta, z) = q(\beta|z)q(z)$.
   • Hierbij wordt de conditionele verdeling $q(\beta|z)$ exact gelijkgesteld aan de ware conditionele posterior $p(\beta|z)$ (die Gaussisch is), terwijl de marginale verdeling van de latente variabelen $q(z)$ wordt benaderd als een product van onafhankelijke afgeknotte Gaussische verdelingen.
   • Dit leidt tot een nauwkeurigere schatting van de onzekerheid in $\beta$ door de correlatie tussen $\beta$ en $z$ beter te modelleren, zonder een significante toename in rekentijd.

3. Expectation Propagation (EP):

   • Een innovatieve aanpak die de reverse KL-divergentie minimaliseert.
   • De posterior wordt benaderd als een product van tractabele factoren (sites), waarbij elke likelihood-term wordt vervangen door een Gaussische benadering.
   • Het algoritme gebruikt probabilistische argumenten gebaseerd op de Selection-Normal verdeling om de momenten van de "hybride" verdelingen analytisch te berekenen.
   • Dit resulteert in een zeer efficiënt algoritme dat alleen univariate momenten van afgeknotte normaalverdelingen en rang-één matrixoperaties vereist.

Schattingsstrategie voor drempels (Thresholds):
De drempels ($\alpha$) worden behandeld als storende parameters. De auteur stelt een Empirical Bayes strategie voor waarbij de drempels worden geoptimaliseerd via (benaderde) maximale marginale likelihood, in een wisselend proces met de schatting van de regressiecoëfficiënten.

Belangrijkste Bijdragen

• Unificatie van methoden: Het artikel biedt een coherent raamwerk dat drie verschillende benaderingsmethoden (MFVB, PMF, EP) voor cumulatieve probit-modellen ontwikkelt, vergelijkt en implementeert.
• Efficiënte EP-afleiding: De auteur levert een analytisch overzichtelijke afleiding voor Expectation Propagation in dit specifieke model, wat vaak complex is. De afleiding maakt gebruik van de Selection-Normal verdeling, wat leidt tot een computerefficiënte implementatie.
• Open Source Implementatie: De methoden zijn geïmplementeerd in C++ met een R-interface, beschikbaar via GitHub, wat de toepasbaarheid voor onderzoekers vergroot.
• Toepasbaarheid op complexe modellen: Het raamwerk is flexibel genoeg om toegepast te worden op modellen met willekeurige effecten, semiparametrische regressie en sociale-relatiemodellen voor netwerkanalyse.

Resultaten

De prestaties zijn geëvalueerd via simulatiestudies en twee case studies:

1. Simulatiestudies:

   • Nauwkeurigheid: EP levert de meest nauwkeurige schattingen van zowel de posterior-middelpunten als de standaarddeviaties. PMF presteert ook zeer goed, terwijl MFVB neigt tot onderschatting van de onzekerheid (te smalle credible intervals), vooral bij kleinere steekproefgroottes.
   • Schaalbaarheid: Alle drie de methoden zijn aanzienlijk sneller dan MCMC. Voor datasets met $n=10.000$ en $p=25$ duurt MCMC enkele minuten tot 5 minuten, terwijl de variational methoden en EP in seconden (0,1 tot 3 seconden) convergeren.
   • Coverage: De credible intervals van EP en PMF hebben een frequentistische dekking die zeer dicht bij de nominale waarden ligt, terwijl MFVB systematisch onderdekking vertoont.

2. Case Studies:

   • Braziliaanse Bank: Een analyse van klanttevredenheid. Alle methoden gaven consistente resultaten met MCMC, waarbij EP en PMF een nauwkeurigheidsscore van >97% behaalden.
   • Infinito Netwerk (Maffia-onderzoek): Een complexe toepassing op een sociaal-relatiemodel voor 118 verdachten van de 'Ndrangheta maffia. Het model had 6.903 observaties en 130 covariaten.
     • De analyse onthulde dat lidmaatschap van dezelfde lokale eenheid ("locale") de kans op frequente contacten sterk vergroot.
     • Het model toonde aan dat leiders ("bosses") indirecte controle uitoefenen; hun directe betrokkenheid bij paren van verdachten had een lagere waarschijnlijkheid, wat suggereert dat ze zich bewust vermijden om detectie te voorkomen.

Betekenis en Conclusie

Dit artikel vult een belangrijke lacune in de statistische literatuur door schaalbare, nauwkeurige Bayesiaanse inferentie voor cumulatieve probit-modellen mogelijk te maken.

• Praktische impact: Onderzoekers kunnen nu Bayesiaanse modellen voor ordinale data toepassen op grote datasets zonder afhankelijk te zijn van trage MCMC-methoden.
• Methodologische keuze: Hoewel MFVB het snelst is, biedt Expectation Propagation (EP) de beste balans tussen nauwkeurigheid en rekentijd en is de aanbevolen methode voor nauwkeurige inferentie. PMF is een uitstekend alternatief als EP niet beschikbaar is of als een specifieke structuur vereist is.
• Toekomstperspectief: De voorgestelde routines vormen een basis voor verdere uitbreidingen naar complexere lineaire predictoren, zoals latent-factormodellen of modellen met categorie-specifieke coëfficiënten.

Kortom, het artikel demonstreert dat variational inference en expectation propagation krachtige, schaalbare alternatieven zijn voor MCMC in de context van ordinale regressie, met EP als de meest nauwkeurige keuze.