Variational Bayesian Sparse Negative Binomial Regression

Technische Samenvatting: Variational Bayesian Sparse Negative Binomial Regression

Probleemstelling
Moderne toepassingen in velden zoals epidemiologie, ecologie en financiën maken vaak gebruik van telgegevens die worden gekenmerkt door overdispersie (waarbij de variantie groter is dan het gemiddelde) en hoogdimensionele predictoren (waarbij het aantal variabelen $p$ groter is dan de steekproefomvang $n$). Hoewel het Negative Binomial (NB) regressiemodel de standaard flexibele framework is voor het afhandelen van overdispersie, leunen bestaande Bayesiaanse benaderingen voor sparse NB-regressie zwaar op Markov chain Monte Carlo (MCMC) methoden. Deze MCMC-methoden zijn computationeel prohibitief in hoogdimensionele settings, wat ze vaak onpraktisch maakt voor grootschalige data-analyse. Bovendien is er, hoewel Variational Bayes (VB) succesvol is toegepast op sparse Poisson-regressie, een uitgebreid VB-framework voor sparse NB-regressie dat tegelijkertijd overdispersie en variabele selectie aanpakt, tot nu toe ontbroken.

Methodologie
Het artikel stelt een Variational Bayesian (VB) framework voor voor sparse negative binomial regressie met behulp van een mean-field benadering. De kerninnovaties van de methodologie omvatten:

1. Modelformulering: De NB-likelihood wordt geherparameteriseerd met behulp van een hulpvariabele-aanpak, waarbij $y_i | g_i \sim \text{Poisson}(g_i)$ en $g_i | \beta, \kappa \sim \text{Gamma}(\kappa, \kappa \exp(-X_i\beta))$. Dit vergemakkelijkt de afleiding van de variationele updates.
2. Sparsity-inducerende Priors: Twee specifieke priors worden geïmplementeerd om sparsity in de regressiecoëfficiënten $\beta$ af te dwingen:
   • Continuous Spike-and-Slab (CS) Prior: Een continue relaxatie van de discrete spike-and-slab prior, gebruikmakend van een mengeling van twee Gaussische verdelingen met verschillende varianties.
   • Horseshoe (HS) Prior: Een global-local shrinkage prior die Half-Cauchy verdelingen plaatst op lokale en globale schaalparameters, waardoor sterke shrinkage van ruis mogelijk is terwijl grote signalen behouden blijven.
3. Niet-conjuugate Variational Inference: Vanwege de niet-conjuugate relatie tussen de dispersieparameter en de regressiecoëfficiënten in het NB-model, gebruiken de auteurs een niet-conjuugate mean-field VB-framework (Wand et al., 2011). Dit houdt in dat er exponentiële familieverdelingen voor parameterblokken worden aangenomen en dat er fixed-point updatevergelijkingen worden afgeleid voor de natuurlijke parameters (gemiddelden en covarianties) om de Evidence Lower Bound (ELBO) te maximaliseren.
4. Sparsity Afdwinging: Omdat VB posterieure gemiddelden niet inherent sparse zijn, passen de auteurs een hard-thresholding strategie toe op basis van het Akaike Information Criterion (AIC) om variabelen te selecteren.
5. Posterior Predictive Approximatie: Om de posterior predictive mass function te berekenen, maken de auteurs gebruik van een tweede-orde Taylor-expansie van de integraand rond het variationele gemiddelde van de dispersieparameter, waarbij de integraal wordt benaderd met de eigenschappen van de log-normale verdeling.

Belangrijkste Bijdragen

• Algoritmische Ontwikkeling: Het artikel leidt gesloten vorm (closed-form) variationele updatevergelijkingen af voor zowel CS als HS priors binnen het NB-regressieframework, waarmee de computationele uitdagingen van niet-conjuugatie worden aangepakt.
• Computationele Efficiëntie: De voorgestelde VB-algoritmen bereiken een schattingsnauwkeurigheid en variabele selectieprestatie die vergelijkbaar is met MCMC-benchmarks, terwijl ze minder dan 1% van de computationele tijd vereisen.
• Robuustheidsanalyse: De studie toont aan dat terwijl Poisson-gebaseerde VB-methoden falen onder overdispersie, de voorgestelde NB-methoden robuust blijven, zelfs wanneer data gegenereerd zijn uit een Poisson-verdeling, wat suggereert dat ze een veiligere standaardkeuze zijn.
• Schaalbaarheid: Het framework blijkt effectief in hoogdimensionele scenario's ($p \gg n$) waar MCMC-methoden onhandelbaar worden.

Resultaten
Uitgebreide simulatiestudies en analyses van echte data werden uitgevoerd om de voorgestelde methoden (HS-VB-NB en CS-VB-NB) te evalueren tegenover frequentistische gepenaliseerde methoden (LASSO, SCAD), Poisson-gebaseerde VB-methoden en MCMC-benchmarks.

• Simulatie (Laag-dimensionaal): In settings met $n=100, p=10$ bereikten de NB-VB methoden coëfficiënt relatieve fouten (CRE) en test relatieve fouten (TSRE) die vergelijkbaar zijn met MCMC. In contrast hiermee vertoonden Poisson-gebaseerde VB-methoden aanzienlijk hogere fouten door model-misspecificatie. De NB-VB methoden boden ook dekking waarschijnlijkheden voor HPD-intervallen die dicht bij het nominale niveau van 0,95 lagen, terwijl de Poisson-VB dekking ernstig tekortschoot (0,14–0,29).
• Simulatie (Hoog-dimensionaal): In settings met $n=30, p=200$ presteerden de NB-VB methoden beter dan de Poisson-VB methoden over alle metrieken (CRE, FPR, FNR, CRPS). De NB-VB methoden behielden lage false positive rates en nauwkeurige variabele selectie, terwijl MCMC werd uitgesloten van deze vergelijkingen vanwege de onhandelbare computationele kosten.
• Toepassingen op Echte Data: De methoden werden toegepast op vijf benchmark datasets (Affairs, Bike Sharing, en drie Arizona ziekenhuis datasets) en een Fishing dataset.
  • Overdispersie tests bevestigden de noodzaak van het NB-model voor alle datasets.
  • De NB-VB methoden vertoonden een concurrerende voorspellende prestatie (gemeten via Test Relative Error en CRPS) ten opzichte van de frequentistische LASSO en SCAD methoden.
  • Op de Fishing dataset repliceerden de VB-methoden nauwkeurig de voorspellende prestaties van MCMC-benchmarks met aanzienlijke computationele besparingen.
  • De CS-VB-NB methode vertoonde over het algemeen de laagste mediane testfouten en een hoge stabiliteit over de datasets heen.

Significantie en Claims
Het artikel beweert een kritiek gat in de literatuur te vullen door de eerste uitgebreide variationele Bayesiaanse framework voor sparse negative binomial regressie te bieden. De auteurs stellen dat hun benadering een verenigde oplossing biedt voor overdispersie, variabele selectie en parameterschatting in hoogdimensionele settings.

De significantie van het werk ligt in het vermogen om computationeel efficiënte inferentie te bieden zonder de nauwkeurigheid en onzekerheidskwantificering die gewoonlijk met MCMC worden geassocieerd, op te offeren. De auteurs benadrukken dat de negative binomial specificatie essentieel is voor overgedispergeerde data, aangezien Poisson-gebaseerde benaderingen aanzienlijke prestatievermindering lijden in dergelijke contexten. Omgekeerd wordt beweerd dat de voorgestelde NB-methoden robuust zijn zelfs wanneer data Poisson-verdeeld zijn, wat hen een betrouwbare "veiligere standaard" maakt voor beoefenaars. Het artikel concludeert dat het framework een praktisch hulpmiddel biedt voor sparse count regressie, waardoor analyse van grootschalige datasets mogelijk wordt die voorheen computationeel ontoegankelijk waren voor Bayesiaanse sparse methoden.

Erkende Beperkingen
De auteurs merken bescheiden op dat de mean-field aanname de posterieure onzekerheid kan onderschatten voor parameters met sterke afhankelijkheden. Daarnaast kan de kwadratische benadering die gebruikt wordt voor het niet-conjugete NB-model mogelijk niet de zeer niet-Gaussische posterieure vormen vastleggen. Er wordt ook op gewezen dat de prestaties afhangen van de keuze van de sparsity-inducerende prior, waarbij de Horseshoe prior een iets betere schattingsnauwkeurigheid vertoonde en de Continuous Shrinkage prior een stabielere convergentie liet zien.