Gibbs Sampling using Anti-correlation Gaussian Data Augmentation, with Applications to L1-ball-type Models

Technische Samenvatting: Gibbs-sampling met behulp van anti-gecorreleerde Gaussische data-augmentatie

Probleemstelling
Het artikel adresseert computationele uitdagingen bij Bayesiaanse inferentie voor modellen die L1-bol-achtige priors toepassen. Deze priors generaliseren "spike-and-slab"-modellen door een continue precursor-verdeling (bijvoorbeeld een Gaussische verdeling of een Gaussisch proces) op de rand van een L1-bol te transformeren, waardoor exacte nullen met een positieve waarschijnlijkheid worden gegenereerd. Dit kader ondersteunt gestructureerde sparsiteit, waarbij het voorkomen van nullen afhankelijk kan zijn (bijvoorbeeld temporele of ruimtelijke groepen) en niet-nul elementen correlatie kunnen vertonen (bijvoorbeeld gladheid).

Bestaande algoritmen voor dergelijke modellen staan voor aanzienlijke hindernissen:

1. Gebrek aan Conjugatie: Standaard Gibbs-samplers hebben moeite omdat de soft-thresholding-transformatie de conjugatie doorbreekt, en latente Gaussische varianten vaak niet vaststaan.
2. Trage Mixing: Het updaten van parameters element-voor-element in aanwezigheid van correlaties leidt tot trage mixing van de Markov-keten.
3. Computationele Kosten: Op gradiënten gebaseerde methoden zoals Hamiltonian Monte Carlo (HMC) of de No-U-Turn Sampler (NUTS) kunnen de niet-differentieerbaarheid van de soft-thresholding-functie aan, maar lijden onder hoge computationele kosten per iteratie door meerdere gradiëntevaluaties.

Methodologie
De auteurs stellen een Geblokkeerde Gibbs-sampler voor die gebruikmaakt van een nieuwe data-augmentatietechniek genaamd de "Anti-gecorreleerde Gaussische".

1. Kernmechanisme: De methode introduceert latente variabelen, $r$ en $t$, getrokken uit Gaussische verdelingen die specifiek zijn ontworpen om de kwadratische correlatietermen ($\theta'M\theta$ en $\beta'H\beta$) in de exponent van de achterafdichtheid te neutraliseren.

   • Specifiek, als $M$ de precisiematrix is voor $\theta$, wordt een latente variabele $r$ getrokken uit $N((dI - M)\theta, dI - M)$, waarbij $d > \lambda_p(M)$.
   • Deze transformatie maakt de conditionele achterafverdeling van de parameters $(\beta, \theta)$ conditioneel onafhankelijk over de dimensies, gegeven de latente variabelen.

2. Steekproefschema:

   • Blok-update: In plaats van één element per keer te updaten, update het algoritme de volledige vector $\beta$ (en bijgevolg $\theta$) in één enkel blok.
   • Mengselstructuur: De conditionele achterafverdeling voor elk element $\beta_j$ wordt een mengsel van drie componenten (corresponderend met $\theta_j > 0$, $\theta_j = 0$, of $\theta_j < 0$). Het algoritme steekt een discrete indicator $b_j$ en steekt vervolgens $\beta_j$ uit een overeenkomstige getruncateerde Gaussische verdeling.
   • Efficiënt steekproeven van latente variabelen: Voor regressiesituaties waarbij de covariantie een product $X'\Omega X$ omvat, leiden de auteurs een niet-iteratief algoritme af om de anti-gecorreleerde Gaussische te steekproeven. Deze methode maakt gebruik van een vooraf berekende Singuliere Waarde Decompositie (SVD) van $X$ en vermijdt $O(p^3)$ matrixdecomposities tijdens MCMC-iteraties, waardoor een complexiteit van $O(\max(n, p))$ per stap wordt bereikt.

3. Extensies: Het kader wordt uitgebreid naar algemene latente Gaussische modellen (bijvoorbeeld die met niet-Gaussische likelihoods) en steekproeven uit getruncateerde multivariate Gaussische verdelingen met scheidbare constraints.

Belangrijkste Bijdragen

• Nieuwe Data-augmentatie: Introductie van de "anti-gecorreleerde Gaussische" latente variabele, die kwadratische interactietermen neutraliseert om blok-updates mogelijk te maken.
• Algoritmische Efficiëntie: Ontwikkeling van een snelle, niet-iteratieve steekproefprocedure voor de latente variabelen in regressiecontexten, waardoor dure matrixinversies bij elke stap worden vermeden.
• Theoretische Garantie: Bewijs van geometrische ergodiciteit voor de voorgestelde sampler in lineaire modellen, waardoor snelle convergentie van de Markov-keten wordt gewaarborgd.
• Brede Toepasbaarheid: Aantonen dat de methode verder gaat dan L1-bol-priors en van toepassing is op algemene latente Gaussische modellen en getruncateerde Gaussische verdelingen.

Resultaten
De auteurs valideren de methode door middel van numerieke experimenten:

• Lineaire Regressie: In simulaties met hoog-dimensionale voorspellers ($p$ tot 5000) en gecorreleerde ontwerpen, presteert de anti-gecorreleerde geblokkeerde Gibbs-sampler significant beter dan NUTS, component-voor-component slice-samplers en slice-samplers gebaseerd op empirische hoofdcomponenten, gemeten in Effectieve Steekproefgrootte per tijdseenheid (ESS/tijd). Hoewel NUTS per iteratie sneller mixt, resulteert de hoge computationele kosten per iteratie in een lagere algehele efficiëntie.
• Variabele Selectie: De methode bereikt concurrerende Fals-positief Rates (FPR) en Fals-negatief Rates (FNR) in vergelijking met NUTS, met name in situaties met hoge correlatie waar andere samplers niet convergeren of slecht mixen.
• Soft-getruncateerd Gaussisch Proces (Beeldgladmaking): Toegepast op fMRI-data, voltooide de voorgestelde sampler 10.000 iteraties in ~270 minuten met een hoge ESS/uur. Daarentegen vereiste een Stan-implementatie van NUTS 68 uur voor hetzelfde aantal iteraties, met een aanzienlijk lagere ESS/uur. De resulterende achteraf-schattingen waren glad en spaarzaam, terwijl directe soft-thresholding van ruwe data ruwe, niet-gladde resultaten opleverde.

Betekenis en Claims
Het artikel claimt dat de voorgestelde methode een aanmerkelijke verbetering in computationele efficiëntie biedt voor achteraf-schatting in modellen met gestructureerde sparsiteit. Door gebruik te maken van data-augmentatie om conditionele onafhankelijkheid te bereiken, stellen de auteurs blok-updates mogelijk die de rekentijd per iteratie drastisch reduceren terwijl snelle mixing behouden blijft.

De auteurs positioneren dit werk als een oplossing voor de afweging tussen marginale samplers (snelle mixing, trage kosten per iteratie) en data-augmentatie samplers (snelle kosten per iteratie, potentieel langzamere mixing). Zij betogen dat hun specifieke augmentatie de beste balans bereikt, en een goedkope, hoog-efficiënt alternatief biedt voor op gradiënten gebaseerde methoden zoals NUTS, met name in hoog-dimensionale situaties of bij het omgaan met complexe latente structuren zoals Gaussische processen. De garantie van geometrische ergodiciteit biedt bovendien een theoretische onderbouwing voor de betrouwbaarheid van de sampler in lineaire modellen.