Corrected Integrated Laplace Approximation for Bayesian Inference in Latent Gaussian Models

Technische Samenvatting: Gecorrigeerde Geïntegreerde Laplace-benadering voor Bayesiaanse Inferentie in Latente Gaussische Modellen

Probleemstelling

Latente Gaussische Modellen (LGMs) vormen een alomtegenwoordige klasse van Bayesiaanse hiërarchische modellen, waaronder Gaussische processen, ruimtelijke modellen en modellen met gemengde effecten. Ze worden gedefinieerd door een gezamenlijke dichtheid $\pi(\theta, z, y) = \pi(\theta)\pi(z|\theta)\pi(y|\theta, z)$, waarbij $\theta$ hyperparameters voorstelt, $z$ latente Gaussische variabelen voorstelt en $y$ observaties voorstelt.

Een primaire uitdaging bij Bayesiaanse inferentie voor LGMs is de hoge dimensionaliteit van $z$ en de complexe geometrie van de gezamenlijke posterior $\pi(\theta, z|y)$, wat vaak efficiënt bemonstering belemmert. Een veelgebruikte strategie is het marginaliseren van $z$ om $\pi(\theta|y)$ te infereren, een doelwit met lagere dimensionaliteit. Wanneer de likelihood $\pi(y|\theta, z)$ niet-Gaussisch is, is exacte marginalisatie onberekenbaar. De standaardbenadering, Integrated Nested Laplace Approximation (INLA), maakt gebruik van een Laplace-benadering om de conditionele posterior $\pi(z|\theta, y)$ te benaderen als een Gaussische verdeling gecentreerd rond de modus $\hat{z}$.

Hoewel efficiënt, introduceert deze benadering een systematische "posteriorfout". Wanneer de likelihood niet-Gaussisch is, verschilt de benaderde marginale posterior $\hat{\pi}(\theta|y)$ van de ware posterior $\pi(\theta|y)$, zelfs asymptotisch. Bestaande methoden zoals de Adjoint-Differentiated Laplace Approximation (ADLA) maken gradiëntgebaseerde bemonstering (bijvoorbeeld Hamiltonian Monte Carlo) mogelijk op deze benaderde posterior, maar corrigeren niet de onderliggende bias die door de Laplace-benadering wordt geïntroduceerd. Het uitvoeren van MCMC op de volledige gezamenlijke posterior $\pi(\theta, z|y)$ is asymptotisch exact, maar vaak computationeel onuitvoerbaar vanwege de hoge dimensionaliteit van $z$.

Methodologie

De auteurs stellen een importance sampling-framework voor om de door de Laplace-benadering geïntroduceerde fout te corrigeren, terwijl de computationele voordelen van marginalisatie behouden blijven. Het kerninzicht is dat de geïntegreerde Laplace-benadering kan worden herschreven als een importance sampling-schatter met één steekproef. Door het aantal steekproeven te verhogen, convergeert de schatter naar de ware marginale verdeling.

Het artikel beschrijft drie specifieke implementaties van dit idee, allemaal geïntegreerd in een automatisch differentiatie-framework (JAX) om gradiëntgebaseerde inferentie te ondersteunen:

1. Pseudo-Marginal ADLA (PM-ADLA):

   • Mechanisme: Deze benadering richt zich op een uitgebreide verdeling over de parameters $\theta$ en hulpvariabelen $\epsilon$ die worden gebruikt om steekproeven $z_i$ te genereren uit de Laplace-benadering. Specifiek geldt: $z_i = \hat{z} + \sqrt{\Sigma}\epsilon_i$, waarbij $\epsilon_i \sim \mathcal{N}(0, I)$.
   • Eigenschappen: Het levert een onbevooroordeelde schatter van de marginale likelihood. Naarmate het aantal steekproeven $n \to \infty$, convergeert de posterior naar de correcte verdeling.
   • Afweging: Het verhoogt de dimensionaliteit van het inferentieprobleem met $(n-1)d_z$ (waarbij $d_z$ de dimensionaliteit van $z$ is) en vereist $n$ dichtheidsbeoordelingen per HMC-stap.

2. Quasi-Monte Carlo ADLA (QMC-ADLA):

   • Mechanisme: In plaats van willekeurige hulpvariabelen, fixeert deze methode de willekeurigheid met behulp van een laag-discrepantie reeks (LDS), zoals de Sobol-reeks. De hulpvariabelen $u_i$ zijn vaste punten in de eenheidscube, en $z_i$ worden gegenereerd via inverse-CDF-transformatie.
   • Eigenschappen: Dit verlaagt de schattingsvariatie van de importance sampling naar $O(n^{-2})$ onder juiste voorwaarden, wat snellere convergentie biedt dan standaard Monte Carlo. Het behoudt een parameter ruimte met lagere dimensionaliteit (dezelfde als bij ADLA).
   • Afweging: Hoewel asymptotisch correct, merkt het artikel op dat voor eindige $n$ de bias significant kan blijven, en het vaste karakter van de punten kan leiden tot grote fouten in de praktijk, zelfs met matige $n$.

3. Randomized Quasi-Monte Carlo ADLA (RQMC-ADLA):

   • Mechanisme: Dit verenigt de vorige twee benaderingen. Het gebruikt één enkele willekeurige verschuifvariabele $U$ die wordt toegepast op een vaste LDS om de hulpvariabelen te genereren: $u_i = (v_i + U) \pmod 1$.
   • Eigenschappen: Het levert een onbevooroordeelde schatter van de marginale likelihood en verhoogt de modeldimensionaliteit niet (de hulpvariabele $U$ heeft dezelfde dimensionaliteit als $z$, maar wordt gedeeld over alle steekproeven).
   • Afweging: De modulo-operatie introduceert discontinuïteiten in de doeldichtheid met betrekking tot $U$, waardoor standaard HMC niet toepasbaar is. De auteurs stellen een Metropolis-in-Gibbs (MwG) bemonsteraar voor: HMC update $\theta$ conditioneel op $U$, en een Metropolis-Hastings-stap update $U$ conditioneel op $\theta$.

Terugwinnen van Latente Variabelen:
Het artikel beschrijft ook een methode om steekproeven van de latente variabelen $z$ terug te winnen die dichter bij de ware posterior $\pi(z|\theta, y)$ liggen dan de standaard Laplace-benadering. Door importance weights te berekenen voor de $n$ steekproeven $z_1, \dots, z_n$, kan een discrete benadering van de ware conditionele posterior worden geconstrueerd, wat effectief ook de inferentie van de latente variabelen corrigeert.

Belangrijkste Bijdragen

• Theoretische Herschrijving: De auteurs tonen aan dat de geïntegreerde Laplace-benadering een specifiek geval is van een importance sampling-schatter met één steekproef. Ze bewijzen dat het vergroten van de steekproefomvang in dit kader een asymptotisch correcte posterior oplevert.
• Algoritmische Varianties: Ze stellen drie verschillende algoritmen voor en implementeren deze (PM-ADLA, QMC-ADLA, RQMC-ADLA) die computationele efficiëntie, dimensionaliteit en asymptotische correctheid in evenwicht brengen.
• Gradiëntberekening: Het werk breidt het ADLA-framework uit om gradiënten voor deze importance sampling-schattingen te berekenen, waardoor het gebruik van Hamiltonian Monte Carlo (HMC) en andere gradiëntgebaseerde bemonsteraars mogelijk wordt.
• Terugwinnen van Latente Variabelen: Er wordt een procedure geboden om verbeterde posterior-steekproeven voor de latente variabelen $z$ te verkrijgen met behulp van de importance weights die tijdens de marginale inferentie zijn afgeleid.

Experimentele Resultaten

De methoden werden geëvalueerd op synthetische Gaussische processen met Poisson-likelihoods, sparse kernel interaction models (SKIMs) op echte data, en modellen met gemengde effecten (Epil2-dataset).

• Foutreductie: In alle experimenten reduceerden de voorgestelde methoden (PM, QMC, RQMC) de schattingsfout van parametergemiddelden aanzienlijk in vergelijking met standaard ADLA.
• Convergentie:
  • PM-ADLA: Corrigeerde de posteriorfout effectief, maar was computationeel trager vanwege de verhoogde dimensionaliteit en meerdere dichtheidsbeoordelingen.
  • QMC-ADLA: Toonde verminderde variantie, maar vertoonde in sommige gevallen aanhoudende bias (bijvoorbeeld bij het schatten van gemiddelden van specifieke parameters in SKIMs), zelfs met grote $n$.
  • RQMC-ADLA: Bereikte een balans, waarbij de bias van ADLA werd gecorrigeerd met prestaties die qua fout vergelijkbaar waren met standaard HMC, hoewel de Gibbs-bemonsteringsstap hogere computationele kosten per iteratie met zich meebracht.
• Divergenties: In modellen waar standaard HMC op de volledige posterior last had van divergente transities (wat wijst op een slechte geometrie), elimineerden alle marginalisatiemethoden (inclusief ADLA en de voorgestelde correcties) divergenties, wat aantoont dat de benaderde marginale geometrie goed gedragen is.
• Efficiëntie: Hoewel ADLA het snelst was, leed het aan bias. De voorgestelde methoden boden een instelbare afweging: het verhogen van $n$ verminderde de bias ten koste van de rekentijd.

Betekenis en Claims

Het artikel claimt een "gecorrigeerde" versie van de geïntegreerde Laplace-benadering te bieden die de schaalbaarheid van marginalisatie behoudt, terwijl het asymptotische garanties van correctheid biedt. De betekenis ligt in het overbruggen van de kloof tussen de efficiëntie van benaderende methoden (zoals INLA/ADLA) en de nauwkeurigheid van exacte MCMC.

De auteurs benadrukken dat hun methoden gebruikers in staat stellen de flexibiliteit van probabilistische programmeertalen (via automatisch differentiatie) te benutten zonder beperkt te worden door de nauwkerigheidsbeperkingen van de Laplace-benadering. Ze positioneren RQMC-ADLA als een bijzonder veelbelovende aanpak die het verhogen van de modeldimensionaliteit vermijdt terwijl het de posteriorfout corrigeert, zij het met een complexer bemonsteringsschema (MwG) om discontinuïteiten te hanteren. Het werk suggereert dat voor veel toepassingen de computationele kosten van deze correcties gerechtvaardigd zijn door de reductie in posteriorbias, waardoor betrouwbaardere downstream-toepassingen mogelijk worden.