A Hybrid NUTS-Gibbs Sampler with State Space Marginalization for Estimation of Dynamic Structural Equation Models with Binomial Outcomes

Titel en Context

Het artikel introduceert een nieuwe hybride NUTS-Gibbs-sampler voor het schatten van Dynamische Structurele Vergelijkingsmodellen (DSEM) met binomiale uitkomsten (bijv. Bernoulli of tellingsdata). DSEM wordt veel gebruikt voor intensieve longitudinale data (ILD), waarbij deelnemers op veel tijdstippen worden gemeten. Bestaande methoden, zoals de Metropolis-in-Gibbs-sampler in Mplus, kampen met ernstige schaalproblemen bij complexe modellen en grote datasets, en zijn beperkt tot de probit-link.

Het Probleem

De auteurs identificeren drie hoofdbeperkingen in de huidige DSEM-schatting voor niet-Gaussische data:

1. Schaalbaarheid: Bestaande Gibbs-samplers moeten in elke iteratie $O(N \cdot T)$ parameters schatten ($N$ deelnemers, $T$ tijdstippen). Dit leidt tot een computationele bottleneck bij grote datasets.
2. Link-functie beperking: Huidige methoden zijn vaak beperkt tot de probit-link en de Bernoulli-verdeling. De logit-link (populair in de praktijk) is moeilijk te integreren met efficiënte Gibbs-sampling voor binomiale data zonder de modelcomplexiteit te vergroten.
3. Efficiëntie en Autocorrelatie: Gibbs-sampling is inefficiënt bij hoog-dimensionale, sterk gecorreleerde posterieuren (typisch voor DSEM), wat resulteert in Markov-ketens met hoge autocorrelatie. Hamiltonian Monte Carlo (HMC) is hier beter in, maar standaard HMC (zoals NUTS) schaal niet goed omdat het ook de latent states moet schatten.

Methodologie: De Hybride NUTS-Gibbs Sampler

De auteurs combineren de kracht van NUTS (No-U-Turn Sampler) met Gibbs-sampling en State Space Marginalisatie via een Kalman-filter. Het algoritme werkt als volgt:

1. Data Augmentatie en Latente Responsen:

   • Voor probit-link: Gebruik van getruncate normale verdelingen (latent response formulation).
   • Voor logit-link: Gebruik van Pólya-Gamma (PG) data-augmentatie. Dit transformeert de logit-link in een lineair Gaussisch meetmodel door het invoeren van hulpvariabelen ($\omega$) die Pólya-Gamma verdeeld zijn. Dit maakt exacte marginalisatie mogelijk.

2. De Hybride Cyclus:
   Het algoritme wisselt af tussen twee stappen:

   • Stap 1: Gibbs-stap (Sampling van Latente Responsen):
     • De $O(N \cdot T)$ latent response variabelen (of de PG-variabelen) worden gesampled, gegeven de huidige modelparameters.
     • Deze stap is zeer efficiënt en paralleliseerbaar over deelnemers en tijdstippen.
     • Voor de logit-link worden de PG-variabelen gesampled, wat de schatting van binomiale data met meerdere trials mogelijk maakt zonder de data te hoeven uitbreiden naar Bernoulli-trials.
   • Stap 2: NUTS-stap (Marginalisatie en Update van Parameters):
     • De NUTS-sampler update de populatieparameters ($\Theta$), participant-specifieke parameters ($\eta_2$) en tijdstip-specifieke parameters ($\eta_3$).
     • Cruciaal: De binnen-lagen latent states ($\eta_1$) worden niet gesampled. In plaats daarvan wordt de Kalman-filter gebruikt om deze exact te marginaliseren (integreren) uit de posterieure verdeling.
     • Hierdoor reduceert de NUTS-stap het aantal te schatten parameters van $O(N \cdot T)$ naar $O(N + T)$.

3. Implementatie:

   • Het algoritme is geïmplementeerd in NumPyro (gebaseerd op JAX), wat toelating geeft tot JIT-compilatie en efficiënte vectorisatie op CPU's, GPU's en TPUs.

Belangrijkste Bijdragen

• Hybride Architectuur: Een innovatieve combinatie van NUTS (voor efficiënt verkenning van complexe parameter ruimtes) en Gibbs (voor het handhaven van conjugatie bij discrete data).
• Logit-link voor DSEM: De eerste toepassing van Pólya-Gamma augmentatie in DSEM, waardoor logit-links en binomiale data (inclusief tellingsdata) efficiënt kunnen worden gemodelleerd.
• Exacte Marginalisatie: Het gebruik van de Kalman-filter binnen de NUTS-stap elimineert de noodzaak om duizenden latent states te schatten, wat de dimensionale last drastisch verlaagt.
• Schaalbaarheid: Het algoritme maakt DSEM-schatting mogelijk voor datasets die eerder onhandelbaar waren (bijv. $N=500, T=50$ of $N=20, T=2500$).

Resultaten uit Simulaties en Toepassing

De auteurs vergeleken hun hybride sampler met pure Gibbs-samplers (JAGS/NumPyro) en pure NUTS-samplers (Stan/NumPyro).

1. Efficiëntie (ESS per tijdseenheid):

   • Bij participant-invariante dynamiek (AR(1) model): De hybride sampler was 2 tot 16 keer efficiënter dan alternatieven, afhankelijk van de verhouding tussen $N$ en $T$. Vooral bij grote $N$ (veel deelnemers) presteerde de hybride methode uitstekend door parallelisatie.
   • Bij participant-variërende dynamiek: De hybride sampler was superieur wanneer $N > T$. Bij $N < T$ was pure NUTS soms iets sneller, maar de hybride methende bleef robuust.
   • Bij een complex VAR(1) model met 9 indicatoren: De hybride sampler was 5,1 keer efficiënter in bulk-ESS en 4,7 keer in tail-ESS vergeleken met pure NUTS.

2. Toepassing (Paniekaanvallen):

   • Geanalyseerd werd een dataset met 43 patiënten over 402 dagen (voorspellen van paniekaanvallen op basis van hartslag en stappen).
   • Het model kon handelen met veel ontbrekende data dankzij de Kalman-filter.
   • De resultaten toonden aan dat de hybride sampler in ongeveer 2 uur convergerende schattingen leverde voor een model dat anders computatievriendelijk zou zijn.

3. Limitaties:

   • Ordinale data: De methode is inefficiënt voor ordinale data met veel categorieën omdat de NUTS-stap vastloopt in smalle intervallen voor drempelparameters.
   • Negatief binomiale data: De noodzaak om de dispersieparameter $r$ (die een geheel getal moet zijn voor exacte PG-sampling) te schatten, is problematisch voor NUTS (dat werkt met continue ruimtes).

Significantie

Dit artikel is een doorbraak voor de toepassing van DSEM in de psychologie en gedragswetenschappen, waar data vaak binomiaal is (bijv. "ja/nee" vragen, aantal keren een gedrag).

• Het lost het schaalprobleem op, waardoor onderzoekers complexe dynamische modellen kunnen schatten op grote datasets zonder te moeten resorteren tot suboptimale benaderingen (zoals het behandelen van discrete data als continu of het gebruik van som-scores).
• Het ondersteunt de logit-link, wat vaak intuïtiever en beter interpreteerbaar is dan de probit-link.
• Het biedt een pad naar GPU-acceleratie voor DSEM, wat essentieel is voor de toekomstige analyse van "big data" in intensieve longitudinale studies.

Kortom, de auteurs bieden een robuust, schaalbaar en flexibel rekenkader dat de grenzen van wat mogelijk is in DSEM-analyse aanzienlijk verlegt.