A Hybrid NUTS-Gibbs Sampler with State Space Marginalization for Estimation of Dynamic Structural Equation Models with Binomial Outcomes

Título: Un Muestreador Híbrido NUTS-Gibbs con Marginalización de Espacio de Estados para la Estimación de Modelos de Ecuaciones Estructurales Dinámicas (DSEM) con Resultados Binomiales

1. El Problema

El modelado de ecuaciones estructurales dinámicas (DSEM) es una herramienta estándar para analizar datos longitudinales intensivos (ILD), donde se miden múltiples participantes en muchos puntos temporales. Sin embargo, existen limitaciones críticas en los métodos actuales de estimación, especialmente cuando los resultados son categóricos (binomiales o de Bernoulli):

• Escalabilidad Computacional: Los muestreadores actuales basados en Metropolis-dentro-de-Gibbs (implementados en software como Mplus) requieren muestrear $O(N \cdot T)$ parámetros (donde $N$ es el número de participantes y $T$ el número de tiempos) en cada iteración. Esto crea un cuello de botella computacional severo a medida que crece el tamaño de los datos.
• Limitaciones de Enlace (Link): Los métodos existentes para datos discretos suelen estar restringidos al enlace probit y a la distribución de Bernoulli. El uso del enlace logit (más común en la práctica) con datos binomiales es difícil de implementar eficientemente en esquemas puramente Gibbs debido a la falta de conjugación.
• Ineficiencia de Muestreo: Los muestreadores Gibbs puros sufren de alta autocorrelación en cadenas de Markov cuando los parámetros están altamente correlacionados, lo que es típico en modelos DSEM con muchos estados latentes. Además, requieren distribuciones a priori conjugadas, limitando la flexibilidad del modelo.
• Ineficiencia de HMC Puro: Aunque el Muestreador de Hamiltoniano (HMC) y el No-U-Turn Sampler (NUTS) son eficientes para espacios de alta dimensión, aplicarlos directamente a DSEM con datos discretos sin marginalización obliga a muestrear todos los estados latentes ($O(N \cdot T)$), perdiendo la ventaja de la marginalización analítica disponible para datos gaussianos.

2. Metodología Propuesta

Los autores proponen un muestreador híbrido NUTS-Gibbs que combina las fortalezas de dos algoritmos para resolver los problemas de escalabilidad y eficiencia en DSEM con respuestas binomiales.

• Estructura Híbrida: El algoritmo alterna entre un paso de Gibbs y un paso de NUTS.

  • Paso Gibbs (Muestreo de Respuestas Latentes): Se encarga de muestrear las variables latentes de respuesta ($\tilde{y}$) condicionadas a los parámetros del modelo.
    • Para el enlace logit, utiliza la ampliación de datos de Pólya-Gamma (Polson et al., 2013). Esto transforma la distribución binomial en una condicionalmente gaussiana, permitiendo el uso de variables latentes auxiliares ($\omega$) que facilitan el muestreo.
    • Para el enlace probit, utiliza la formulación de respuesta latente truncada normal (Albert & Chib, 1993).
    • Este paso es altamente paralelizable entre participantes y puntos temporales.
  • Paso NUTS (Muestreo de Parámetros del Modelo): Se encarga de muestrear los parámetros de nivel poblacional, entre participantes y entre tiempos ($\Theta, \eta_2, \eta_3$).
    • Marginalización Exacta: Utiliza un Filtro de Kalman para integrar analíticamente (marginalizar) las variables latentes de nivel intra-sujeto ($\eta_1$). Esto reduce el número de parámetros que NUTS debe explorar de $O(N \cdot T)$ a $O(N + T)$.
    • Esto permite que NUTS explore eficientemente el espacio de parámetros de alta dimensión sin estar atascado por la alta autocorrelación de los estados latentes.

• Implementación: El algoritmo se implementó en NumPyro, aprovechando la compilación JIT de JAX para acelerar las operaciones matriciales y permitir la ejecución en CPUs, GPUs y TPUs.

3. Contribuciones Clave

1. Algoritmo Híbrido Escalable: Es la primera implementación que combina NUTS con marginalización de Kalman específicamente para DSEM con datos binomiales usando el enlace logit y Pólya-Gamma.
2. Eficiencia Computacional: Reduce drásticamente la carga computacional al evitar muestrear los estados latentes intra-sujeto en el paso de Hamiltoniano, manteniendo la precisión de la inferencia bayesiana.
3. Flexibilidad de Enlace: Permite el uso del enlace logit (más natural para probabilidades) junto con datos binomiales (éxitos en $n$ ensayos), algo que los métodos Gibbs puros actuales no manejan bien sin sacrificar eficiencia.
4. Validación Empírica: Proporciona evidencia exhaustiva mediante simulaciones y un caso de estudio real, demostrando la superioridad del método sobre alternativas como Gibbs puro, NUTS puro y Mplus.

4. Resultados

Los experimentos de simulación y la aplicación práctica mostraron lo siguiente:

• Simulaciones (Modelos AR(1) y VAR(1)):
  • En modelos con dinámicas invariantes entre participantes, el muestreador híbrido fue de 1.7 a 16.6 veces más eficiente (medido en ESS por segundo) que los algoritmos alternativos, dependiendo del tamaño de la muestra ($N$) y el tiempo ($T$).
  • En modelos con dinámicas variables entre participantes (donde el Gibbs puro no es viable), el híbrido superó a NUTS puro en escenarios con muchos participantes ($N > T$), siendo hasta 5.1 veces más eficiente en modelos VAR(1) complejos.
  • El híbrido hizo factible estimar modelos con $N=20$ y $T=2500$, o $N=500$ y $T=50$, tareas que eran prohibitivas con los algoritmos anteriores.
• Caso de Estudio (Ataques de Pánico):
  • Se aplicó a un conjunto de datos de evaluación ecológica momentaria (EMA) para predecir ataques de pánico basándose en actividad física.
  • El algoritmo manejó exitosamente datos mixtos (binomiales y continuos) y valores faltantes mediante el filtro de Kalman.
  • Aunque hubo desafíos de identificación en parámetros de intercepto debido a la rareza del evento (ataques de pánico), el método convergió adecuadamente y proporcionó estimaciones robustas en un tiempo razonable (~2 horas).
• Limitaciones Identificadas:
  • El método es ineficiente para respuestas ordinales debido a la naturaleza de las funciones indicadoras en la verosimilitud, que fuerzan a NUTS a tomar pasos extremadamente pequeños.
  • También presenta dificultades con distribuciones binomiales negativas debido a la necesidad de parámetros enteros (dispersión) que NUTS no puede manejar directamente en espacios continuos.

5. Significado e Impacto

Este trabajo representa un avance significativo en la metodología de análisis de datos longitudinales intensivos:

• Viabilidad de Modelos Complejos: Permite a los investigadores utilizar modelos DSEM con datos binomiales reales (en lugar de aproximarlos como continuos o usar puntuaciones sumatorias) incluso con conjuntos de datos masivos.
• Adopción de Enlaces Logit: Facilita el uso del enlace logit, que es intuitivo para probabilidades, superando la limitación histórica de depender del enlace probit en software estándar.
• Aprovechamiento de Hardware Moderno: Al estar implementado en NumPyro/JAX, el algoritmo está preparado para escalar en GPUs, lo que es crucial para el futuro del análisis de "big data" en psicología y ciencias sociales.
• Dirección Futura: Abre la puerta a investigaciones sobre cómo extender la marginalización de Kalman a otras familias exponenciales (como datos ordinales o de conteo) mediante filtros aproximados (e.g., Unscented Kalman Filter) o métodos de partículas, equilibrando precisión y velocidad.

En resumen, el muestreador híbrido NUTS-Gibbs con marginalización de espacio de estados resuelve el dilema entre la flexibilidad de los modelos DSEM complejos y la viabilidad computacional, estableciendo un nuevo estándar para el análisis bayesiano de datos longitudinales discretos.