A Hybrid NUTS-Gibbs Sampler with State Space Marginalization for Estimation of Dynamic Structural Equation Models with Binomial Outcomes

1. Problématique

Le Modélisation par Équations Structurelles Dynamiques (DSEM) est une méthode statistique puissante pour analyser les données longitudinales intensives (ILD), où de nombreux participants sont mesurés à de nombreux moments temporels. Cependant, l'estimation des DSEM avec des réponses discrètes (binaires ou binomiales) pose deux défis majeurs :

1. Limitations des algorithmes actuels : Les échantillonneurs « Metropolis-within-Gibbs » existants (implémentés dans Mplus) sont limités à la fonction de lien probit et à la distribution de Bernoulli. Ils souffrent d'un goulot d'étranglement computationnel : ils nécessitent l'échantillonnage de $O(N \cdot T)$ paramètres (latent states) à chaque itération, où $N$ est le nombre de participants et $T$ le nombre de temps. Cela rend l'estimation impossible pour les grands jeux de données.
2. Inefficacité de l'échantillonnage de Gibbs : Les méthodes de Gibbs pures nécessitent des priors conjugués, limitant la flexibilité des modèles (ex: effets non linéaires, dynamiques asymétriques). De plus, dans des espaces de paramètres de haute dimension et fortement corrélés, le Gibbs produit des chaînes de Markov avec une forte autocorrélation, rendant l'inférence inefficace.
3. Limites du NUTS pur : Bien que l'échantillonneur No-U-Turn (NUTS) soit efficace pour les modèles hiérarchiques complexes, l'appliquer directement aux DSEM avec données discrètes oblige à échantillonner tous les états latents ($O(N \cdot T)$), ce qui est computationnellement prohibitif.

2. Méthodologie

Les auteurs proposent un échantillonneur hybride NUTS-Gibbs combinant les avantages de l'échantillonnage Hamiltonien (HMC) et de l'échantillonnage de Gibbs, intégrant une marginalisation exacte des états latents via un filtre de Kalman.

A. Formulation du Modèle

Le modèle DSEM est étendu pour gérer des réponses discrètes via deux types de liens :

• Lien Probit : Utilise une formulation de réponse latente avec des variables tronquées (normales).
• Lien Logit : Utilise la mélange de données de Pólya-Gamma (Polson et al., 2013). Pour des données binomiales, des variables auxiliaires $\omega$ sont introduites, transformant la vraisemblance logistique en une forme conditionnellement gaussienne.

B. L'Algorithme Hybride

L'algorithme alterne entre deux étapes principales :

1. Étape de Gibbs (Échantillonnage des réponses latentes) :

   • Étant donné les paramètres du modèle, les auteurs échantillonnent les réponses latentes continues ($\tilde{y}$) conditionnellement aux observations discrètes.
   • Pour le lien logit, cela implique d'échantillonner des variables de Pólya-Gamma et de calculer les pseudo-observations.
   • Cette étape est hautement parallélisable sur les participants ($N$) et les temps ($T$).

2. Étape NUTS (Échantillonnage des paramètres du modèle) :

   • Au lieu d'échantillonner les états latents de niveau intra-individuel ($\eta_{1, it}$), l'algorithme utilise un filtre de Kalman pour les marginaliser analytiquement.
   • Le NUTS cible la distribution postérieure marginale des paramètres de population, inter-individuels et temporels ($\Theta, \eta_2, \eta_3$), conditionnée aux réponses latentes $\tilde{y}$.
   • Le filtre de Kalman calcule exactement la vraisemblance marginale, réduisant le nombre de paramètres à échantillonner par le NUTS de $O(N \cdot T)$ à $O(N + T)$.

C. Implémentation

L'algorithme est implémenté dans NumPyro (basé sur JAX), permettant une compilation JIT (Just-In-Time) et une exécution efficace sur CPU, GPU ou TPU.

3. Contributions Clés

• Extension aux données binomiales avec lien Logit : C'est la première fois que l'estimation de DSEM avec des données binomiales (basées sur plusieurs essais) utilise la distribution de Pólya-Gamma, offrant une alternative plus efficace aux variables latentes tronquées ou à la transformation en essais de Bernoulli.
• Réduction de la complexité computationnelle : En marginalisant les états latents via le filtre de Kalman, la complexité de l'étape NUTS est drastiquement réduite, rendant l'inférence possible pour des modèles complexes et de grandes tailles.
• Hybridation optimisée : La combinaison exploite la capacité du NUTS à explorer efficacement les espaces de paramètres de haute dimension (paramètres de modèle) tout en utilisant la vitesse du Gibbs parallélisé pour les variables latentes massives ($N \cdot T$).
• Gestion des données manquantes : L'approche par filtre de Kalman gère naturellement les données manquantes (MAR) sans nécessiter d'imputation préalable.

4. Résultats

Des expériences de simulation et une application réelle ont été menées pour comparer l'échantillonneur hybride aux algorithmes alternatifs (Gibbs pur, NUTS pur).

• Efficacité (Taille de l'échantillon effectif par seconde) :
  • Pour les modèles à dynamique invariante entre participants, l'approche hybride est 2 à 16 fois plus efficace que les alternatives, selon la taille de $N$ et $T$.
  • Pour les modèles à dynamique variable entre participants (plus complexes), l'hybride surpasse le NUTS pur lorsque $N > T$ (cas typique des grandes études longitudinales).
  • Dans un modèle VAR(1) complexe à 9 indicateurs, l'hybride a été 5,1 fois plus efficace en termes de bulk-ESS.
• Échelle des données : L'algorithme a permis d'estimer des modèles avec $N=20$ et $T=2500$, ou $N=500$ et $T=50$, des tailles de données où les algorithmes existants (Mplus, Stan pur) échouent ou sont trop lents.
• Application réelle : L'analyse d'un ensemble de données sur les crises de panique (43 patients, 402 jours) a démontré la faisabilité de l'approche sur des données réelles avec des valeurs manquantes et un mélange de variables continues et binaires.
• Limitations identifiées :
  • Réponses ordinales : L'approche hybride est inefficace pour les données ordinales car la mise à jour des seuils (thresholds) dans l'étape NUTS force des pas de très petite taille en raison de contraintes d'intervalle très étroites.
  • Réponses binomiales négatives : La nécessité de paramètre de dispersion entier ($r$) rend l'échantillonnage par HMC difficile, car le NUTS ne gère pas les paramètres discrets.

5. Signification et Impact

Ce travail représente une avancée majeure pour l'analyse des données longitudinales intensives en psychologie et en sciences sociales :

1. Faisabilité des modèles complexes : Il permet aux chercheurs d'utiliser des modèles DSEM réalistes avec des données binaires (très courantes, ex: présence/absence d'un symptôme, succès/échec) sans être contraints par des approximations computationnelles (comme traiter des données discrètes comme continues).
2. Scalabilité : La méthode ouvre la voie à l'analyse de « Big Data » longitudinales, exploitant la puissance des GPU pour traiter des milliers de participants et de points temporels.
3. Flexibilité Bayésienne : En s'affranchissant des contraintes de conjugaison stricte du Gibbs pur, la méthode permet l'utilisation de priors plus informatifs et de structures de modèles plus riches (effets non linéaires, splines).
4. Outils modernes : L'implémentation dans NumPyro/JAX positionne cette méthode à l'avant-garde de l'inférence probabiliste moderne, facilitant le déploiement sur des infrastructures de calcul haute performance.

En conclusion, cet algorithme hybride résout le compromis historique entre la précision de l'inférence bayésienne et la faisabilité computationnelle pour les modèles DSEM à réponses discrètes, offrant un nouvel outil standard pour l'analyse des dynamiques intra-individuelles.