Résumé technique : Inférence bayésienne de la parcimonie dans les processus autorégressifs vectoriels stables

Énoncé du problème

L'article aborde le défi de l'inférence bayésienne sur des processus autorégressifs vectoriels (VAR) graphiques stables où la parcimonie et la stationnarité sont toutes deux requises. Dans les applications de séries temporelles de haute dimension (par exemple, génétique, neurosciences, macroéconomie), l'identification des relations directionnelles (causalité de Granger) et de l'indépendance conditionnelle contemporaine est cruciale. Ces relations sont encodées dans les motifs de parcimonie des matrices de coefficients autorégressifs ($\Phi$) et de la matrice de précision des erreurs ($K = \Sigma^{-1}$).

Alors que la parcimonie peut être induite par des priors standards (par exemple, spike-and-slab), l'imposition de la stationnarité est computationnellement difficile. Un processus VAR est stable si et seulement si les racines de son polynôme caractéristique se situent à l'extérieur du cercle unité, une condition qui restreint les paramètres à une région géométrique complexe et non convexe connue sous le nom de région stationnaire ($C_{p,m}$).

• Le Conflit : Les priors parcimonieux standards sont définis sur un espace euclidien non contraint. Le tronquage de ces priors à $C_{p,m}$ introduit des constantes de normalisation intraitables, rendant l'inférence postérieure doublement intractable.
• La Conséquence : Sans imposition explicite, la masse postérieure déborde souvent en dehors de la région stationnaire, en particulier lorsque la longueur de la série temporelle est courte par rapport à la dimension ou lorsque la parcimonie est faible. Cela conduit à des variances de prévision non bornées et à de mauvaises performances prédictives.

Méthodologie

Les auteurs proposent un cadre bayésien novateur qui impose simultanément la stationnarité et induit la parcimonie grâce à une expansion de paramètres et une stratégie de reparamétrisation.

1. Reparamétrisation pour la stationnarité

Pour éviter la complexité géométrique de $C_{p,m}$, les auteurs introduisent une variable auxiliaire $\nu \in \mathbb{R}^+$ et appliquent une transformation des coefficients autorégressifs contraints $\Phi$ vers un ensemble non contraint de matrices carrées $Z = (Z_1, \dots, Z_p)$ et un facteur d'échelle $u$.

• Transformation : La transformation est définie par $Z_s = \nu \phi_s$ et $u = \rho(C_\phi)$, où $\rho(\cdot)$ est le rayon spectral et $C_\phi$ est la matrice compagnon.
• Transformation inverse : Les coefficients originaux sont récupérés via $\phi_s = u Z_s / \rho(C_z)^s$, où $C_z$ est la matrice compagnon de $Z$.
• Propriété clé : Cette bijection préserve les zéros : $z_{s,ij} = 0$ si et seulement si $\phi_{s,ij} = 0$ (pour les éléments hors diagonale). Cela permet d'induire la parcimonie dans l'espace non contraint $Z$ tout en garantissant que le $\Phi$ résultant se situe dans la région stationnaire.

2. Spécification des priors

• Coefficients autorégressifs ($\Phi$) : Un prior spike-and-slab est placé sur les matrices non contraintes $Z$.
  • Les éléments hors diagonale $z_{s,ij}$ ($i \neq j$) sont modélisés comme $z_{s,ij} = \gamma_{s,ij} \tilde{z}_{s,ij}$, où $\gamma_{s,ij}$ est un indicateur binaire et $\tilde{z}_{s,ij}$ est une taille d'effet continue.
  • Le slab est une distribution normale, et le spike est un atome en zéro (ou une normale étroite).
  • Les hyperparamètres contrôlent la probabilité de mélange et le rétrécissement.
• Matrice de précision des erreurs ($K$) : Un mélange de distributions G-Wishart est utilisé.
  • Le prior est spécifié comme $\pi(G_2, K) = \pi(G_2)\pi(K|G_2)$, où $G_2$ est le graphe non dirigé des dépendances contemporaines et $K|G_2 \sim W_{G_2}(d, D)$.
  • Cette approche, courante dans les modèles graphiques gaussiens, permet une $K$ parcimonieuse tout en maintenant la conjugaison avec la vraisemblance gaussienne, bien que la constante de normalisation soit gérée via des algorithmes d'échange.

3. Inférence computationnelle (MCMC)

Les auteurs développent un algorithme Metropolis-in-Gibbs pour échantillonner la distribution postérieure conjointe :

1. Paramètres continus ($\theta_{1,c}$) : Le vecteur contenant les parties continues de $Z$, le facteur d'échelle $u$ et les hyperparamètres est échantillonné à l'aide de l'échantillonneur No-U-Turn (NUTS). Cette méthode basée sur le gradient est essentielle pour naviguer dans la dépendance postérieure complexe induite par la reparamétrisation.
2. Indicateurs discrets ($\theta_{1,d}$) : Les indicateurs binaires pour la parcimonie dans $Z$ sont mis à jour par balayage systématique en utilisant leurs distributions conditionnelles complètes de Bernoulli.
3. Graphe et matrice de précision ($\theta_2$) : Le graphe non dirigé $G_2$ et la matrice de précision $K$ sont échantillonnés à l'aide de l'algorithme de détermination de modèle graphique (Wang et Li, 2012), qui emploie un algorithme d'échange pour contourner la constante de normalisation intractable du G-Wishart.

Résultats clés

Expériences de simulation

Les auteurs ont mené des simulations extensives en faisant varier la longueur de la série temporelle ($n$), la dimension ($m$), l'ordre ($p$) et les niveaux de parcimonie ($r$).

• Identification de la parcimonie : L'imposition de la stationnarité a considérablement réduit les taux de mauvaise classification pour les indicateurs de parcimonie, en particulier lorsque la parcimonie réelle était faible ($r=0.1$) ou modérée ($r=0.5$). Sans contraintes de stationnarité, la postérieure échouait souvent à identifier les bons motifs de zéros, conduisant à de grandes distances de Hamming entre les graphes réel et estimé.
• Violation de la stationnarité : Dans les analyses où la stationnarité n'était pas imposée, 10 % des simulations ont abouti à des distributions postérieures où jusqu'à 16 % de la masse se trouvait en dehors de la région stationnaire, confirmant le risque de variance non bornée dans les modèles non contraints.
• Comparaison : La méthode proposée a surpassé les VAR bayésiens parcimonieux non contraints et les estimateurs de vraisemblance régularisés basés sur le Lasso, en particulier dans les régimes de haute dimension et de faible échantillon.

Applications réelles

1. Données macroéconomiques américaines :
   • Configuration : Un modèle VAR(4) sur 20 variables (incluant le PIB, l'IPC et le taux des fonds fédéraux) de 1959 à 2007.
   • Résultat : Le prior proposé (parcimonieux + stationnaire) a produit les meilleures performances prédictives hors échantillon sur tous les horizons ($h=1, 2, 4, 8$).
   • Insight : Les modèles n'imposant pas la stationnarité ont produit des variances de prévision non bornées. Le modèle stationnaire parcimonieux a identifié une forte boucle de rétroaction entre l'Indice des Prix à la Consommation (IPC) et le taux des fonds fédéraux, cohérente avec la théorie économique.
2. Neurosciences (Connectivité cérébrale) :
   • Configuration : Analyse de données d'électroencéphalographie intracrânienne (EEGi) de patients épileptiques, se concentrant sur la puissance de bande dans les fréquences bêta et delta.
   • Résultat : Le modèle a révélé des motifs distincts de connectivité directionnelle. Dans la bande bêta, la probabilité postérieure était significativement plus élevée pour les arêtes directionnelles gauche-droite (GD) par rapport aux autres directions.
   • Insight : Cette asymétrie directionnelle correspond à l'histoire clinique où les crises du patient ont pris origine dans l'hémisphère gauche (amygdale/hippocampe) et ont été résolues après une résection du lobe temporal gauche. Les résultats suggèrent que l'activité cérébrale intercritique (non-critique) contient des informations sur le réseau fonctionnel générant les crises.

Importance et revendications

L'article revendique fournir la première méthodologie pour construire un prior pour les coefficients autorégressifs vectoriels qui simultanément contraint l'inférence à la région stationnaire et permet la parcimonie dans l'espace des paramètres.

• Contribution théorique : Le travail résout la tension entre la complexité géométrique de la région stationnaire et le besoin d'estimation parcimonieuse des paramètres en introduisant une bijection préservant les zéros via l'expansion de paramètres.
• Impact pratique : Les auteurs démontrent que l'imposition de la stationnarité n'est pas simplement une contrainte théorique mais une nécessité pratique pour améliorer la précision prédictive et l'interprétabilité scientifique, en particulier dans les contextes de haute dimension où les données sont limitées.
• Modestie : Les auteurs notent que, bien que leur approche soit plus intensive computationnellement que les méthodes non contraintes (en raison de la variable auxiliaire et de l'échantillonnage NUTS), le coût est justifié par la garantie de stationnarité et l'amélioration résultante de la qualité de l'inférence. Ils reconnaissent également que la méthode pourrait être adaptée à d'autres espaces avec des contraintes de type norme (par exemple, le simplexe).

L'article conclut que l'ignorance de la stationnarité dans les VAR graphiques peut conduire à de graves erreurs d'inférence et que leur cadre proposé offre une solution robuste pour apprendre les structures causales dans les systèmes dynamiques stables.