Résumé technique : Définitude positive dans les priors séparables

Énoncé du problème

En statistiques bayésiennes, les priors pour les matrices symétriques définies positives (PD), telles que les matrices de covariance, de précision ou de corrélation, sont souvent construits en supposant des entrées indépendantes et en tronquant ensuite la distribution conjointe à l'espace des matrices PD. Cette classe de priors, appelée PD-séparable ($p^+$), est définie par $p^+(\Theta) = p(\Theta)I(\Theta \succ 0) / c$, où $p(\Theta)$ est un prior séparable avec des entrées indépendantes, $I(\cdot)$ est la fonction indicatrice de la définie-positivité, et $c = P_p(\Theta \succ 0)$ est la constante de normalisation.

Bien que conceptuellement simple et computationnellement pratique (facilitant l'échantillonnage a posteriori et l'estimation du mode via des méthodes de vraisemblance pénalisée), les auteurs soutiennent que cette construction souffre de problèmes d'interprétabilité significatifs. Plus précisément, la troncature peut induire des conséquences non intentionnelles :

1. Distortion marginale : Les distributions marginales des entrées sous $p^+$ ($\pi^+_{ij}$) peuvent différer considérablement des marginales non tronquées ($\pi_{ij}$), altérant ainsi les croyances a priori sur la variance et la parcimonie.
2. Propriétés de rétrécissement : La troncature peut modifier drastiquement le comportement de rétrécissement, potentiellement en gonflant les entrées diagonales ou en rétrécissant les entrées hors-diagonale vers zéro plus agressivement que prévu.
3. Biais d'inférence parcimonieuse : Dans des contextes parcimonieux (par exemple, les modèles graphiques), la probabilité de troncature $c_z$ dépend du motif de parcimonie. Cela fait que le prior induit sur les structures de parcimonie, $p^+(z) \propto c_z p(z)$, favorise systématiquement des modèles plus parcimonieux par rapport au prior visé $p(z)$, biaisant potentiellement l'inférence a posteriori.

Méthodologie

L'article utilise une combinaison de bornes probabilistes, de la théorie des matrices aléatoires (spécifiquement la théorie des matrices de Wigner) et de l'analyse des distributions tronquées pour caractériser le comportement de $p^+$ et de ses marginales.

1. Caractérisation des effets de troncature :

   • Les auteurs relient la distance de variation totale (TV) et la divergence de Kullback-Leibler (KL) entre les distributions tronquée ($p^+$) et non tronquée ($p$) directement à la constante de normalisation $c$.
   • Ils dérivent des expressions pour la densité marginale $\pi^+_{ij}$ en fonction de la densité non tronquée $\pi_{ij}$ et de la probabilité conditionnelle $c_{ij}(\theta_{ij}) = P_p(\Theta \succ 0 | \theta_{ij})$.
   • Ils établissent que, bien que $c \to 1$ implique $p^+ \to p$, les marginales peuvent rester proches même si $c$ est petit, à condition que les probabilités conditionnelles $c_{ij}$ soient relativement stables.

2. Contrôle de la constante de normalisation ($c$) :

   • L'article dérive des bornes pour $c$ basées sur la relation entre les entrées diagonales ($\theta_{ii}$) et les entrées hors-diagonale ($\theta_{ij}$). Une condition suffisante pour $\Theta \succ 0$ est $\theta_{ii} > \sum_{j \neq i} |\theta_{ij}|$.
   • En utilisant la théorie des matrices de Wigner, les auteurs analysent le comportement asymptotique de la plus petite valeur propre $\lambda_{\min}(\Theta)$ lorsque la dimension $k \to \infty$. Ils établissent des conditions sur le rapport entre la moyenne diagonale ($\mu$) et l'écart-type hors-diagonale ($\sigma$) ainsi que sur la dimension $k$ qui garantissent $c \to 1$.
   • Plus précisément, pour des diagonales fixes, $c \to 1$ si $\mu / (\sigma \sqrt{k}) > 2$. Pour des diagonales stochastiques (par exemple, Exponentielle), des conditions plus strictes sur $\sigma$ par rapport à $k$ sont requises.

3. Contextes parcimonieux :

   • Les auteurs étendent l'analyse aux matrices parcimonieuses où $\theta_{ij} = 0$ avec une probabilité positive. Ils définissent $c_z = P_p(\Theta \succ 0 | Z=z)$, la probabilité de définie-positivité étant donné un motif de parcimonie spécifique $z$.
   • Ils prouvent que $c_z$ est une fonction décroissante de la densité de $z$ (nombre d'entrées non nulles) et de la variance hors-diagonale $\sigma^2$.
   • En utilisant des inégalités de concentration et la théorie des matrices aléatoires, ils dérivent des bornes inférieures pour $c_z$ qui dépendent du degré de ligne maximal $d_z$ du motif de parcimonie.

Contributions et résultats clés

1. Quantification de la distance entre $p$ et $p^+$

L'article fournit des bornes explicites montrant que les distances TV et KL entre $p^+$ et $p$ sont des fonctions de $c$.

• Proposition 1 : $TV(p^+, p) = 1 - c$ et $KL(p^+ || p) = -\log c$.
• Proposition 4 : Même si $c \to 0$ (ce qui signifie que les distributions conjointes sont éloignées), la distance marginale moyenne peut encore s'annuler si $-\log c = o(k^2)$ (pour les hors-diagonales) ou $o(k)$ (pour les diagonales). Cela implique qu'un choix prudent des paramètres peut préserver l'interprétabilité marginale même si la probabilité de troncature conjointe est faible.

2. Conditions pour $c \approx 1$

Les auteurs fournissent des conditions asymptotiques précises pour garantir que $c$ est proche de 1, rendant ainsi le prior interprétable :

• Diagonale fixe : Si $\theta_{ii} = \mu$, alors $c \to 1$ si $\liminf_{k \to \infty} \frac{\mu}{\sigma \sqrt{k}} > 2$. Si le rapport est $< 2$, $c \to 0$.
• Diagonale stochastique : Si $\theta_{ii} \sim \text{Exp}(\lambda)$, la condition est plus stricte : $\sigma$ doit être $o(k^{-3/2})$ pour que $c \to 1$, contre $o(k^{-1/2})$ pour les diagonales fixes.
• Familles d'échelle générales : $c$ est strictement décroissante en fonction du paramètre d'échelle hors-diagonale $\sigma$.

3. Impact sur l'inférence parcimonieuse

L'article démontre que, dans les modèles graphiques parcimonieux, la troncature introduit un biais vers des structures plus parcimonieuses :

• Proposition 7 : La valeur minimale attendue $\lambda_{\min}(\Theta)$ diminue à mesure que le motif de parcimonie $z$ devient plus dense. Par conséquent, $c_z$ diminue à mesure que le nombre d'entrées non nulles augmente.
• Corollaire 3 et Théorème 3 : Les auteurs dérivent des bornes inférieures pour $c_z$ impliquant le degré maximal $d_z$. Pour des diagonales fixes, $c_z \ge 1 - 2k e^{-\mu^2 / (2\sigma^2 d_z)}$.
• Implication : Si la variance a priori $\sigma^2$ n'est pas définie avec soin (spécifiquement, si $\sigma$ est trop grand par rapport à $\mu$ et $d_z$), $c_z$ devient petit pour les structures denses. Cela fait que le prior induit $p^+(z) \propto c_z p(z)$ attribue une masse significativement plus élevée aux modèles parcimonieux que le prior original $p(z)$, conduisant potentiellement à une sur-sélection de graphes parcimonieux dans l'inférence a posteriori.

4. Directives pour le choix des paramètres

L'article offre des directives pratiques pour définir les hyperparamètres du prior afin d'atténuer ces effets :

• Contrôle de la variance : La variance hors-diagonale $\sigma^2$ doit être suffisamment petite par rapport à la moyenne diagonale $\mu$ et à la dimension de la matrice (ou au degré de parcimonie).
• Distribution diagonale : L'utilisation de distributions diagonales avec des queues plus légères près de zéro (par exemple, Gamma ou Inverse-Gamma) plutôt qu'Exponentielle peut assouplir les contraintes sur $\sigma$ nécessaires pour maintenir $c \approx 1$.
• Re-paramétrisation : Les auteurs suggèrent de paramétrer $\Theta = D^{1/2} \tilde{\Theta} D^{1/2}$ et de placer un prior PD-séparable sur $\tilde{\Theta}$ (contenant les corrélations partielles), ce qui pourrait offrir une meilleure interprétabilité et une invariance d'échelle.

Importance et affirmations

L'article affirme que, bien que les priors PD-séparables soient populaires pour leur commodité computationnelle, leur interprétabilité est souvent compromise à moins que les paramètres ne soient définis avec une attention rigoureuse à la dimension de la matrice et à la structure de parcimonie.

• Interprétabilité : Les auteurs soutiennent que sans garantir $c \approx 1$ (ou que les marginales restent proches), les hyperparamètres du prior ne reflètent pas les croyances visées sur le processus générateur de données (par exemple, la variance ou la proportion de parcimonie).
• Apprentissage parcimonieux : Une contribution critique est la démonstration que la troncature biaise systématiquement l'inférence parcimonieuse. L'article montre que, à moins que $\sigma$ ne soit mis à l'échelle de manière appropriée avec $k$ et le niveau de parcimonie, l'a posteriori sera piloté par l'artefact de troncature plutôt que par les données ou le prior visé $p(z)$.
• Guidance pratique : L'article fournit les premières conditions asymptotiques rigoureuses (impliquant les limites des matrices de Wigner) pour définir la variance hors-diagonale dans des contextes parcimonieux de haute dimension afin de garantir que le prior se comporte comme prévu. Il suggère que des choix standards (comme un $\sigma$ fixe ou des diagonales Exponentielles) peuvent conduire à un comportement pathologique en haute dimension et propose des lois d'échelle spécifiques (par exemple, $\sigma = o(k^{-1/2})$ pour des diagonales fixes) pour les éviter.

Les auteurs concluent qu'un paramétrage prudent est essentiel pour garantir que l'hypothèse de « séparabilité » reste une approximation valide des croyances a priori après l'imposition de la contrainte de définie-positivité.