Résumé technique : Contraction de Wasserstein de l'inférence variationnelle par ascension coordonnée

Énoncé du problème

L'article traite des garanties théoriques de convergence pour l'algorithme d'inférence variationnelle par ascension coordonnée (CAVI). Le CAVI est une méthode fondamentale pour approximer des distributions cibles $\pi$ intraitables (généralement des distributions a posteriori en statistiques bayésiennes) en minimisant la divergence de Kullback–Leibler (KL) sur une famille de distributions factorisées et traitables (par exemple, $\mu \otimes \nu$). Bien que le CAVI soit largement utilisé en raison de son efficacité computationnelle, les garanties de convergence rigoureuses ont historiquement été limitées. La littérature existante repose souvent sur des hypothèses fortes, telles que la log-concavité forte globale de la distribution cible, ce qui exclut de nombreux modèles pratiques (par exemple, les modèles de mélanges, la régression logistique) où la cible n'est pas fortement log-concave ou où l'espace comporte des composantes discrètes ou non lisses.

Les auteurs visent à établir la convergence exponentielle locale des itérés du CAVI $(\mu_k, \nu_k)$ vers un point fixe dans la distance de Wasserstein, sous des conditions plus faibles et plus vérifiables que la log-concavité forte globale.

Méthodologie

Les auteurs analysent les mises à jour du CAVI comme une séquence d'opérateurs agissant sur des mesures de probabilité. Soit la cible $\pi = e^{-f} \in \mathcal{P}(Z \times B)$. Les mises à jour du CAVI sont définies via des applications d'optimalité :
$$\mu_k = \mu^\star[\nu_{k-1}], \quad \nu_k = \nu^\star[\mu_k]$$
où $\mu^\star[\nu] \propto \exp(-\mathbb{E}_\nu f(\cdot, \beta))$ et $\nu^\star[\mu] \propto \exp(-\mathbb{E}_\mu f(Z, \cdot))$.

L'analyse de convergence repose sur deux conditions principales définies sur l'espace des mesures de probabilité équipé de la distance de Wasserstein-$p$ ($W_p$) :

1. Lissage de Fisher (Lissage croisé) : Les applications d'optimalité $\mu^\star[\cdot]$ et $\nu^\star[\cdot]$ doivent être « lisses de Fisher » autour des points fixes. Un opérateur $\gamma^\star[\cdot]$ est lisse de Fisher avec une constante $L$ si :
   $$I(\gamma^\star[\varrho] \| \gamma^\star[\varrho']) \leq L^2 W_p^2(\varrho, \varrho')$$
   où $I$ est l'information de Fisher relative. Cette condition borne essentiellement la variation du gradient du potentiel par rapport à l'autre coordonnée (lissage croisé du terme d'interaction $\omega$ dans $f = f_1 + f_2 + \omega$).

2. Inégalité Transport-Information (TI) : Les distributions de point fixe $\mu^\star$ et $\nu^\star$ doivent satisfaire une inégalité TI avec des constantes $\lambda_1, \lambda_2$ :
   $$\lambda^2 W_p^2(\varrho, \gamma) \leq I(\varrho \| \gamma)$$
   Il s'agit d'une condition de courbure sur les points fixes. Elle est plus faible que les inégalités de Sobolev logarithmiques et la log-concavité forte, et elle se tensorise, ce qui la rend adaptée aux contextes de haute dimension.

Les auteurs étendent également ce cadre aux contextes d'augmentation de données (où $Z$ représente des variables auxiliaires). Dans ce cas, ils montrent que la convergence de la marge des paramètres $\nu_k$ peut être établie uniquement sur la base de la régularité de l'application composée $\nu^\star[\mu^\star[\cdot]]$ et de l'inégalité TI de $\nu^\star$, sans exiger de conditions de courbure sur le point fixe auxiliaire $\mu^\star$. Ceci est crucial lorsque $Z$ est discret ou non lisse.

Contributions clés

1. Théorème de convergence général (Théorème 1)

L'article démontre que si les constantes de lissage croisé ($L_{1|2}, L_{2|1}$) et les constantes TI ($\lambda_{1|2}, \lambda_{2|1}$) satisfont la condition $L_{1|2}L_{2|1} < \lambda_{1|2}\lambda_{2|1}$, alors les itérés du CAVI convergent exponentiellement vite vers le point fixe en distance de Wasserstein avec un taux de $\frac{L_{1|2}L_{2|1}}{\lambda_{1|2}\lambda_{2|1}}$.

• Généralité : Le résultat s'applique aux variétés riemanniennes lisses générales et permet des espaces non lisses (via l'extension à l'augmentation de données).
• Local vs Global : Le théorème fournit des garanties de convergence locale. La convergence globale est possible si les conditions sont vérifiées globalement, mais les auteurs soulignent que les garanties locales suffisent pour de nombreux scénarios pratiques où plusieurs points fixes existent.
• Précision : Pour des cibles gaussiennes, le taux dérivé coïncide avec la norme spectrale de la matrice de corrélation, démontrant la précision de la borne.

2. Cadre d'augmentation de données (Théorème 4)

Une contribution majeure est l'assouplissement des hypothèses pour les problèmes d'augmentation de données. Les auteurs montrent que si l'intérêt porte uniquement sur le paramètre $\beta$ (marge $\nu$), la convergence peut être prouvée sans exiger que le point fixe auxiliaire $\mu^\star$ satisfasse une inégalité TI. Cela permet d'appliquer la théorie de convergence du CAVI à des modèles avec des variables latentes discrètes (par exemple, les modèles de mélanges gaussiens) où l'espace auxiliaire est non lisse.

3. Application à des modèles bayésiens spécifiques

Les auteurs appliquent leur cadre théorique à trois modèles spécifiques, en dérivant des taux et des conditions de convergence explicites :

• Modèles de mélanges gaussiens déséquilibrés (GMM) :

  • La convergence est régie par une transition de phase a posteriori.
  • Le taux dépend de la séparation des modes a posteriori. Si les modes sont bien séparés, l'algorithme converge localement et exponentiellement vite.
  • Dans le cas équilibré ($p=0.5$), la convergence globale nécessite une condition spécifique sur le rapport signal-sur-bruit ($r < 1$). Si cette condition échoue, l'a posteriori devient multimodal, et le CAVI converge vers différents modes selon l'initialisation.
  • Les résultats mettent en évidence que les mélanges déséquilibrés (asymétrie de $p$) facilitent une convergence plus rapide en réduisant l'ambiguïté des étiquettes.

• Régression Probit bayésienne :

  • Les auteurs analysent les mises à jour du CAVI pour la régression Probit avec augmentation de données (Albert et Chib, 1993).
  • Ils prouvent une convergence exponentielle globale avec un taux déterminé par la fraction bayésienne d'information manquante : $\lambda_{\max}((Q_0 + X^\top X)^{-1}X^\top X)$.
  • Ils montrent que dans des contextes de haute dimension ($n, p \to \infty$), le taux reste borné loin de 1 sous un échelonnement approprié des priors (par exemple, priors $g$ ou échelonnement direct), assurant la stabilité même lorsque la dimension croît.

• Régression logistique bayésienne (Algorithme Jaakkola-Jordan) :

  • L'article analyse l'algorithme en utilisant des augmentations de Polya-Gamma.
  • Ils dérivent un taux de convergence local $r_\varepsilon$ qui dépend de la dérivée de la fonction de lien logistique et de la courbure de l'a posteriori.
  • Crucialement, ils établissent que le taux de convergence pour la régression logistique est strictement meilleur (plus petit) que pour la régression Probit dans des conditions comparables, en raison des propriétés de l'augmentation de Polya-Gamma et de la forme spécifique des termes d'interaction. Il s'agit du premier résultat de taux de convergence disponible pour l'algorithme Jaakkola-Jordan.

Importance et affirmations

L'article revendique une preuve précise, directe et courte de la convergence du CAVI qui repose sur des inégalités fonctionnelles plutôt que sur la log-concavité forte globale.

• Assouplissement des hypothèses : En utilisant les inégalités Transport-Information et le lissage de Fisher, les auteurs contournent la nécessité que la distribution cible $\pi$ soit fortement log-concave. C'est un assouplissement significatif, car des modèles standards comme les modèles de mélanges et la régression logistique ne satisfont pas la log-concavité forte.
• Gestion des espaces non lisses : L'extension à l'augmentation de données permet une analyse de convergence dans des contextes avec des variables latentes discrètes, une caractéristique courante des modèles de mélanges qui était auparavant difficile à analyser sous des hypothèses de variétés lisses.
• Dualité Précision-Convergence : L'article note que les conditions assurant une convergence rapide (petits termes d'interaction par rapport à la courbure) impliquent également que l'approximation variationnelle est de haute qualité (faible divergence KL). Cela établit une dualité entre la vitesse de l'algorithme et la précision de l'approximation.
• Pertinence pratique : Les taux dérivés pour la régression de haute dimension (Probit et Logistique) démontrent que le CAVI reste stable et efficace même lorsque la dimension $p$ et la taille de l'échantillon $n$ augmentent, à condition que le prior soit correctement échelonné.

Les auteurs déclarent explicitement que leur analyse actuelle est restreinte au cadre à deux blocs ($m=2$) et que les extensions aux dynamiques multi-blocs sont laissées pour un travail futur. Ils notent également que, bien que leurs résultats soient locaux, ils s'alignent sur et expliquent le comportement empirique du CAVI dans des paysages complexes et non convexes.