Generalized Guarantees for Variational Inference in the Presence of Even and Elliptical Symmetry

Résumé Technique : Garanties Généralisées pour l'Inférence Variationnelle en Présence de Symétrie Paire et Elliptique

Énoncé du Problème
L'inférence variationnelle (VI) approxime une densité cible $p$ en trouvant la meilleure correspondance $q$ au sein d'une famille de distributions traçable $\mathcal{Q}$, généralement en minimisant une divergence $D(p||q)$. Bien que différentes divergences (par exemple, la KL inverse, la KL directe, les $\alpha$-divergences) produisent souvent des approximations différentes, il reste difficile de savoir sous quelles conditions la VI fournit des estimations prouvables des propriétés statistiques, telles que la moyenne et la matrice de corrélation. Des travaux antérieurs ont établi que la minimisation de la divergence de Kullback-Leibler (KL) inverse permet de récupérer la moyenne et la matrice de corrélation d'une cible $p$ si $p$ est log-concave et présente une symétrie paire ou elliptique. Cependant, ces garanties étaient limitées à des divergences spécifiques et nécessitaient des hypothèses fortes (log-concavité) qui excluent les distributions à queues lourdes courantes en pratique.

Méthodologie
Les auteurs généralisent ces garanties à une large classe de fonctions d'objectif et relâchent les conditions de régularité sur la densité cible.

1. Fonctions d'Objectif : L'analyse se concentre sur les $f$-divergences, une large famille définie par $D_f(p||q) = \int f(p(z)/q(z))q(z)dz$, ce qui inclut les divergences KL inverse et directe, les $\alpha$-divergences et les distances de variation totale lissées.
2. Définitions de Symétrie : L'article formalise la symétrie paire (symétrie autour d'un point $\nu$), la symétrie elliptique (symétrie définie par une matrice de dispersion $M$), et la symétrie partielle (symétrie le long d'un sous-ensemble de coordonnées $\sigma$).
3. Famille Variationnelle : La famille d'approximation $\mathcal{Q}$ est supposée être une famille de localisation-échelle elliptique, où les distributions sont symétriques de manière elliptique autour d'un paramètre de localisation $\nu$ avec une matrice de dispersion proportionnelle à une matrice d'échelle $S$.
4. Cadre Théorique :
   • Diagonallisation Conjointe : Les auteurs emploient une transformation de coordonnées (Lemme 1) qui diagonalise simultanément les matrices de dispersion de $p$ et $q$ par congruence. Cela reformule la $f$-divergence en termes de variables transformées, simplifiant ainsi l'analyse des points stationnaires.
   • Unimodalité vs Log-concavité : Au lieu d'exiger que $p$ soit log-concave, les auteurs supposent que $p$ et $q$ sont strictement unimodales (leurs fonctions radiales sont strictement décroissantes). Cela permet l'inclusion de distributions à queues lourdes comme les distributions de Student-$t$ et de Cauchy.
   • Règle de Chaîne pour la Symétrie Partielle : Pour les symétries partielles, les auteurs utilisent une propriété de règle de chaîne des $f$-divergences (Définition 9) pour décomposer la divergence en composantes conditionnelles et marginales, permettant l'analyse des coordonnées avec et sans symétrie.

Principales Contributions
L'article présente trois théorèmes principaux qui généralisent les résultats précédents :

• Théorème 1 (Récupération de la Moyenne sous Symétrie Paire) : Pour toute $f$-divergence strictement convexe, si la cible $p$ est elliptiquement symétrique et strictement unimodale, l'unique minimiseur de la divergence par rapport au paramètre de localisation $\nu$ est la véritable moyenne de $p$ ($\nu = \mu$). Cela est vrai même si $p$ possède des queues lourdes et n'est pas log-concave.
• Théorème 2 (Récupération de la Moyenne et de la Matrice de Dispersion sous Symétrie Elliptique) : Sous les mêmes conditions que le Théorème 1, plus l'exigence que la fonction radiale de $p$ soit radialement décroissante dans sa queue, tout point stationnaire de la divergence par rapport aux paramètres de localisation-échelle $(\nu, S)$ satisfait $\nu = \mu$ et $S = \gamma^2 M$ pour un certain $\gamma > 0$. Par conséquent, la VI récupère la matrice de corrélation de $p$.
• Théorème 3 (Garanties de Symétrie Partielle) : Si $p$ présente une symétrie uniquement le long d'un sous-ensemble de coordonnées $\sigma$ (la distribution conditionnelle $p(z_\sigma | z_{\bar{\sigma}})$ étant elliptiquement symétrique avec une moyenne conditionnelle linéaire et une matrice de dispersion constante), l'approximation variationnelle récupère la moyenne conditionnelle et la matrice de dispersion le long de $\sigma$. Si la moyenne conditionnelle est constante, la moyenne marginale et la corrélation le long de $\sigma$ sont également récupérées.

Résultats

• Théoriques : Les preuves démontrent que les solutions de correspondance de symétrie sont des points stationnaires pour toutes les $f$-divergences strictement convexes. Les auteurs montrent que pour les cibles unimodales, ces points stationnaires sont des minimiseurs uniques pour les paramètres de moyenne et d'échelle.
• Expériences Numériques : Les auteurs ont évalué la VI sur des cibles synthétiques (Student-$t$ multivariée, entonnoir elliptique, distribution en croissant) et des modèles hiérarchiques bayésiens (données sur l'éducation, modélisation de maladies, données génétiques).
  • Ils ont mesuré l'asymétrie des distributions postérieures et ont constaté que la VI produit des erreurs absolues plus faibles dans l'estimation de la moyenne pour les cibles plus symétriques.
  • Dans les modèles avec symétrie partielle (par exemple, l'entonnoir elliptique), la VI a récupéré avec précision la moyenne et les corrélations le long des coordonnées symétriques ($\theta$), même lorsqu'elle échouait à récupérer la moyenne de la coordonnée asymétrique ($\tau$).
  • Les expériences ont confirmé que les stratégies de paramétrage (par exemple, la paramétrisation non centrée ou la marginalisation) qui réduisent l'asymétrie dans les modèles hiérarchiques conduisent à de meilleures performances de la VI.

Signification et Revendications
L'article affirme fournir un cadre théorique unifié montrant que les propriétés de correspondance de symétrie de la VI sont robustes à travers une large gamme de fonctions d'objectif ($f$-divergences) et ne dépendent pas de l'hypothèse restrictive de log-concavité. Les auteurs soulignent que ces résultats offrent des « prescriptions pour les praticiens », suggérant que la performance de la VI dans les modèles hiérarchiques bayésiens peut être améliorée en reparamétrant les modèles pour exploiter les symétries partielles (par exemple, en utilisant des paramétrisations non centrées ou des posteriors effondrés/collapsed). Le travail étend la compréhension de quand la VI est prouvablement exacte, allant au-delà du choix de divergences spécifiques vers une classe plus large d'objectifs et des distributions cibles plus réalistes (incluant les queues lourdes). Les auteurs notent que, bien qu'ils se concentrent sur les garanties théoriques, leurs conclusions complètent les travaux existants sur les diagnostics et les corrections post-hoc.