A Generalized Tangent Approximation based Variational Inference Framework for Strongly Super-Gaussian Likelihoods

Résumé Technique : Un cadre d'inférence variationnelle basé sur l'approximation tangente généralisée pour les vraisemblances fortement super-gaussiennes

Énoncé du Problème
L'inférence variationnelle (VI) est devenue une pierre angulaire du calcul bayésien à grande échelle, offrant une alternative déterministe aux méthodes d'échantillonnage par chaîne de Markov Monte Carlo (MCMC). Cependant, les approches existantes font face à une dichotomie : les méthodes structurées comme l'inférence variationnelle à champ moyen (MFVI) reposent souvent sur des formulations rigides spécifiques au modèle qui peuvent sous-estimer l'incertitude, tandis que les méthodes d'inférence variationnelle "boîte noire" (BBVI), bien que flexibles, sacrifient fréquemment l'efficacité computationnelle en raison de leur dépendance aux estimateurs de gradient stochastique et aux approximations de Monte Carlo. De plus, les garanties théoriques de convergence et d'optimalité statistique pour la BBVI sont souvent limitées. Le défi spécifique abordé dans ce travail est le développement d'un cadre de VI principled, scalable et théoriquement fondé pour une large classe de modèles de probabilité caractérisés par des vraisemblances fortement super-gaussiennes (SSG). Celles-ci incluent les distributions d'erreurs à queues lourdes (ex: Student's-t, Laplace) et les modèles de réponses discrets (ex: Binomiale Négative, Logistique), qui sont prévalents en régression robuste et en biostatistique mais restent difficiles à traiter avec les techniques de VI conjuguées standards.

Méthodologie : TAVIE-SSG
Les auteurs proposent TAVIE-SSG (Tangent Approximation based Variational InferencE for SSG likelihoods), un cadre qui exploite les propriétés géométriques des vraisemblances SSG pour induire la conjugaison dans des configurations autrement intraitables. La méthodologie procède via trois composantes clés :

1. Minorisation Tangente via la Dualité Convexe :
   Le cadre exploite la convexité de la fonction $h$ définissant la vraisemblance SSG. En appliquant la dualité convexe, les auteurs construisent un minorant tangent (un substitut exponentiel-quadratique) pour la log-vraisemblance. Ce minorant est tangent à la vraie vraisemblance en un point spécifique déterminé par les paramètres variationnels $\xi$. Contra%ment aux simples approximations gaussiennes, ce substitut adapte sa courbure en fonction des paramètres variationnels, préservant la robustesse des modèles à queues lourdes ou la nature discrète des données de comptage localement, tout en rendant l'optimisation globale traitable.

2. Formulation de Vraisemblance $\alpha$-fractionnaire :
   La méthode opère dans un cadre de vraisemblance $\alpha$-fractionnaire, où la vraisemblance originale est élevée à une puissance $\alpha \in (0, 1]$. Cet amortissement (tempering) aligne le cadre avec la littérature sur les posterieurs fractionnaires bayésiens. Le minorant tangent est appliqué à cette vraisemblance tempérée, et combiné à un prior conjugué (Normal-Gamma pour le Type I SSG, Gaussien pour le Type II SSG), ce qui produit un posterieur variationnel $\alpha$-fractionnaire en forme fermée.

3. Algorithme d'Espérance-Maximisation (EM) Variationnelle :
   L'optimisation des paramètres variationnels est formulée comme un problème d'estimation de maximum de vraisemblance où les paramètres du modèle sont traités comme des variables latentes. Cela conduit à un algorithme EM efficace :

   • Étape E : Met à jour les hyperparamètres du posterieur variationnel (moyenne et covariance) en forme fermée.
   • Étape M : Met à jour les paramètres variationnels $\xi$ via une maximisation par coordonnées. Crucialement, l'optimisation multivariée se décompose en $n$ mises à jour univariées indépendantes avec des solutions en forme fermée. Cette décomposition permet à l'algorithme de passer à l'échelle linéairement avec la taille de l'échantillon $n$ et d'être trivialement parallélisable, avec une complexité par itération de $O(np^2 + p^3)$.

Contributions Clés

• Généralisation de l'Approximation Tangente : L'article étend l'utilité de l'approximation tangente au-delà de la régression logistique à une large classe de vraisemblances SSG, incluant la régression linéaire à queues lourdes et les modèles de comptage discrets.
• Garanties de Convergence Algorithmique : Contrairement à de nombreuses méthodes de VI boîte noire, les auteurs établissent des garanties de convergence rigoureuses pour l'algorithme TAVIE-SSG. En exploitant la propriété de Kurdyka–Łojasiewicz (KŁ), ils prouvent que la séquence des itérés converge vers un point fixe (un point critique de la fonction objectif) à partir de toute initialisation arbitraire, malgré la nature non convexe de l'objectif variationnel. Ils dérivent également des taux de convergence locale (linéaire ou sous-linéaire) selon l'exposant KŁ.
• Bornes de Risque Statistique : Les auteurs dérivent des bornes proches de l'optimalité minimax pour le risque variationnel intégré. Ces bornes sont établies sous la divergence $\alpha$-Rényi (pour la vraisemblance fractionnaire) et la distance de Hellinger (pour la vraisemblance standard), démontnant que le proxy variationnel atteint une précision statistique comparable à l'estimateur bayésien optimal à des facteurs logarithmiques près.
• Calibration de $\alpha$ : L'article fournit une stratégie pratique pour calibrer le paramètre d'amortissement $\alpha$ afin de équilibrer la précision de l'estimation ponctuelle avec la couverture fréquentiste des intervalles de crédibilité, répondant ainsi au problème courant de sous-couverture des méthodes variationnelles.

Résultats Empiriques
La performance de TAVIE-SSG a été évaluée sur des données simulées et des jeux de données réels, incluant le Recensement des États-Unis de 2000 (Régression Quantile Bayésienne) et les données de transcriptomique spatiale STARmap.

• Scalabilité : TAVIE-SSG a démontré une efficacité computationnelle supérieure par rapport à ses concurrents de pointe, incluant ADVI (Champ Moyen et Pleine Rang), DADVI (ADVI Déterministe) et les échantillonneurs MCMC (NUTS). Dans des scénarios à grande échelle (ex: $n=10^6$), TAVIE-SSG était de plusieurs ordres de grandeur plus rapide que les méthodes BBVI tout en maintenant sa stabilité.
• Précision : En termes d'erreur quadratique moyenne (MSE) pour l'estimation des paramètres et de qualité de l'approximation du posterieur (mesurée par la distance de Wasserstein sectionnée), TAVIE-SSG a systématiquement surpassé ou égalé les variantes d'ADVI et a souvent dépassé DADVI, particulièrement dans l'estimation des paramètres de dispersion ($\tau^2$) dans les modèles à queues lourdes.
• Robustesse : La méthode a réussi à capturer des structures de données complexes, telles que les motifs d'expression génique spatiale, là où les méthodes boîte noire comme ADVI ont échoué à converger vers des représentations précises.

Signification et Revendications
Les auteurs positionnent TAVIE-SSG comme un juste milieu entre la VI structurée rigide et la VI boîte noire coûteuse en calcul. La signification de ce travail réside dans sa capacité à fournir des garanties de convergence prouvables et une optimalité statistique pour une large classe de modèles non conjugués sans dépendre des gradients stochastiques. En induisant la conjugaison par la minorisation tangente, le cadre atteint la scalabilité des méthodes à champ moyen tout en conservant la flexibilité nécessaire pour modéliser des structures de données non gaussiennes complexes. L'article affirme que TAVIE-SSG offre une approche unifiée, scalable et théoriquement saine pour l'inférence bayésienne dans les applications modernes de données massives, particulièrement là où la robustesse aux valeurs aberrantes ou aux réponses discrètes est requise.