Stability of Finite-Batch Particle Mean-Field Variational Inference Beyond Strong Convexity

Résumé Technique : Stabilité de l'Inférence Variationnelle de Champ Moyen à Particules par Lots Finis au-delà de la Convexité Forte

Énoncé du Problème
L'article traite de la stabilité et de la convergence non asymptotique de l'algorithme de particules à lots finis pour l'inférence variationnelle de champ moyen (PAVI). Bien que l'inférence variationnelle de champ moyen (MFVI) approxime une densité cible $p(x) \propto e^{-V(x)}$ en minimisant l'entropie relative sur des mesures de produit, les implémentations pratiques reposent sur des approximations par particules, des évaluations stochastiques par lots des dérives projetées, et une discrétisation temporelle.

Les analyses existantes, telles que celles de Du et al., supposent généralement que le potentiel cible $V$ est globalement fortement convexe. Cette hypothèse garantit la contractivité de la dynamique, mais elle est souvent violée dans les applications modernes. Cet article étudie la stabilité de la PAVI lorsque $V$ est globalement lisse (gradient Lipschitzien) mais pas nécessairement fortement convexe. Le défi consiste à quantifier comment la perte de contractivité (due aux régions non convexes) affecte les bornes d'erreur de l'algorithme entièrement discret et à lots finis.

Méthodologie et Cadre
Les auteurs modélisent l'algorithme PAVI comme une approximation stochastique entièrement discrète de la dynamique de Wasserstein projetée. L'innovation méthodologique centrale est l'introduction d'une métrique de défaut de courbure pour quantifier l'échec de la convexité forte.

1. Défaut de Courbure : Au lieu de supposer $\nabla^2 V \succeq \alpha I$, l'article définit une fonction de défaut :
   $$d_\alpha(x, y) = \left[ \alpha \|x - y\|^2 - \langle \nabla V(x) - \nabla V(y), x - y \rangle \right]_+$$
   Ceci mesure la perte additive dans l'estimation de contraction d'Euler en une étape. L'analyse suppose qu'un défaut uniforme $d_\alpha(x, y) \le \beta$ est respecté, ce qui permet la non-convexité tant que la « courbure négative » est bornée.

2. Tableau de Comparaison Stationnaire : Pour dériver des bornes non asymptotiques, les auteurs construisent un processus de comparaison stationnaire. Ce processus consiste en un tableau de particules dont les marginales par ligne sont des couplages optimaux avec le minimiseur de la MFVI réelle $q^\star$. Crucialement, le produit des mesures empiriques de ligne de ce tableau stationnaire est une mesure aléatoire, distincte de la loi de produit déterministe $q^\star$. L'analyse contrôle explicitement la divergence entre la dérive projetée évaluée à cette loi empirique aléatoire et la dérive à $q^\star$.

3. Décomposition des Erreurs : La preuve utilise une récursion en une étape qui sépare l'erreur totale en composantes distinctes :

   • Erreur d'initialisation (contraction transitoire).
   • Erreur d'approximation produit-empirique (nombre fini de particules $N$).
   • Erreur de dérive par lots finis (échantillonnage stochastique de taille $B$).
   • Erreur de discrétisation temporelle (pas de temps $h$).
   • Défauts de courbure accumulés le long des trajectoires couplées.

Contributions Clés et Résultats

• Borne de Stabilité Non Asymptotique : Le résultat principal (Corollaire 7.3) fournit une borne de stabilité de Wasserstein pour le schéma à lots finis. Sous la condition de défaut uniforme $d_\alpha \le \beta$, la distance de Wasserstein racine carrée de la moyenne de l'erreur entre l'itérat de particule $q_{X_n}$ et tout minimiseur de la MFVI $q^\star$ satisfait :
  $$\left( \mathbb{E} W_2^2(q_{X_n}, q^\star) \right)^{1/2} \lesssim (1 - c\alpha h)^{n/2} \left( \mathbb{E} W_2^2(q_{X_0}, q^\star) \right)^{1/2} + \left(1 + \frac{\kappa}{\alpha}\right)\varepsilon_N(q^\star) + \sqrt{\frac{\beta}{\alpha}} + \sqrt{\frac{h\Gamma^\star}{\alpha B}} + \sqrt{\frac{L}{\alpha}\sqrt{h(h\Gamma^\star + m)}}$$
  Ici, $\varepsilon_N$ est l'erreur d'approximation empirique, $\kappa$ mesure la sensibilité de la dérive projetée aux perturbations de la loi de produit, et $\Gamma^\star$ est le second moment du gradient sous $q^\star$.

• Séparation des Paramètres : La borne sépare explicitement les effets du nombre de particules $N$, de la taille du lot $B$, et du pas de temps $h$. Elle démontre qu'augmenter $B$ n'est bénéfique que jusqu'à ce que l'erreur de lot devienne comparable aux erreurs de particule et de discrétisation.

• Existence et Bornes de Moments : L'article établit l'existence des minimiseurs de la MFVI sous la condition de défaut uniforme et dérive des bornes de moments explicites pour les marginales stationnaires sans supposer la log-concavité. Il prouve que le défaut uniforme implique la coercivité quadratique du potentiel. Les auteurs notent explicitement que, bien que l'existence soit garantie, l'unicité n'est pas impliquée ; l'ensemble des minimiseurs peut contenir plusieurs éléments distincts lorsque $\beta > 0$.

• Sensibilité Indépendante de la Dimension : Les auteurs introduisent des estimations de défaut par coordonnée et montrent que sous des structures d'interaction creuses, la constante de sensibilité $\kappa$ peut être indépendante de la dimension, atténuant ainsi la malédiction de la dimensionnalité dans la borne d'erreur.

• Benchmark Non-Convexe : Un benchmark non-convexe arbitraire de dimension quelconque est construit avec un minimiseur de la MFVI unique et de forme fermée. Cela permet de mesurer directement les erreurs algorithmiques sans contamination par l'incertitude d'optimisation de la solution de référence.

• Limitations sur la Croissance de la Dérive : L'article précise que le schéma d'Euler explicite utilisé dans la PAVI est instable pour les potentiels ayant des gradients à croissance superlinéaire (croissance polynomiale), même s'ils sont fortement convexes. Il soutient que des schémas tamisés ou implicites seraient nécessaires pour de tels régimes, car un tamisage standard détruirait l'absence de biais de l'estimateur par lots finis essentielle à la preuve.

Signification et Revendications
L'article propose une analyse de stabilité non asymptotique de la PAVI à particules par lots finis qui relâche l'hypothèse de convexité forte. En quantifiant le « défaut de courbure », ce travail sépare les exigences numériques de la continuité de Lipschitz des mécanismes géométriques de contraction. Cette analyse s'appuie sur et étend les travaux antérieurs sur la contraction locale et la dynamique de Langevin non convexe.

Les auteurs soulignent que leurs résultats sont modestes concernant la convergence vers un minimiseur spécifique lorsque $\beta > 0$ ; dans ces cas, l'algorithme reste stable dans un voisinage de $O(\sqrt{\beta/\alpha})$ de l'ensemble des minimiseurs, plutôt que de converger vers un point unique. L'analyse met en évidence que la non-unicité de la solution de la MFVI dans les contextes non convexes est contrôlée quantitativement par la même échelle de défaut.

Les expériences numériques valident les lois d'échelle théoriques, montant que l'erreur de lot suit une échelle de $B^{-1/2}$ et l'erreur de particule une échelle proche de $N^{-1/2}$ pour les benchmarks lisses, tandis que l'erreur terminale augmente de manière monotone avec l'amplitude du défaut de courbure. L'article conclut que la perspective du défaut de courbure offre un cadre rigoureux pour comprendre les compromis entre précision, coût computationnel et géométrie du potentiel cible en inférence variationnelle.