Stability of Finite-Batch Particle Mean-Field Variational Inference Beyond Strong Convexity

Technische Samenvatting: Stabiliteit van Finite-Batch Particle Mean-Field Variational Inference voorbij Sterke Convexiteit

Probleemstelling
Het artikel behandelt de stabiliteit en niet-asymptotische convergentie van het Finite-Batch Particle Algoritme voor Mean-Field Variational Inference (PAVI). Hoewel Mean-Field Variational Inference (MFVI) een doelverdeling $p(x) \propto e^{-V(x)}$ benadert door relatieve entropie te minimaliseren over productmaten, vertrouwen praktische implementaties in de praktijk op deeltjesbenaderingen, stochastische batch-evaluaties van geprojecteerde driften en tijd-discretisatie.

Bestaande analyses, zoals die van Du et al., gaan doorgaans uit van de aanname dat het doelpotentiaal $V$ globaal sterk convex is. Deze aanname waarborgt de contractiviteit van de dynamica, maar wordt in moderne toepassingen vaak geschonden. Dit artikel onderzoekt de stabiliteit van PAVI wanneer $V$ globaal glad (Lipschitz-continuüm gradiënt) is, maar niet noodzakelijkerwijs sterk convex. De uitdaging ligt in het kwantificeren van hoe het verlies van contractiviteit (door niet-convexe regio's) de foutbounds van het volledig discrete, finite-batch algoritme beïnvloedt.

Methodologie en Raamwerk
De auteurs modelleren het PAVI-algoritme als een volledig discrete stochastische benadering van de geprojecteerde Wasserstein-dynamica. De kern van de methodologische innovatie is de introductie van een krommingsdefect (curvature defect) metriek om het falen van sterke convexiteit te kwantificeren.

1. Krommingsdefect: In plaats van aan te nemen dat $\nabla^2 V \succeq \alpha I$, definieert het artikel een defectfunctie:
   $$d_\alpha(x, y) = \left[ \alpha \|x - y\|^2 - \langle \nabla V(x) - \nabla V(y), x - y \rangle \right]_+$$
   Dit meet het additieve verlies in de één-stap Euler-contractie-inschatting. De analyse gaat uit van een uniforme bovengrens $d_\alpha(x, y) \le \beta$, wat toestaat dat er sprake is van niet-convexiteit, zolang de "negatieve kromming" begrensd is.

2. Stationaire Vergelijkingsarray: Om niet-asymptotische bounds af te leiden, construeren de auteurs een stationaire vergelijkingsproces. Dit proces bestaat uit een array van deeltjes waarvan de rij-marginalen optimale koppelingen zijn met de ware MFVI-minimizer $q^\star$. Cruciaal is dat het product van de rij-empirische maten van deze stationaire array een willekeurige maat is, verschillend van de deterministische productwet $q^\star$. De analyse controleert expliciet de discrepantie tussen de geprojecteerde drift geëvalueerd bij deze willekeurige empirische wet en de drift bij $q^\star$.

3. Decompositie van Fouten: Het bewijs maakt gebruik van een één-stap recursie die de totale fout splitst in verschillende componenten:

   • Initialisatiefout (transiënte contractie).
   • Product-empirische benaderingsfout (eindig aantal deeltjes $N$).
   • Finite-batch driftfout (stochastische bemonstering van grootte $B$).
   • Tijd-discretisatiefout (stapgrootte $h$).
   • Geaccumuleerde krommingsdefecten langs de gekoppelde trajecten.

Belangrijkste Bijdragen en Resultaten

• Niet-Asymptotische Stabiliteitsbound: Het primaire resultaat (Corollary 7.3) geeft een Wasserstein-stabiliteitsbound voor het finite-batch schema. Onder de uniforme defect-conditie $d_\alpha \le \beta$, voldoet de wortel-gemiddelde kwadratische Wasserstein-afstand tussen de deeltje-iteratie $q_{X_n}$ en elke MFVI-minimizer $q^\star$ aan:
  $$\left( \mathbb{E} W_2^2(q_{X_n}, q^\star) \right)^{1/2} \lesssim (1 - c\alpha h)^{n/2} \left( \mathbb{E} W_2^2(q_{X_0}, q^\star) \right)^{1/2} + \left(1 + \frac{\kappa}{\alpha}\right)\varepsilon_N(q^\star) + \sqrt{\frac{\beta}{\alpha}} + \sqrt{\frac{h\Gamma^\star}{\alpha B}} + \sqrt{\frac{L}{\alpha}\sqrt{h(h\Gamma^\star + m)}}$$
  Hier is $\varepsilon_N$ de empirische benaderingsfout, $\kappa$ de gevoeligheid van de geprojecteerde drift voor perturbaties in de productwet, en $\Gamma^\star$ het tweede moment van de gradiënt onder $q^\star$.

• Scheiding van Parameters: De bound scheidt expliciet de effecten van het aantal deeltjes $N$, de batchgrootte $B$, en de stapgrootte $h$. Het toont aan dat het vergroten van $B$ alleen gunstig is totdat de batchfout vergelijkbaar is met de deeltjes- en discretisatiefouten.

• Bestaan en Moment-Bounds: Het artikel stelt de existentie van MFVI-minimizers vast onder de uniforme defect-conditie en leidt expliciete moment-bounds af voor de stationaire marginalen zonder log-concaviteit aan te nemen. Het bewijst dat het uniforme defect impliceert dat de potentiaal kwadratisch coërcief is. De auteurs merken expliciet op dat hoewel existentie gegarandeerd is, uniciteit niet wordt geïmpliceerd; de verzameling van minimizers kan meerdere verschillende elementen bevatten wanneer $\beta > 0$.

• Dimensie-onafhankelijke Gevoeligheid: De auteurs introduceren coördinaat-specifieke defect-inschattingen en tonen aan dat onder ijle interactiestructuren de gevoeligheidsconstante $\kappa$ dimensie-onafhankelijk kan zijn, wat de vloek van dimensionaliteit in de foutbound verzacht.

• Niet-Convex Benchmark: Een nieuwe, willekeurig-dimensionale gladde niet-convexe benchmark wordt geconstrueerd met een gesloten-vorm unieke MFVI-minimizer. Dit maakt directe meting van algoritmische fouten mogelijk zonder contaminatie door optimalisatie-onzekerheid in de referentieoplossing.

• Beperkingen op Driftgroei: Het artikel verduidelijkt dat het expliciete Euler-schema gebruikt in PAVI instabiel is voor potentialen met superlineair groeiende gradiënten (polynomiale groei), zelfs als ze sterk convex zijn. Het argumenteert dat getamede of impliciete schema's vereist zouden zijn voor dergelijke regimes, aangezien standaard taming de onbiasedheid van de finite-batch estimator zou vernietigen die essentieel is voor het bewijs.

Betekenis en Claims
Het artikel biedt een niet-asymptotische stabiliteitsanalyse van finite-batch particle MFVI die de sterke convexiteit-aanname versoepelt. Door de "krommingsdefect" te kwantificeren, slaagt het werk erin de numerieke vereisten van Lipschitz-continuïteit te scheiden van de geometrische mechanismen van contractie. Deze analyse bouwt voort op en breidt het eerdere werk over lokale contractie en niet-convexe Langevin-dynamica uit.

De auteurs benadrukken dat hun resultaten bescheiden zijn met betrekking tot convergentie naar een specifieke minimizer wanneer $\beta > 0$; in dergelijke gevallen blijft het algoritme stabiel binnen een $O(\sqrt{\beta/\alpha})$ buurt van de verzameling van minimizers, in plaats van naar één enkel punt te convergeren. De analyse onderstreept dat de niet-uniciteit van de MFVI-oplossing in niet-convexe settings kwantitatief gecontroleerd wordt door dezelfde defect-schaal.

De numerieke experimenten valideren de theoretische schalingwetten, waarbij wordt getoond dat de batchfout schaalt als $B^{-1/2}$ en de deeltjesfout nabij $N^{-1/2}$ schaalt voor gladde benchmarks, terwijl de terminale fout monotoon toeneemt met de omvang van het krommingsdefect. Het artikel concludeert dat het krommingsdefect-perspectief een rigoureus raamwerk biedt voor het begrijpen van de afwegingen tussen nauwkeurigheid, computationele kosten en de geometrie van de doelpotentiaal in variational inference.