Technische Samenvatting: Wasserstein-contractie van Coördinaatascens Variatie-Inferentie

Probleemstelling

Het artikel behandelt de theoretische convergentiegaranties voor het Coördinaatascens Variatie-Inferentie (CAVI) algoritme. CAVI is een fundamentele methode voor het benaderen van onberekenbare doeldistributies $\pi$ (doorgaans posterior-distributies in de Bayesiaanse statistiek) door de Kullback–Leibler (KL) divergentie te minimaliseren over een familie van berekenbare, gefactoriseerde distributies (bijvoorbeeld $\mu \otimes \nu$). Hoewel CAVI vanwege zijn rekenkundige efficiëntie veel wordt gebruikt, zijn strikte convergentiegaranties historisch beperkt geweest. Bestaande literatuur vertrouwt vaak op sterke aannames, zoals globale sterke log-concaviteit van de doeldistributie, wat vele praktische modellen uitsluit (bijvoorbeeld mengselmodellen, logistische regressie) waar de doeldistributie niet sterk log-concaaf is of waar de ruimte discrete of niet-gladde componenten bevat.

De auteurs beogen lokale exponentiële convergentie van CAVI-iteraties $(\mu_k, \nu_k)$ naar een vast punt in de Wasserstein-afstand vast te stellen, onder voorwaarden die zwakker en beter verifieerbaar zijn dan globale sterke log-concaviteit.

Methodologie

De auteurs analyseren de CAVI-updates als een reeks operatoren die werken op waarschijnlijkheidsmaten. Laat de doelfunctie zijn $\pi = e^{-f} \in \mathcal{P}(Z \times B)$. De CAVI-updates worden gedefinieerd via optimaliteitsafbeeldingen:
$$\mu_k = \mu^\star[\nu_{k-1}], \quad \nu_k = \nu^\star[\mu_k]$$
waarbij $\mu^\star[\nu] \propto \exp(-\mathbb{E}_\nu f(\cdot, \beta))$ en $\nu^\star[\mu] \propto \exp(-\mathbb{E}_\mu f(Z, \cdot))$.

De convergentieanalyse steunt op twee primaire voorwaarden die zijn gedefinieerd op de ruimte van waarschijnlijkheidsmaten, uitgerust met de Wasserstein-$p$-afstand ($W_p$):

1. Fisher-Gladheid (Kruis-Gladheid): De optimaliteitsafbeeldingen $\mu^\star[\cdot]$ en $\nu^\star[\cdot]$ moeten "Fisher-glad" zijn rond de vaste punten. Een operator $\gamma^\star[\cdot]$ is Fisher-glad met constante $L$ als:
   $$I(\gamma^\star[\varrho] \| \gamma^\star[\varrho']) \leq L^2 W_p^2(\varrho, \varrho')$$
   waarbij $I$ de relatieve Fisher-informatie is. Deze voorwaarde begrenst in wezen hoe sterk de gradiënt van het potentieel verandert met betrekking tot de andere coördinaat (kruis-gladheid van het interactieterm $\omega$ in $f = f_1 + f_2 + \omega$).

2. Transport-Informatie (TI) Ongelijkheid: De vaste punt-distributies $\mu^\star$ en $\nu^\star$ moeten een TI-ongelijkheid voldoen met constanten $\lambda_1, \lambda_2$:
   $$\lambda^2 W_p^2(\varrho, \gamma) \leq I(\varrho \| \gamma)$$
   Dit is een krommingsvoorwaarde op de vaste punten. Het is zwakker dan log-Sobolev-ongelijkheden en sterke log-concaviteit, en het tensoriseert, waardoor het geschikt is voor hoog-dimensionale settings.

De auteurs breiden dit kader ook uit naar Data Augmentatie-settings (waarbij $Z$ representeert voor hulpvariabelen). In dit geval tonen ze aan dat convergentie van de parametermarginaal $\nu_k$ kan worden vastgesteld uitsluitend op basis van de gladheid van de samengestelde afbeelding $\nu^\star[\mu^\star[\cdot]]$ en de TI-ongelijkheid van $\nu^\star$, zonder dat krommingsvoorwaarden nodig zijn voor het hulp-vaste punt $\mu^\star$. Dit is cruciaal wanneer $Z$ discreet of niet-glad is.

Belangrijkste Bijdragen

1. Algemeen Convergentiestelling (Stelling 1)

Het artikel bewijst dat als de kruis-gladheidsconstanten ($L_{1|2}, L_{2|1}$) en de TI-constanten ($\lambda_{1|2}, \lambda_{2|1}$) voldoen aan de voorwaarde $L_{1|2}L_{2|1} < \lambda_{1|2}\lambda_{2|1}$, de CAVI-iteraties exponentieel snel convergeren naar het vaste punt in Wasserstein-afstand met een snelheid van $\frac{L_{1|2}L_{2|1}}{\lambda_{1|2}\lambda_{2|1}}$.

• Generaliteit: Het resultaat geldt voor algemene gladde Riemannse variëteiten en staat niet-gladde ruimten toe (via de data-augmentatie-extensie).
• Lokaal versus Globaal: De stelling biedt lokale convergentiegaranties. Globale convergentie is mogelijk als de voorwaarden globaal gelden, maar de auteurs benadrukken dat lokale garanties voldoende zijn voor vele praktische scenario's waar meerdere vaste punten bestaan.
• Scherpte: Voor Gaussische doelen valt de afgeleide snelheid samen met de spectrale norm van de correlatiematrix, wat de scherpte van de grens aantoont.

2. Data Augmentatie Kader (Stelling 4)

Een aanzienlijke bijdrage is de versoepeling van aannames voor data-augmentatieproblemen. De auteurs tonen aan dat als de interesse uitsluitend ligt in de parameter $\beta$ (marginaal $\nu$), convergentie kan worden bewezen zonder dat het hulp-vaste punt $\mu^\star$ een TI-ongelijkheid moet voldoen. Dit maakt het toepassen van CAVI-convergentietheorie mogelijk op modellen met discrete latente variabelen (bijvoorbeeld Gaussische Mengselmodellen) waarbij de hulpruimte niet-glad is.

3. Toepassing op Specifieke Bayesiaanse Modellen

De auteurs passen hun theoretische kader toe op drie specifieke modellen, waarbij ze expliciete convergentiesnelheden en voorwaarden afleiden:

• Ongelijke Gaussische Mengselmodellen (GMM):

  • De convergentie wordt gedicteerd door een posterior-fasovergang.
  • De snelheid hangt af van de scheiding van posterior-modi. Als de modi goed gescheiden zijn, convergeert het algoritme lokaal en exponentieel snel.
  • In het gebalanceerde geval ($p=0.5$) vereist globale convergentie een specifieke signaal-ruisverhoudingsvoorwaarde ($r < 1$). Als dit faalt, wordt de posterior multimodaal, en convergeert CAVI naar verschillende modi afhankelijk van de initialisatie.
  • De resultaten benadrukken dat ongelijke mengsels (asymmetrische $p$) snellere convergentie faciliteren door label-ambiguïteit te verminderen.

• Bayesiaanse Probit-regressie:

  • De auteurs analyseren de CAVI-updates voor Probit-regressie met data-augmentatie (Albert en Chib, 1993).
  • Ze bewijzen globale exponentiële convergentie met een snelheid die wordt bepaald door de Bayesiaanse fractie van ontbrekende informatie: $\lambda_{\max}((Q_0 + X^\top X)^{-1}X^\top X)$.
  • Ze tonen aan dat in hoog-dimensionale settings ($n, p \to \infty$) de snelheid onder geschikte prior-schaling (bijvoorbeeld $g$-priors of directe schaling) begrensd blijft weg van 1, wat stabiliteit garandeert zelfs naarmate de dimensionaliteit groeit.

• Bayesiaanse Logistische Regressie (Jaakkola-Jordan Algoritme):

  • Het artikel analyseert het algoritme met behulp van Pólya-Gamma augmentaties.
  • Ze leiden een lokale convergentiesnelheid $r_\varepsilon$ af die afhankelijk is van de afgeleide van de logistische linkfunctie en de kromming van de posterior.
  • Cruciaal stellen ze vast dat de convergentiesnelheid voor Logistische regressie strikt beter (kleiner) is dan voor Probit-regressie onder vergelijkbare voorwaarden, vanwege de eigenschappen van de Pólya-Gamma augmentatie en de specifieke vorm van de interactietermen. Dit is het eerste beschikbare convergentiesnelheidsresultaat voor het Jaakkola-Jordan algoritme.

Betekenis en Claims

Het artikel claimt een scherp, direct en kort bewijs van CAVI-convergentie te leveren dat steunt op functionele ongelijkheden in plaats van globale sterke log-concaviteit.

• Versoepeling van Aannames: Door gebruik te maken van Transport-Informatie-ongelijkheden en Fisher-gladheid, omzeilen de auteurs de noodzaak dat de doeldistributie $\pi$ sterk log-concaaf is. Dit is een aanzienlijke versoepeling, aangezien standaardmodellen zoals mengselmodellen en logistische regressie geen sterke log-concaviteit voldoen.
• Omgaan met Niet-Gladde Ruimten: De data-augmentatie-extensie maakt convergentieanalyse mogelijk in settings met discrete latente variabelen, een veelvoorkomend kenmerk in mengselmodellen dat eerder moeilijk te analyseren was onder gladde variëteitsaannames.
• Accuraatheid-Convergentie Dualiteit: Het artikel merkt op dat de voorwaarden die snelle convergentie garanderen (kleine interactietermen ten opzichte van kromming) ook impliceren dat de variatiebenadering van hoge kwaliteit is (lage KL-divergentie). Dit vestigt een dualiteit tussen de snelheid van het algoritme en de nauwkeurigheid van de benadering.
• Praktische Relevantie: De afgeleide snelheden voor hoog-dimensionale regressie (Probit en Logistisch) tonen aan dat CAVI stabiel en efficiënt blijft zelfs naarmate de dimensie $p$ en steekproefgrootte $n$ groeien, mits de prior correct wordt geschaald.

De auteurs stellen expliciet dat hun huidige analyse beperkt is tot de twee-blok ($m=2$) setting en dat uitbreidingen naar multi-blok dynamiek worden overgelaten aan toekomstig werk. Ze merken ook op dat, hoewel hun resultaten lokaal zijn, ze overeenstemmen met en het empirische gedrag van CAVI in complexe, niet-convexe landschappen verklaren.