Generalized Guarantees for Variational Inference in the Presence of Even and Elliptical Symmetry

Technische Samenvatting: Gegeneraliseerde Garanties voor Variational Inference in de Aanwezigheid van Even en Elliptische Symmetrie

Probleemstelling
Variational Inference (VI) benadert een doel-dichtheid $p$ door de beste match $q$ te vinden binnen een hanteerbare familie van verdelingen $\mathcal{Q}$, meestal door een divergentie $D(p||q)$ te minimaliseren. Hoewel verschillende divergenties (bijv. reverse KL, forward KL, $\alpha$-divergenties) vaak verschillende benaderingen opleveren, blijft het onduidelijk onder welke condities VI bewezen nauwkeurige schattingen biedt van statistische eigenschappen, zoals het gemiddelde en de correlatiematrix. Eerdere werken stelden vast dat het minimaliseren van de reverse Kullback-Leibler (KL) divergentie het gemiddelde en de correlatiematrix van een doel $p$ herstelt als $p$ log-concaaf is en even of elliptische symmetrie vertoont. Echter, deze garanties waren beperkt tot specifieke divergenties en vereisten sterke aannames (log-concaafheid) die zware staarten (heavy-tailed distributions) uitsluiten die in de praktijk veel voorkomen.

Methodologie
De auteurs generaliseren deze garanties naar een brede klasse van objectieve functies en versoepelen de regulariteitseisen op de doel-dichtheid.

1. Objectieve Functies: De analyse richt zich op $f$-divergenties, een brede familie gedefinieerd als $D_f(p||q) = \int f(p(z)/q(z))q(z)dz$, die de reverse en forward KL-divergenties, $\alpha$-divergenties en gesmoothde total variation afstanden omvat.
2. Symmetrie Definities: Het artikel formaliseert even symmetrie (symmetrie rond een punt $\nu$), elliptische symmetie (symmetrie gedefinieerd door een scatter-matrix $M$), en partiële symmetrie (symmetrie langs een subset van coördinaten $\sigma$).
3. Variational Familie: De benaderingsfamilie $\mathcal{Q}$ wordt aangenomen een elliptische locatie-schaalfamilie te zijn, waarbij de verdelingen elliptisch symmetrisch zijn rond een locatieparameter $\nu$, met een scatter-matrix proportioneel aan een schaalmatrix $S$.
4. Theoretisch Kader:
   • Gezamenlijke Diagonalisatie: De auteurs maken gebruik van een coördinatentransformatie (Lemma 1) die de scatter-matrices van $p$ en $q$ simultaan diagonaliseert via congruentie. Dit herformuleert de $f$-divergentie in termen van getransformeerde variabelen, wat de analyse van stationaire punten vereenvoudigt.
   • Unimodaliteit vs. Log-concaafheid: In plaats van te eisen dat $p$ log-concaaf is, nemen de auteurs aan dat $p$ en $q$ strikt unimodaal zijn (hun radiale functies zijn strikt dalend). Dit maakt de inclusie van heavy-tailed verdelingen zoals de Student-$t$ en Cauchy-verdelingen mogelijk.
   • Kettingregel voor Partiële Symmetrie: Voor partiële symmetrieën maken de auteurs gebruik van een kettingregel-eigenschap van $f$-divergenties (Definitie 9) om de divergentie te deconstrueren in conditionele en marginale componenten, waardoor de analyse van coördinaten met en zonder symmetrie mogelijk wordt.

Belangrijkste Bijdragen
Het artikel presenteert drie hoofdtheorema's die de eerdere resultaten generaliseren:

• Theorem 1 (Herstel van Gemiddelde onder Even Symmetrie): Voor elke strikt convexe $f$-divergentie geldt dat, indien het doel $p$ elliptisch symmetrisch en strikt unimodaal is, de unieke minimizer van de divergentie met betrekking tot de locatieparameter $\nu$ het ware gemiddelde van $p$ is ($\nu = \mu$). Dit houdt stand, zelfs als $p$ een zware staart heeft en niet log-concaaf is.
• Theorem 2 (Herstel van Gemiddelde en Scatter-matrix onder Elliptische Symmetrie): Onder dezelfde condities als Theorem 1, plus de vereiste dat de radiale functie van $p$ radiaal dalend is in zijn staart, voldoet elke stationaire punt van de divergentie met betrekking tot de locatie-schaalparameters $(\nu, S)$ aan $\nu = \mu$ en $S = \gamma^2 M$ voor een bepaalde $\gamma > 0$. Bij consequentie herstelt VI de correlatiematrix van $p$.
• Theorem 3 (Partiële Symmetrie Garanties): Indien $p$ slechts symmetrie vertoont langs een subset van coördinaten $\sigma$ (waarbij de conditionele verdeling $p(z_\sigma | z_{\bar{\sigma}})$ elliptisch symmetrisch is met een lineair conditioneel gemiddelde en een constante scatter-matrix), herstelt de variational benadering het conditionele gemiddelde en de scatter-matrix langs $\sigma$. Als het conditionele gemiddelde constant is, worden het marginale gemiddelde en de correlatie langs $\sigma$ ook hersteld.

Resultaten

• Theoretisch: De bewijzen tonen aan dat symmetrie-passende oplossingen stationaire punten zijn voor alle strikt convexe $f$-divergenties. De auteurs laten zien dat voor unimodale doelverdelingen deze stationaire punten unieke minimizers zijn voor de gemiddelde- en schaalparameters.
• Numerieke Experimenten: De auteurs evalueerden VI op synthetische doelverdelingen (multivariate Student-$t$, elliptische funnel, crescent distributie) en Bayesiaanse hiërarchische modellen (educatiedata, ziektemodellering, genetische data).
  • Ze maten de asymmetrie van de posterior verdelingen en vonden dat VI lagere absolute fouten in de schatting van het gemiddelde oplevert voor meer symmetrische doelverdelingen.
  • In modellen met partiële symmetrie (bijv. de elliptische funnel) herstelde VI accuraat het gemiddelde en de correlaties langs de symmetrische coördinaten ($\theta$), zelfs wanneer het faalde om het gemiddelde van de asymmetrische coördinaat ($\tau$) te herstellen.
  • Experimenten bevestigden dat parametrisatiestrategieën (bijv. non-centered parameterization of marginalisatie) die asymmetrie in hiërarchische modellen verminderen, leiden tot betere VI-prestaties.

Betekenis en Claims
Het artikel claimt een verenigd theoretisch kader te bieden dat aantoont dat de symmetrie-passende eigenschappen van VI robuust zijn over een breed scala aan objectieve functies ($f$-divergenties) en niet rusten op de restrictieve log-concaafheid aanname. De auteurs benadrukken dat deze resultaten "voorschriften voor de praktijk" bieden, wat suggereert dat de prestaties van VI in Bayesiaanse hiërarchische modellen verbeterd kunnen worden door modellen te herparametriseren om partiële symmetrieën te benutten (bijv. door middel van non-centered parameterizations of gecomprimeerde posteriors). Het werk breidt het begrip uit van wanneer VI bewezen nauwkeurig is, reikend voorbij specifieke keuzes van divergentie naar een bredere klasse van objectieven en meer realistische doelverdelingen (inclusen heavy-tailed verdelingen). De auteurs merken op dat hoewel zij zich richten op theoretische garanties, hun bevindingen complementair zijn aan bestaand werk over post-hoc diagnostiek en correcties.