Generalized Guarantees for Variational Inference in the Presence of Even and Elliptical Symmetry

Technische Zusammenfassung: Verallgemeinerte Garantien für Variational Inference bei Vorliegen von gerader und elliptischer Symmetrie

Problemstellung
Variational Inference (VI) approximiert eine Zielverteilung $p$ durch die Suche nach der besten Übereinstimmung $q$ innerhalb einer handhabbaren Familie von Verteilungen $\mathcal{Q}$, typischerweise durch Minimierung einer Divergenz $D(p||q)$. Während verschiedene Divergenzen (z. B. die umgekehrte KL-Divergenz, die Vorwärts-KL-Divergenz, $\alpha$-Divergenzen) oft unterschiedliche Approximationen liefern, bleibt unklar, unter welchen Bedingungen VI nachweislich genaue Schätzungen statistischer Eigenschaften, wie etwa des Mittelwerts und der Korrelationsmatrix, liefert. Vorherige Arbeiten stellten fest, dass die Minimierung der umgekehrten Kullback-Leibler-Divergenz (KL) den Mittelwert und die Korrelationsmatrix einer Zielverteilung $p$ wiederherstellt, sofern $p$ log-konkav ist und eine gerade oder elliptische Symmetrie aufweist. Diese Garantien waren jedoch auf spezifische Divergenzen beschränkt und erforderten starke Annahmen (Log-Konkavität), die schwergewichtige (heavy-tailed) Verteilungen, wie sie in der Praxis häufig vorkommen, ausschließen.

Methodik
Die Autoren verallgemeinern diese Garantien auf eine breite Klasse von Zielfunktionen und lockern die Regularitätsbedingungen an die Zielverteilung.

1. Zielfunktionen: Die Analyse konzentriert sich auf $f$-Divergenzen, eine breite Familie, definiert als $D_f(p||q) = \int f(p(z)/q(z))q(z)dz$, welche die umgekehrte und die Vorwärts-KL-Divergenz, $\alpha$-Divergenzen und geglättete Total-Variation-Distanzen umfasst.
2. Symmetriedefinitionen: Das Paper formalisiert gerade Symmetrie (Symmetrie um einen Punkt $\nu$), elliptische Symmetrie (Symmetrie definiert durch eine Streumatrix $M$) und partielle Symmetrie (Symmetrie entlang einer Teilmenge von Koordinaten $\sigma$).
3. Variationsfamilie: Die Approximationsfamilie $\mathcal{Q}$ wird als eine elliptische Lage-Skalen-Familie angenommen, bei der die Verteilungen elliptisch symmetrisch um einen Lageparameter $\nu$ und eine Streumatrix proportional zu einer Skalenmatrix $S$ sind.
4. Theoretischer Rahmen:
   • Simultane Diagonalisierung: Die Autoren verwenden eine Koordinatentransformation (Lemma 1), die die Streumatrizen von $p$ und $q$ mittels Kongruenz simultan diagonalisiert. Dies reformuliert die $f$-Divergenz in Bezug auf transformierte Variablen, was die Analyse von stationären Punkten vereinfacht.
   • Unimodalität vs. Log-Konkavität: Anstatt zu verlangen, dass $p$ log-konkav ist, nehmen die Autoren an, dass $p$ und $q$ strikt unimodal sind (ihre Radialfunktionen sind strikt monoton fallend). Dies ermöglicht die Einbeziehung von schwergewichtigen Verteilungen wie der Student-$t$- und der Cauchy-Verteilung.
   • Kettenregel für partielle Symmetrie: Für partielle Symmetries werden die Autoren eine Kettenregel-Eigenschaft von $f$-Divergenzen (Definition 9) nutzen, um die Divergenz in bedingte und marginale Komponenten zu zerlegen, was die Analyse von Koordinaten mit und ohne Symmetrie ermöglicht.

Wesentliche Beiträge
Das Paper präsentiert drei Haupttheoreme, die vorangegangene Ergebnisse verallgemeinern:

• Theorem 1 (Mittelwertrekonstruktion unter gerader Symmetrie): Für jede strikt konvexe $f$-Divergenz gilt: Wenn die Zielverteilung $p$ elliptisch symmetrisch und strikt unimodal ist, ist der eindeutige Minimierer der Divergenz bezüglich des Lageparameters $\nu$ der wahre Mittelwert von $p$ ($\nu = \mu$). Dies gilt selbst dann, wenn $p$ schwergewichtig ist und nicht log-konkav vorliegt.
• Theorem 2 (Rekonstruktion von Mittelwert und Streumatrix unter elliptischer Symmetrie): Unter denselben Bedingungen wie Theorem 1, plus der Anforderung, dass die Radialfunktion von $p$ in seinem Tail radial fallend ist, erfüllt jeder stationäre Punkt der Divergenz bezüglich der Lage-Skalen-Parameter $(\nu, S)$ die Bedingung $\nu = \mu$ und $S = \gamma^2 M$ für ein $\gamma > 0$. Folglich stellt VI die Korrelationsmatrix von $p$ wieder her.
• Theorem 3 (Garantien für partielle Symmetrie): Wenn $p$ nur entlang einer Teilmenge von Koordinaten $\sigma$ symmetrisch ist (wobei die bedingte Verteilung $p(z_\sigma | z_{\bar{\sigma}})$ elliptisch symmetrisch mit einem linearen bedingten Mittelwert und einer konstanten Streumatrix ist), stellt die Variationale Approximation den bedingten Mittelwert und die Streumatrix entlang von $\sigma$ wieder her. Wenn der bedingte Mittelwert konstant ist, werden auch der marginale Mittelwert und die Korrelation entlang von $\sigma$ wiederhergestellt.

Ergebnisse

• Theoretisch: Die Beweise zeigen, dass symmetrie-angepasste Lösungen stationäre Punkte für alle strikt konvexen $f$-Divergenzen sind. Die Autoren zeigen, dass für unimodale Zielverteilungen diese stationären Punkte eindeutige Minimierer für die Lage- und Skalenparameter sind.
• Numerische Experimente: Die Autoren evaluierten VI auf synthetischen Zielverteilungen (multivariate Student-$t$, elliptischer Funnel, Crescent-Verteilung) und Bayes’schen hierarchischen Modellen (Bildungsdaten, Krankheitsmodellierung, genetische Daten).
  • Sie untersuchten die Asymmetrie der Posterior-Verteilungen und fanden heraus, dass VI geringere absolute Fehler in der Mittelwertschätzung liefert, wenn die Zielverteilungen symmetrischer sind.
  • In Modellen mit partieller Symmetrie (z. B. dem elliptischen Funnel) stellte VI den bedingten Mittelwert und die Korrelationen entlang der symmetrischen Koordinaten ($\theta$) korrekt wieder her, selbst wenn es versagte, den Mittelwert der asymmetrischen Koordinate ($\tau$) zu rekonstruieren.
  • Experimente bestätigten, dass Reparametrisierungsstrategien (z. B. nicht-zentrierte Parametrisierung oder Marginalisierung), die die Asymmetrie in hierarchischen Modellen reduzieren, die Leistung von VI verbessern.

Bedeutung und Ansprüche
Das Paper beansprucht, einen vereinheitlichten theoretischen Rahmen zu bieten, der zeigt, dass die Symmetrie-Matching-Eigenschaften von VI über eine breite Palette von Zielfunktionen ($f$-Divergenzen) hinweg robust sind und nicht auf der restriktiven Annahme der Log-Konkavität beruhen. Die Autoren betonen, dass diese Ergebnisse „Vorschriften für Praktiker“ bieten, was impliziert, dass die Leistung von VI in Bayes’schen hierarchischen Modellen durch die Reparametrisierung von Modellen verbessert werden kann, um partielle Symmetrien auszunutzen (z. B. durch nicht-zentrierte Parametrisierungen oder kollabierte Posteriors). Die Arbeit erweitert das Verständnis darüber, wann VI nachweislich genau ist, indem sie über spezifische Divergenzwahlen hinausgeht und eine breitere Klasse von Objekten sowie realistischere Zielverteilungen (einschließlich schwergewichtiger Verteilungen) einschließt. Die Autoren merken an, dass sie sich zwar auf theoretische Garantien konzentrieren, ihre Ergebnisse jedoch die bestehende Arbeit zu Post-hoc-Diagnostik und Korrekturen ergänzen.