Technische Zusammenfassung: Wasserstein-Kontraktion der Koordinatenascent-Variationsinferenz

Problemstellung

Die Arbeit behandelt die theoretischen Konvergenzgarantien für den Koordinatenascent-Variationsinferenz-Algorithmus (CAVI). CAVI ist eine fundamentale Methode zur Approximation nicht handhabbarer Zielverteilungen $\pi$ (typischerweise Posteriorverteilungen in der bayesschen Statistik) durch Minimierung der Kullback–Leibler-Divergenz (KL) über eine Familie handhabbarer, faktorisierter Verteilungen (z. B. $\mu \otimes \nu$). Obwohl CAVI aufgrund seiner Recheneffizienz weit verbreitet ist, waren strenge Konvergenzgarantien historisch begrenzt. Die bestehende Literatur stützt sich häufig auf starke Annahmen, wie die globale starke Log-Konkavität der Zielverteilung, was viele praktische Modelle (z. B. Mischungsmodelle, logistische Regression) ausschließt, bei denen das Ziel nicht stark log-konkav ist oder der Raum diskrete oder nicht-glatt Komponenten umfasst.

Die Autoren zielen darauf ab, eine lokale exponentielle Konvergenz der CAVI-Iterierten $(\mu_k, \nu_k)$ zu einem Fixpunkt im Wasserstein-Abstand unter Bedingungen zu etablieren, die schwächer und überprüfbarer sind als die globale starke Log-Konkavität.

Methodik

Die Autoren analysieren die CAVI-Aktualisierungen als Folge von Operatoren, die auf Wahrscheinlichkeitsmaßen wirken. Sei das Ziel $\pi = e^{-f} \in \mathcal{P}(Z \times B)$. Die CAVI-Aktualisierungen werden über Optimalitätsabbildungen definiert:
$$\mu_k = \mu^\star[\nu_{k-1}], \quad \nu_k = \nu^\star[\mu_k]$$
wobei $\mu^\star[\nu] \propto \exp(-\mathbb{E}_\nu f(\cdot, \beta))$ und $\nu^\star[\mu] \propto \exp(-\mathbb{E}_\mu f(Z, \cdot))$.

Die Konvergenzanalyse stützt sich auf zwei primäre Bedingungen, die auf dem Raum der Wahrscheinlichkeitsmaße, ausgestattet mit dem Wasserstein-$p$-Abstand ($W_p$), definiert sind:

1. Fisher-Glattheit (Kreuz-Glattheit): Die Optimalitätsabbildungen $\mu^\star[\cdot]$ und $\nu^\star[\cdot]$ müssen in der Nähe der Fixpunkte „Fisher-glatt" sein. Ein Operator $\gamma^\star[\cdot]$ ist mit der Konstante $L$ Fisher-glatt, wenn:
   $$I(\gamma^\star[\varrho] \| \gamma^\star[\varrho']) \leq L^2 W_p^2(\varrho, \varrho')$$
   wobei $I$ die relative Fisher-Information ist. Diese Bedingung begrenzt im Wesentlichen, wie stark sich der Gradient des Potentials bezüglich der anderen Koordinate ändert (Kreuz-Glattheit des Interaktionsterms $\omega$ in $f = f_1 + f_2 + \omega$).

2. Transport-Information (TI)-Ungleichung: Die Fixpunktverteilungen $\mu^\star$ und $\nu^\star$ müssen eine TI-Ungleichung mit den Konstanten $\lambda_1, \lambda_2$ erfüllen:
   $$\lambda^2 W_p^2(\varrho, \gamma) \leq I(\varrho \| \gamma)$$
   Dies ist eine Krümmungsbedingung für die Fixpunkte. Sie ist schwächer als Log-Sobolev-Ungleichungen und starke Log-Konkavität, und sie tensorisiert, was sie für hochdimensionale Settings geeignet macht.

Die Autoren erweitern dieses Framework zudem auf Data-Augmentation-Settings (wobei $Z$ Hilfsvariablen darstellt). In diesem Fall zeigen sie, dass die Konvergenz des Parameter-Randes $\nu_k$ allein auf der Glattheit der zusammengesetzten Abbildung $\nu^\star[\mu^\star[\cdot]]$ und der TI-Ungleichung von $\nu^\star$ basierend bewiesen werden kann, ohne Krümmungsbedingungen für den Hilfs-Fixpunkt $\mu^\star$ zu erfordern. Dies ist entscheidend, wenn $Z$ diskret oder nicht-glatt ist.

Hauptbeiträge

1. Allgemeiner Konvergenzsatz (Satz 1)

Die Arbeit beweist, dass, wenn die Kreuz-Glattheitskonstanten ($L_{1|2}, L_{2|1}$) und die TI-Konstanten ($\lambda_{1|2}, \lambda_{2|1}$) die Bedingung $L_{1|2}L_{2|1} < \lambda_{1|2}\lambda_{2|1}$ erfüllen, die CAVI-Iterierten mit einer Rate von $\frac{L_{1|2}L_{2|1}}{\lambda_{1|2}\lambda_{2|1}}$ exponentiell schnell im Wasserstein-Abstand zum Fixpunkt konvergieren.

• Allgemeingültigkeit: Das Ergebnis gilt für allgemeine glatte Riemannsche Mannigfaltigkeiten und erlaubt nicht-glatt Räume (via der Data-Augmentation-Erweiterung).
• Lokal vs. Global: Der Satz liefert lokale Konvergenzgarantien. Globale Konvergenz ist möglich, wenn die Bedingungen global gelten, aber die Autoren betonen, dass lokale Garantien für viele praktische Szenarien ausreichen, in denen mehrere Fixpunkte existieren.
• Schärfe: Für Gaußsche Ziele stimmt die abgeleitete Rate mit der Spektralnorm der Korrelationsmatrix überein, was die Schärfe der Schranke demonstriert.

2. Data-Augmentation-Framework (Satz 4)

Ein wesentlicher Beitrag ist die Lockerung der Annahmen für Data-Augmentation-Probleme. Die Autoren zeigen, dass, wenn das Interesse nur am Parameter $\beta$ (Rand $\nu$) liegt, die Konvergenz bewiesen werden kann, ohne dass der Hilfs-Fixpunkt $\mu^\star$ eine TI-Ungleichung erfüllen muss. Dies ermöglicht die Anwendung der CAVI-Konvergenztheorie auf Modelle mit diskreten latenten Variablen (z. B. Gaußsche Mischungsmodelle), bei denen der Hilfsraum nicht-glatt ist.

3. Anwendung auf spezifische bayessche Modelle

Die Autoren wenden ihr theoretisches Framework auf drei spezifische Modelle an und leiten explizite Konvergenzraten und Bedingungen ab:

• Ungleiche Gaußsche Mischungsmodelle (GMM):

  • Die Konvergenz wird durch einen posterioren Phasenübergang bestimmt.
  • Die Rate hängt von der Trennung der Posterior-Moden ab. Wenn die Moden gut getrennt sind, konvergiert der Algorithmus lokal und exponentiell schnell.
  • Im ausgeglichenen Fall ($p=0.5$) erfordert globale Konvergenz eine spezifische Signal-Rausch-Verhältnis-Bedingung ($r < 1$). Wenn diese nicht erfüllt ist, wird der Posterior multimodal, und CAVI konvergiert je nach Initialisierung zu verschiedenen Moden.
  • Die Ergebnisse verdeutlichen, dass ungleiche Mischungen (asymmetrisches $p$) eine schnellere Konvergenz durch Reduzierung der Label-Unsicherheit erleichtern.

• Bayessche Probit-Regression:

  • Die Autoren analysieren die CAVI-Aktualisierungen für die Probit-Regression mit Data Augmentation (Albert und Chib, 1993).
  • Sie beweisen globale exponentielle Konvergenz mit einer Rate, die durch den bayesschen Anteil fehlender Information bestimmt wird: $\lambda_{\max}((Q_0 + X^\top X)^{-1}X^\top X)$.
  • Sie zeigen, dass in hochdimensionalen Settings ($n, p \to \infty$) die Rate unter geeigneter Prior-Skalierung (z. B. $g$-Priors oder direkte Skalierung) von 1 weggebunden bleibt, was Stabilität auch bei wachsender Dimensionalität gewährleistet.

• Bayessche logistische Regression (Jaakkola-Jordan-Algorithmus):

  • Die Arbeit analysiert den Algorithmus unter Verwendung von Pólya-Gamma-Augmentierungen.
  • Sie leiten eine lokale Konvergenzrate $r_\varepsilon$ ab, die von der Ableitung der logistischen Link-Funktion und der Krümmung des Posteriors abhängt.
  • Entscheidend ist, dass sie feststellen, dass die Konvergenzrate für die logistische Regression unter vergleichbaren Bedingungen strikt besser (kleiner) ist als für die Probit-Regression, aufgrund der Eigenschaften der Pólya-Gamma-Augmentierung und der spezifischen Form der Interaktionsterme. Dies ist das erste verfügbare Konvergenzraten-Ergebnis für den Jaakkola-Jordan-Algorithmus.

Bedeutung und Behauptungen

Die Arbeit behauptet, einen scharfen, direkten und kurzen Beweis der CAVI-Konvergenz zu liefern, der auf Funktionalungleichungen statt auf globaler starker Log-Konkavität basiert.

• Lockerung der Annahmen: Durch die Nutzung von Transport-Information-Ungleichungen und Fisher-Glattheit umgehen die Autoren die Notwendigkeit, dass die Zielverteilung $\pi$ stark log-konkav ist. Dies ist eine signifikante Lockerung, da Standardmodelle wie Mischungsmodelle und logistische Regression keine starke Log-Konkavität erfüllen.
• Handhabung nicht-glatter Räume: Die Data-Augmentation-Erweiterung ermöglicht eine Konvergenzanalyse in Settings mit diskreten latenten Variablen, ein häufiges Merkmal von Mischungsmodellen, das unter glatten Mannigfaltigkeitsannahmen bisher schwer zu analysieren war.
• Genauigkeits-Konvergenz-Dualität: Die Arbeit stellt fest, dass die Bedingungen, die eine schnelle Konvergenz gewährleisten (kleine Interaktionsterme relativ zur Krümmung), auch implizieren, dass die variationsbasierte Approximation von hoher Qualität ist (niedrige KL-Divergenz). Dies etabliert eine Dualität zwischen der Geschwindigkeit des Algorithmus und der Genauigkeit der Approximation.
• Praktische Relevanz: Die abgeleiteten Raten für hochdimensionale Regression (Probit und logistisch) zeigen, dass CAVI auch bei wachsendem $p$ und $n$ stabil und effizient bleibt, sofern der Prior korrekt skaliert ist.

Die Autoren stellen explizit fest, dass ihre aktuelle Analyse auf das Zwei-Block-Setting ($m=2$) beschränkt ist und Erweiterungen auf Multi-Block-Dynamiken zukünftigen Arbeiten vorbehalten bleiben. Sie weisen zudem darauf hin, dass ihre Ergebnisse zwar lokal sind, aber das empirische Verhalten von CAVI in komplexen, nicht-konvexen Landschaften mit einander übereinstimmen und erklären.