Functional Bias and Tangent-Space Geometry in Variational Inference

Diese Arbeit entwickelt einen geometrischen Rahmen, der zeigt, dass der systematische Bias von Posterior-Funktionalen in der Variationsinferenz durch Komponenten bestimmt wird, die orthogonal zum Tangentialraum der Variationsfamilie liegen, und erklärt so die bekannte Verzerrung von Abhängigkeiten zwischen Parametern bei Mean-Field-Ansätzen.

Das Wesentliche

Hier ist eine einfache Erklärung der wissenschaftlichen Arbeit von Sean Plummer, verpackt in eine Geschichte und Alltagsanalogien.

Die große Idee: Warum Variationsinferenz manchmal „blind" ist

Stell dir vor, du versuchst, ein riesiges, komplexes Gemälde (das ist die wahre Wahrscheinlichkeitsverteilung oder das „Posterior") zu kopieren. Aber du hast nur einen sehr begrenzten Satz von Stempeln zur Verfügung, um das Bild nachzumachen (das ist die Variationsfamilie).

In der Statistik nennt man diesen Prozess Variationsinferenz. Das Ziel ist es, das beste Bild zu finden, das man mit diesen Stempeln drucken kann. Oft ist das Originalbild zu kompliziert, um es genau zu berechnen, also nimmt man die Näherung.

Das Problem: Diese Näherung ist nie perfekt. Sie hat immer einen Fehler (eine Verzerrung oder Bias). Die Frage, die sich Sean Plummer in diesem Papier stellt, ist: Welche Teile des Bildes werden gut kopiert und welche werden schief?

Die Antwort liegt in der Geometrie.

---

1. Die Tangentialebene: Der „Bewegungsradius" deiner Stempel

Stell dir vor, deine Stempel sind auf einer flachen Ebene montiert. Du kannst sie nur in bestimmte Richtungen bewegen (z. B. nach links, rechts, oben, unten), aber nicht diagonal durch die Luft schweben.

• Die Tangentialebene: Das ist der Raum aller Richtungen, in die du dich mit deinen Stempeln bewegen kannst. Alles, was in dieser Ebene liegt, kannst du gut abbilden.
• Der senkrechte Raum (Orthogonal): Das sind die Richtungen, in die du dich nicht bewegen kannst. Wenn das Originalbild in diese Richtung „ausbricht", kannst du es nicht kopieren.

Die Entdeckung des Autors:
Der Fehler deiner Kopie hängt davon ab, ob das, was du messen willst, in deine „Bewegungsebene" passt oder nicht.

• Szenario A (Passt in die Ebene): Du willst wissen, wie hoch ein einzelner Stempel ist. Da du dich in dieser Richtung bewegen kannst, ist deine Kopie fast perfekt. Der Fehler ist winzig (zweiter Ordnung).
• Szenario B (Passt nicht in die Ebene): Du willst wissen, wie zwei Stempel zusammen interagieren (z. B. wenn der eine hoch geht, muss der andere tief gehen). Wenn deine Stempel aber nur einzeln bewegt werden können (wie bei der „Mean-Field"-Methode), kannst du diese Verbindung nicht sehen. Hier entsteht ein großer, systematischer Fehler (erster Ordnung).

---

2. Das Beispiel: Der „Mean-Field"-Ansatz (Die getrennten Teams)

Ein sehr beliebter Ansatz in der Statistik ist die Mean-Field-Methode. Stell dir vor, du hast ein großes Team von Mitarbeitern (die Parameter), die zusammenarbeiten.

• Die Realität: Alle Mitarbeiter kommunizieren miteinander. Wenn Person A einen Fehler macht, beeinflusst das Person B und C.
• Die Mean-Field-Näherung: Du sagst: „Okay, wir ignorieren die Kommunikation. Jeder arbeitet in seinem eigenen Raum und schaut nur auf sich selbst."

Was passiert?

• Was gut funktioniert: Du kannst genau berechnen, wie einzelne Mitarbeiter performen (z. B. „Wie viel Geld hat Mitarbeiter A verdient?"). Das liegt in deiner „Bewegungsebene".
• Was schiefgeht: Du kannst nicht berechnen, wie sie sich gegenseitig beeinflussen (z. B. „Wie stark hängen die Fehler von A und B zusammen?"). Diese „Kreuz-Korrelationen" liegen außerhalb deiner Bewegungsebene.

Das Papier zeigt mathematisch, dass dieser Ansatz systematisch die Beziehungen zwischen den Gruppen verzerrt. Es ist, als würdest du versuchen, ein Tanzpaar zu beschreiben, indem du nur die Bewegungen von Person A und Person B einzeln aufschreibst. Du verpasst das Wesentliche: den Tanz zwischen ihnen.

---

3. Die Analogie des „Schattenwurfs"

Stell dir vor, das wahre Bild ist eine 3D-Skulptur. Deine Variationsmethode ist wie eine Taschenlampe, die einen Schatten an die Wand wirft.

• Wenn die Skulptur flach ist und genau in die Richtung der Lampe zeigt, ist der Schatten perfekt.
• Wenn die Skulptur aber in eine Richtung ragt, die die Lampe nicht erfassen kann (senkrecht zur Wand), wird dieser Teil im Schatten verschwinden oder verzerrt werden.

Die Arbeit von Plummer sagt uns:

„Schau dir nicht nur an, wie dunkel der Schatten ist (wie groß der Gesamtfehler ist). Schau dir an, welche Teile der Skulptur im Schatten fehlen. Wenn du etwas messen willst, das im Schatten liegt (die orthogonalen Komponenten), wirst du einen großen Fehler machen. Wenn du etwas messen willst, das im Licht liegt (die Tangentialkomponenten), ist dein Ergebnis gut."

---

4. Warum ist das wichtig? (Die praktischen Folgen)

In der echten Welt nutzen Wissenschaftler diese Näherungen, um Dinge vorherzusagen.

1. Wenn du nur Mittelwerte brauchst: (z. B. „Wie hoch ist die durchschnittliche Temperatur?") – Die Methode funktioniert super.
2. Wenn du Risiken oder Zusammenhänge brauchst: (z. B. „Wie wahrscheinlich ist es, dass gleichzeitig die Aktie A fällt UND die Aktie B fällt?" oder „Wie stark hängen zwei Krankheiten zusammen?") – Hier versagt die einfache Methode oft dramatisch. Sie unterschätzt die Gefahr, weil sie die „Verbindungen" ignoriert.

Die Lösung:
Das Papier schlägt vor, nicht nur zu fragen „Ist die Näherung gut?", sondern „Für welche Fragen ist sie gut?".

• Wenn du Zusammenhänge verstehen willst, musst du eine komplexere Methode wählen, die mehr „Bewegungsräume" (Tangentialebenen) erlaubt.
• Oder du musst wissen, dass deine Ergebnisse für Zusammenhänge verzerrt sind und das entsprechend korrigieren.

Zusammenfassung in einem Satz

Die Arbeit zeigt, dass der Fehler bei statistischen Näherungen nicht zufällig ist, sondern eine geometrische Struktur hat: Alles, was innerhalb der „Bewegungsfreiheit" deiner Methode liegt, wird gut berechnet; alles, was die Beziehung zwischen verschiedenen Teilen beschreibt (und daher außerhalb dieser Freiheit liegt), wird systematisch falsch dargestellt.

Es ist wie der Versuch, ein Orchester mit einem einzelnen Klavier nachzuahmen: Du kannst die Melodie (die einzelnen Noten) gut spielen, aber du wirst den Klang des Zusammenspiels (die Harmonie zwischen den Instrumenten) nie richtig einfangen.

Technische Zusammenfassung

Hier ist eine detaillierte technische Zusammenfassung des Papers „Functional Bias and Tangent-Space Geometry in Variational Inference" von Sean Plummer auf Deutsch.

1. Problemstellung

Variational Inference (VI) ist eine weit verbreitete Methode zur Approximation komplexer posteriorer Verteilungen in der Bayesschen Statistik, indem die Suche auf eine handhabbare Familie von Verteilungen (die Variationsfamilie) beschränkt wird. Obwohl VI rechnerisch effizient ist, führt sie zu systematischen Verzerrungen (Bias).

Die bestehende theoretische Literatur konzentriert sich meist auf globale Divergenzmaße (wie die Kullback-Leibler-Divergenz) oder Konvergenzraten der gesamten Verteilung. Viele praktische Anwendungen benötigen jedoch spezifische Zusammenfassungen der Posterior-Verteilung, wie Erwartungswerte, Varianzen, Kovarianzen oder Tail-Wahrscheinlichkeiten.
Die zentrale Frage dieses Papers ist: Welche Posterior-Funktionale können durch eine Variationsapproximation genau geschätzt werden und welche weisen systematische Fehler auf? Bisher fehlte ein strukturelles Verständnis dafür, wie die Geometrie der Variationsfamilie die Genauigkeit spezifischer Funktionale bestimmt.

2. Methodik: Geometrischer Rahmen

Das Paper entwickelt einen geometrischen Rahmen, der die Variationslösung als Kullback-Leibler-Projektion (KL-Projektion) der wahren Posterior-Verteilung $\pi$ auf die Variationsfamilie $\mathcal{Q}$ betrachtet.

Kernkonzepte:

• Tangentialraum ($T_{q^*}\mathcal{Q}$): Dies ist der Raum der Score-Funktionen (Ableitungen des Log-Dichte-Parameters) der Variationsfamilie an der optimalen Lösung $q^*$. Er beschreibt die Richtungen, in denen die Verteilung innerhalb der Familie lokal gestört werden kann.
• Residuum ($\Delta$): Definiert als $\Delta(\theta) = \log(q^*(\theta)/\pi(\theta))$. Aufgrund der Optimalitätsbedingungen der KL-Divergenz ist dieses Residuum orthogonal zum Tangentialraum ($E_{q^*}[h \Delta] = 0$ für alle $h \in T_{q^*}\mathcal{Q}$).
• Bias-Zerlegung: Der Bias eines Funktionals $g$ (d.h. $E_\pi[g] - E_{q^*}[g]$) wird durch eine Taylor-Entwicklung des Maßwechsels analysiert. Die führende Fehlerordnung wird durch die Komponente von $g$ bestimmt, die orthogonal zum Tangentialraum liegt.

Mathematische Herleitung:
Das Paper zeigt, dass für ein Funktional $g$ mit der orthogonalen Zerlegung $g = g_\parallel + g_\perp$ (wobei $g_\parallel \in T_{q^*}\mathcal{Q}$ und $g_\perp \perp T_{q^*}\mathcal{Q}$):
$$E_\pi[g] - E_{q^*}[g] = -\langle g_\perp, \Delta \rangle_{L^2(q^*)} + O(\|\Delta\|^2)$$
Das bedeutet: Funktionale, die im Tangentialraum liegen ($g_\perp = 0$), weisen nur einen Bias zweiter Ordnung auf. Funktionale mit einer Komponente außerhalb des Tangentialraums weisen einen Bias erster Ordnung auf.

3. Spezialisierung auf Structured Mean-Field

Für strukturierte Mean-Field-Familien (bei denen die Parameter in Blöcke $\theta = (\theta_{B_1}, \dots, \theta_{B_m})$ unterteilt sind und die Approximation faktorisiert: $q(\theta) = \prod q_b(\theta_{B_b})$) wird der Tangentialraum explizit charakterisiert:

• Tangentialraum: Besteht aus block-additiven Funktionen der Form $\sum f_b(\theta_{B_b})$.
• Orthogonales Komplement: Besteht aus Interaktionsfunktionen, die mehrere Blöcke koppeln (z. B. Terme wie $f(\theta_{B_i}) \cdot g(\theta_{B_j})$ mit $i \neq j$).

Ergebnis: Additive Zusammenfassungen der Parameterblöcke werden genau erfasst. Alle Zusammenfassungen, die von der Abhängigkeit zwischen den Blöcken (Interaktionen) abhängen, leiden unter einem führenden Bias.

4. Asymptotische Analyse

Unter lokalen asymptotischen Normalitätsbedingungen (Bernstein-von Mises Theorem) wird der Bias für große Stichprobengrößen $n$ explizit berechnet.

• Sowohl die wahre Posterior-Verteilung $\pi_n$ als auch die Variationsapproximation $q^*_n$ konvergieren gegen Gaußsche Verteilungen mit Kovarianzmatrizen $\Sigma/n$ bzw. $V/n$.
• Für ein dreimal differenzierbares Funktional $g$ lautet der führende Bias-Term:
  $$\text{Bias} \approx \frac{1}{2n} \text{tr}\left( H_g(\mu_n) (\Sigma - V) \right)$$
  wobei $H_g$ die Hesse-Matrix von $g$ ist.
• Bei Mean-Field-Approximationen ist $V$ diagonal. Daher verschwindet der Bias nur, wenn die Hesse-Matrix keine Kreuzterme (Interaktionen) enthält.
• Konsequenz: Kreuzkovarianzen (z. B. $E[\theta_i \theta_j]$ mit $i \neq j$) weisen einen Bias erster Ordnung ($O(n^{-1})$) auf, der proportional zur wahren Kovarianz $\Sigma_{ij}$ ist. Additive Funktionale haben einen Bias zweiter Ordnung ($o(n^{-1})$).

5. Wichtige Beiträge

1. Funktionale Bias-Zerlegung: Herleitung einer Identität, die den Bias von Posterior-Funktionale direkt mit der orthogonalen Projektion auf den Tangentialraum der Variationsfamilie verknüpft.
2. Geometrische Charakterisierung: Beweis, dass Funktionale im Tangentialraum nur einen Bias zweiter Ordnung haben, während orthogonale Komponenten zu Bias erster Ordnung führen.
3. Explizite Struktur für Mean-Field: Identifikation des Tangentialraums als Raum der block-additiven Funktionen und des orthogonalen Komplements als Raum der Interaktionsterme.
4. Asymptotische Expansion: Herleitung expliziter asymptotischer Formeln für den Bias, die zeigen, dass fehlende Interaktionsrichtungen in Mean-Field-Modellen zu einer systematischen Verzerrung von Abhängigkeitsmaßen führen.
5. Anwendungsbeispiele: Illustration an Posterior-Kovarianzen, Varianzen linearer Kontraste und gemeinsamen Tail-Wahrscheinlichkeiten.

6. Signifikanz und Implikationen

• Geometrische Erklärung: Das Paper liefert eine elegante geometrische Erklärung für das bekannte Phänomen, dass Mean-Field-Methoden Korrelationen zwischen Parametern unterschätzen (oft sogar auf Null setzen) und Joint-Tail-Wahrscheinlichkeiten verzerren.
• Praktische Leitlinie: Es definiert klar, welche Posterior-Zusammenfassungen vertrauenswürdig sind (additiv, blockweise) und welche problematisch sind (interagierend, abhänig von Kreuztermen).
• Erweiterung der Theorie: Der Ansatz ergänzt die traditionelle Analyse durch globale Divergenzmaße, indem er die Qualität der Approximation auf der Ebene spezifischer, für Anwendungen relevanter Funktionale bewertet.
• Strukturierte Familien: Es erklärt, warum strukturierte Mean-Field-Ansätze (mit größeren Blöcken) besser funktionieren: Sie erweitern den Tangentialraum, reduzieren das orthogonale Komplement und minimieren somit den Bias für eine größere Klasse von Funktionale.

Zusammenfassend etabliert das Paper, dass die Geometrie der Variationsfamilie nicht nur die globale Approximationsgüte, sondern spezifisch die Verzerrung bestimmter statistischer Größen bestimmt. Dies bietet einen neuen Rahmen für die Diagnose und Verbesserung von Variationsinferenz-Methoden.