Detecting Model Misspecification in Bayesian Inverse Problems via Variational Gradient Descent

1. Problemstellung

Bayes'sche Inferenz ist optimal, wenn das statistische Modell korrekt spezifiziert ist (d. h., die wahre Datenverteilung liegt im Modellraum). Ist das Modell jedoch falsch spezifiziert (misspecified), kann die Bayes'sche Inferenz katastrophal versagen: Die Posterior-Verteilung konzentriert sich zwar auf einen „besten" Parameter, liefert aber gleichzeitig hochzuverlässige, jedoch falsche Vorhersagen.

Das Erkennen solcher Fehlspezifikationen ist schwierig. Gängige Ansätze wie:

• Prädiktive Ansätze: Vergleich der Posterior-Prädiktion mit zurückgehaltenen Daten (Hold-out), was bei abhängigen Daten (z. B. in der Seismologie) und hohem Rechenaufwand oft unpraktisch ist.
• Vergleichende Ansätze: Modellselektion über eine Menge von Kandidatenmodellen, was oft das manuelle Entwickeln physikalisch alternativer Modelle erfordert.

Das Ziel des Papers ist es, eine einfache, praktische und allgemeine Methode vorzustellen, um Fehlspezifikationen in Bayes'schen inversen Problemen automatisch zu erkennen, ohne aufwendige Daten-Splitting-Verfahren oder manuelle Modellalternativen zu benötigen.

2. Methodik

Die vorgeschlagene Methode kombiniert zwei Hauptkomponenten:

A. Predictively Oriented (PrO) Posterior

Statt das parametrische Modell $P_\theta$ direkt zu verwenden, wird es in ein unendliches Mischungsmodell $P_Q = \int P_\theta \, dQ(\theta)$ „gehoben". Anstatt einen einzelnen Parameter $\theta$ zu schätzen, wird eine Mischungsverteilung $Q$ gelernt, die die Daten am besten vorhersagt.
Dies geschieht durch Minimierung eines entropie-regulierten Zielfunktionals:
$$Q_{PrO} := \arg \min_{Q} \left( -\sum_{i=1}^n \log \int p_\theta(y_i|x_i) dQ(\theta) + \text{KLD}(Q \| Q_0) \right)$$

• Im gut spezifizierten Fall: Konzentriert sich $Q_{PrO}$ um den wahren Parameter (ähnlich wie der Standard-Bayes-Posterior $Q_{Bayes}$).
• Im Fall von Fehlspezifikation: Lernt $Q_{PrO}$ eine nicht-triviale Mischung, um die Diskrepanz zwischen Modell und Daten zu kompensieren. Dies führt zu einer größeren Unsicherheit in der Vorhersage im Vergleich zu $Q_{Bayes}$.

B. Variational Gradient Descent (VGD)

Da $Q_{PrO}$ als Minimierer eines nichtlinearen Variationsproblems definiert ist, können Standardmethoden wie MCMC nicht direkt angewendet werden. Die Autoren nutzen Variational Gradient Descent (VGD), eine nichtlineare Verallgemeinerung des Stein'schen Variational Gradient Descent (SVGD).

• Der Algorithmus aktualisiert eine Menge von Partikeln $\{\theta_j\}$ deterministisch entlang eines Vektorfeldes, das den Gradienten des Zielfunktionals in einem Reproducing Kernel Hilbert Space (RKHS) maximiert.
• Wichtiger Vorteil: Die Berechnung von $Q_{PrO}$ erfordert nur eine einzeilige Änderung im Standard-SVGD-Code (Änderung der Gewichtung im Gradienten), wodurch $Q_{Bayes}$ und $Q_{PrO}$ parallel und effizient berechnet werden können.

C. Hypothesentest auf Fehlspezifikation

Um zu entscheiden, ob ein Modell falsch spezifiziert ist, wird die Vorhersageverteilung von $Q_{Bayes}$ ($P_{Bayes}$) mit der von $Q_{PrO}$ ($P_{PrO}$) verglichen.

• Teststatistik: Der mittlere quadrierte Maximum Mean Discrepancy (MMD) zwischen $P_{Bayes}$ und $P_{PrO}$.
• Nullhypothese: Das Modell ist korrekt spezifiziert (dann sollten $P_{Bayes}$ und $P_{PrO}$ asymptotisch identisch sein).
• Verfahren: Ein parametrischer Bootstrap wird verwendet, um die Nullverteilung der Teststatistik zu approximieren. Theoretisch wird die asymptotische Korrektheit dieses Bootstraps unter bestimmten Regularitätsbedingungen bewiesen.

3. Wichtige Beiträge

1. Erkennung von Fehlspezifikation: Ein direkter Vergleich der Vorhersageverteilungen von $Q_{Bayes}$ und $Q_{PrO}$ wird als allgemeine Strategie zur Detektion von Fehlspezifikationen etabliert.
2. Formaler Hypothesentest: Einführung eines Hypothesentests mit theoretisch bewiesener asymptotischer Korrektheit des parametrischen Bootstraps in diesem Kontext.
3. Effiziente Numerik (VGD): Bereitstellung eines effizienten Algorithmus zur Berechnung von $Q_{PrO}$. Die Autoren zeigen neue hinreichende Bedingungen für die Konsistenz von VGD im Kontext von $Q_{PrO}$ und demonstrieren, dass der Algorithmus fast identisch mit SVGD implementiert werden kann.
4. Anwendung auf inverse Probleme: Demonstration der Methode in einem anspruchsvollen inversen Problem (Seismologie), wo traditionelle Kreuzvalidierung aufgrund des hohen Rechenaufwands (Lösen der Eikonal-Gleichung) unpraktisch ist.

4. Ergebnisse

Die Methode wurde in zwei Szenarien evaluiert:

• Simulationsstudie (Gaußsche Regression):

  • In gut spezifizierten Szenarien waren $Q_{Bayes}$ und $Q_{PrO}$ nahezu identisch.
  • Bei Fehlspezifikation (z. B. falsche funktionale Form) blieb $Q_{Bayes}$ stark konzentriert (überzeugend, aber falsch), während $Q_{PrO}$ eine breitere, diffusive Verteilung annahm, die die Unsicherheit korrekt abbildete.
  • Der MMD-Test konnte Fehlspezifikationen mit hoher Power erkennen, insbesondere bei großen Stichprobengrößen. Die Power nahm jedoch mit der Dimension des Parameterraums ab.

• Fallstudie: Seismische Laufzeit-Tomographie:

  • Problem: Rekonstruktion der Untergrund-Geschwindigkeit aus Laufzeiten seismischer Wellen.
  • Szenario: Die Daten wurden mit korrekten Sensorpositionen generiert, aber das statistische Modell ging von falschen Sensorpositionen aus (eine häufige reale Fehlerquelle).
  • Ergebnis: Ein visueller Vergleich der rekonstruierten Geschwindigkeitsfelder zeigte deutliche Unterschiede. $Q_{Bayes}$ war in der Nähe der Sensoren übermäßig selbstbewusst (zu kleine Varianz), während $Q_{PrO}$ diese Überzeugung dämpfte und eine realistischere Unsicherheit zeigte.
  • Der Rechenaufwand für den diagnostischen Vergleich war nur um den Faktor 2 höher als die Berechnung von $Q_{Bayes}$ allein.

5. Bedeutung und Fazit

Das Paper bietet einen robusten Rahmen, um die Zuverlässigkeit Bayes'scher Modelle in komplexen inversen Problemen zu überprüfen.

• Praktische Relevanz: Die Methode ist besonders wertvoll in Bereichen wie der Geophysik, wo physikalische Modelle oft nur Näherungen sind und die Berechnung von Likelihoods sehr teuer ist.
• Paradigmenwechsel: Statt zu versuchen, ein perfektes physikalisches Modell zu finden oder Daten zu splitten, nutzt die Methode die inhärente Flexibilität von Mischungsmodellen ($Q_{PrO}$), um Fehlspezifikationen automatisch zu erkennen und zu kompensieren.
• Implementierung: Da der Algorithmus auf einer minimalen Modifikation von SVGD basiert, ist er leicht in bestehende Bayes'sche Inferenz-Pipelines integrierbar.

Zusammenfassend demonstriert das Paper, dass der Vergleich zwischen dem Standard-Bayes-Posterior und dem PrO-Posterior ein effektives, recheneffizientes Werkzeug ist, um zu erkennen, wann ein statistisches Modell die Realität nicht adäquat beschreibt, und liefert eine alternative Vorhersageverteilung, die in solchen Fällen robuster ist.