Efficient Bayes Factor Sensitivity Analysis via Posterior Density Ratios

1. Problemstellung

Bayes-Faktoren quantifizieren die Evidenz einer Hypothese gegenüber einer anderen, basierend auf den marginalen Likelihoods. Da die Wahl der Prior-Verteilung (insbesondere ihrer Hyperparameter) einen entscheidenden Einfluss auf den Bayes-Faktor hat, ist eine Sensitivitätsanalyse (Robustheitsprüfung) unerlässlich. Diese untersucht, wie sich die Evidenz ändert, wenn die Hyperparameter der Prior-Verteilung variiert werden.

Das zentrale Problem bei komplexen Modellen ist der hohe rechnerische Aufwand:

• Die Standardmethode erfordert das erneute Anpassen (Fitten) des Modells für jeden einzelnen Wert des Hyperparameters auf einem Gitter.
• Wenn $K$ Gitterpunkte analysiert werden sollen, skaliert der Rechenaufwand linear mit $K$.
• Bei Modellen, deren Anpassung Stunden oder Tage dauert (z. B. Meta-Analysen, Strukturgleichungsmodelle), ist eine umfassende Sensitivitätsanalyse mit vielen Gitterpunkten oft unpraktisch oder unmöglich.

2. Methodik

Die Autoren schlagen eine effiziente Methode vor, die die gesamte Sensitivitätskurve aus einem einzigen zusätzlichen Modellfit rekonstruiert. Die Methode basiert auf zwei Hauptideen:

A. Probabilistische Identität und Zerlegung

Die Bayes-Faktor-Sensitivität wird durch eine exakte probabilistische Identität zerlegt. Statt den Bayes-Faktor $BF_{10}(\gamma_x)$ für jeden Hyperparameter-Wert $\gamma_x$ direkt zu berechnen, wird er als Produkt zweier Komponenten dargestellt:

1. Ein Anker-Bayes-Faktor $BF_{10}(\gamma_0)$, der bei einem festen Referenzwert $\gamma_0$ (z. B. dem Standardwert) berechnet wird.
2. Ein Marginal-Likelihood-Verhältnis (MLR), das beschreibt, wie sich die Evidenz verschiebt, wenn $\gamma$ von $\gamma_0$ zu $\gamma_x$ wechselt.

Um das MLR effizient zu berechnen, wird ein erweitertes Modell $H_\gamma$ definiert, das einen Hyper-Prior $\pi(\gamma)$ auf den Sensitivitätsparameter $\gamma$ legt. In diesem erweiterten Modell lässt sich das Verhältnis der marginalen Likelihoods als Verhältnis der Posterior-Dichten von $\gamma$ ausdrücken (unter Verwendung des Savage-Dickey-Dichteverhältnisses):

$$BF_{10}(\gamma_x) = BF_{10}(\gamma_0) \times \frac{p(\gamma_x | y, H_\gamma)}{p(\gamma_0 | y, H_\gamma)} \times \frac{\pi(\gamma_0)}{\pi(\gamma_x)}$$

Ist der Hyper-Prior uniform, vereinfacht sich der letzte Term zu 1. Die gesamte Sensitivitätskurve ergibt sich also aus dem Anker-Wert multipliziert mit dem Verhältnis der Posterior-Dichtewerte bei $\gamma_x$ und $\gamma_0$.

B. Schätzung der Posterior-Dichte (IWMDE)

Die Herausforderung liegt in der Schätzung der Posterior-Dichte $p(\gamma | y, H_\gamma)$ aus den MCMC-Stichproben. Die Autoren vergleichen zwei Ansätze und empfehlen den Importance-Weighted Marginal Density Estimator (IWMDE) nach Chen (1994):

• Kernel Density Estimation (KDE): Eine nichtparametrische Schätzung, die nur die marginalen Stichproben von $\gamma$ nutzt. Sie ist rechenintensiv für hohe Genauigkeit und instabil in den Rändern der Verteilung.
• IWMDE: Dieser Schätzer nutzt die gemeinsame Verteilung von $\gamma$ und den Modellparametern $\theta$. Ein entscheidender Vorteil im vorliegenden Kontext ist, dass der Sensitivitätsparameter $\gamma$ nur über die Prior-Verteilung in das Modell eingeht.
  • Dadurch kürzt sich die Daten-Likelihood im Dichteverhältnis heraus.
  • Der IWMDE reduziert sich auf ein einfaches Verhältnis der Prior-Dichte-Auswertungen an den MCMC-Ziehungen.
  • Vorteil: Es ist keine erneute Berechnung der Likelihood-Funktion erforderlich. Dies macht den Schätzer extrem schnell und stabil, selbst bei moderaten Stichprobengrößen.

3. Wichtige Beiträge

1. Rechnerische Effizienz: Die Methode ersetzt $K$ separate Modellfits durch einen einzigen Fit des erweiterten Modells plus die Berechnung eines Anker-Bayes-Faktors.
2. Genauigkeit ohne Likelihood-Berechnung: Durch die Nutzung des IWMDE wird die Posterior-Dichte präzise geschätzt, ohne dass die oft teure Likelihood-Funktion neu ausgewertet werden muss.
3. Erweiterbarkeit:
   • Die Methode lässt sich auf mehrere Hyperparameter (multivariate Sensitivitätsanalyse) erweitern.
   • Sie ist kompatibel mit Bayesian Model Averaging (BMA), z. B. in Meta-Analysen, wo die Evidenz über mehrere Teilmodelle gemittelt wird.
4. Stabilität: Der IWMDE liefert stabilere Ergebnisse als KDE, insbesondere in den Rändern der Posterior-Verteilung und bei kleineren MCMC-Stichproben.

4. Ergebnisse und Validierung

Die Autoren validieren die Methode an drei Beispielen:

• Univariater Bayes-t-Test:
  • Gegenüberstellung mit exakten Lösungen (via BayesFactor Paket).
  • Der IWMDE liefert Ergebnisse, die fast identisch mit der exakten Lösung sind (Abweichung < 1-2%), selbst mit nur 3.000 MCMC-Ziehungen.
  • KDE zeigt bei kleinen Stichproben und an den Rändern des Parameterraums größere Schwankungen.
• Bivariater informierter t-Test:
  • Analyse der Sensitivität bezüglich Mittelwert und Standardabweichung des Priors.
  • Der IWMDE glättet die Sensitivitätsfläche besser und ist genauer in Bereichen mit geringer Posterior-Masse als KDE.
• Bayesian Model-Averaged Meta-Analyse (Bem-Daten):
  • Anwendung auf ein komplexes Szenario mit 4 (bzw. 36 bei Robustheitstests) Teilmodellen.
  • Die Methode rekonstruiert die Sensitivitätskurve des Inklusions-Bayes-Faktors über den Prior-Standardabweichungsbereich.
  • Performance: Während ein Gitter-Ansatz mit 10 Punkten ca. 13 Minuten dauerte, benötigte die neue Methode (ein Anker-Fit + ein erweiterter Fit) weniger als 1 Sekunde Overhead. Die Ergebnisse stimmen mit den teuren Gitter-Validierungen überein.

5. Bedeutung und Fazit

Die vorgestellte Methode macht eine umfassende Sensitivitätsanalyse in der Bayes'schen Statistik praktisch durchführbar, wo sie zuvor aufgrund des Rechenaufwands oft unterlassen wurde.

• Praktische Relevanz: Besonders wichtig für klinische Studien und regulatorische Entscheidungen (z. B. FDA), wo nachgewiesen werden muss, dass Schlussfolgerungen robust gegenüber der Wahl des Priors sind.
• Zugänglichkeit: Da die Methode nur einen zusätzlichen Modellfit erfordert und keine Likelihood-Berechnungen für die Dichteschätzung benötigt, kann sie leicht in bestehende Workflows (z. B. Stan, JAGS) integriert werden.
• Zukünftige Anwendung: Sie ermöglicht es Forschern, nicht nur einen einzelnen Bayes-Faktor zu berichten, sondern die gesamte Evidenzkurve über plausible Prior-Spezifikationen hinweg darzustellen, was die Transparenz und Robustheit der statistischen Inferenz erheblich steigert.