An Old Look at Empirical Bayes

Technische Zusammenfassung: Ein alter Blick auf Empirical Bayes

Problemstellung
Der Artikel nimmt Dennis Lindleys Kritik auf, dass Empirical Bayes (EB) statistisch inkohärent ist, da es „dieselben Daten zweimal verwendet": einmal zur Schätzung von Hyperparametern (oder einer Prior-Verteilung) aus der Randverteilung und ein zweites Mal zur Berechnung einer Posterior-Verteilung, als wäre diese Prior-Verteilung fest und bekannt. Die Autoren argumentieren, dass moderne Erweiterungen von EB, insbesondere das Programm von David Blei für den IMS Medallion Lecture 2026, versuchen, dies durch rechnerische Innovationen (probabilistische Symmetrien, simulationsbasierte Inferenz und Kalibrierungsstudien) sowie terminologische Verschiebungen (z. B. „Bayesian empirical Bayes", „Population Posterior") zu lösen. Das zentrale Problem besteht darin, ob diese rechnerischen und konzeptionellen Erweiterungen die fundamentale Inkohärenz von EB – speziell das Versagen, die Unsicherheit in der Prior-Verteilung bzw. den Hyperparametern fortzupflanzen – auflösen oder lediglich verschleiern. Die Autoren vertreten die Auffassung, dass die Rechenkosten für die Aufrechterhaltung einer vollständigen hierarchischen Disziplin hinreichend gesunken sind, sodass der „Abkürzungsweg" von EB nicht mehr durch Effizienzgewinne gerechtfertigt ist.

Methodik und theoretischer Rahmen
Der Artikel verwendet eine theoretische und vergleichende Analyse statt neuer experimenteller Simulationen. Er kontrastiert drei unterschiedliche Inferenzansätze:

1. Vollständiger Hierarchischer Bayes: Spezifikation eines gemeinsamen Wahrscheinlichkeitsmodells mit einer ordentlichen Hyperprior $\rho(\eta)$ für Hyperparameter $\eta$, was eine kohärente Posterior-Verteilung $p(\theta | x) = \int p(\theta | x, \eta)p(\eta | x)d\eta$ ergibt.
2. Klassisches Empirical Bayes (Typ-II-ML): Schätzung von $\eta$ über marginale Maximum-Likelihood (oder Momentenmethode), um $\hat{\eta}(x)$ zu erhalten, gefolgt von der Berechnung von $p(\theta | x, \hat{\eta})$. Dies ignoriert die Variabilität von $\hat{\eta}$.
3. Bleis Modernes Programm:
   • Bayesian Empirical Bayes (BEB): Nutzt probabilistische Symmetrien (Austauschbarkeit, Shift-Invarianz) und ergodische Zerlegungen, um ein lenkendes Maß $g$ zu definieren, das über variationale Inferenz oder neuronale Netze geschätzt wird.
   • Population Posterior: Definiert das Ziel als $q^*(\theta) = E_{X \sim F}[p(\theta | X)]$, einen Erwartungswert über replizierte Datensätze, und nicht als Posterior auf realisierten Daten.
   • Simulationsbasiertes EB: Nutzt implizite Likelihoods und amortisierte Inferenznetzwerke, um den Population Posterior zu approximieren.

Die Autoren analysieren diese Ansätze durch die Linse der Tweedie-Formel ($E[\theta|x] = x + \sigma^2 \nabla \log m(x)$) und unterscheiden zwischen:

• f-Modellierung: Glättung der Randdichte $m(x)$ direkt. Die Autoren argumentieren, dass dies nicht garantiert, dass der resultierende Schätzer aus einer gültigen Prior-Verteilung stammt, was möglicherweise Admissibilität und Kohärenz verletzt.
• g-Modellierung / NPMLE: Schätzung einer Mischverteilung $\pi$. Obwohl kohärent, ist die resultierende Prior-Verteilung diskret mit endlichem Träger, was möglicherweise schwerere Schwänze nicht erfassen kann, die für die Wiederherstellung sparsamer Signale erforderlich sind.
• Horseshoe Hierarchischer Bayes: Ein kontinuierlicher global-lokaler Shrinking-Prior (Half-Cauchy-Hyperprior), der eine gültige Tweedie-Formel liefert und Minimax-Optimalität bei Problemen mit sparsamen Normalenmitteln erreicht.

Hauptbeiträge und Argumente
Der Artikel stellt vier primäre technische Argumente vor:

1. Die Unterscheidung „Bayesian Empirical Bayes": Die Autoren klären, dass Bleis „Bayesian empirical Bayes" (BEB) strukturell von der Deely–Lindley-„Bayes empirical Bayes" unterscheidet. Deely–Lindley legen eine ordentliche Hyperprior-Verteilung auf einen endlichdimensionalen Parameter. Bleis BEB passt ein unendlichdimensionales lenkendes Maß über Maximum Marginal Likelihood (MML) unter Verwendung neuronaler Netze als Optimierungswerkzeuge an, ohne eine Posterior-Verteilung über das lenkende Maß zu legen. Folglich erbt BEB die datenabhängigen Probleme und die Unterabdeckung klassischer EB, indem es die Plug-in-Schätzung lediglich auf ein höheres Abstraktionsniveau verschiebt.

2. Die Natur des „Population Posterior": Der Artikel argumentiert, dass der „Population Posterior" ($q^*$) ein frequentistisches Objekt ist (ein Erwartungswert über hypothetische Replikate) und nicht ein Bayesianischer Posterior, der auf realisierten Daten konditioniert ist. Obwohl er gültige prädiktive Interpretationen hat (verbunden mit der PAC-Bayesian-Theorie), erzeugt die Vermarktung als „Posterior" Verwirrung bezüglich der Unsicherheitsquantifizierung. Die Autoren schlagen vor, ihn in „Population Predictive Distribution" umzubenennen, um seine frequentistische Mittelungs-Natur widerzuspiegeln.

3. Kritik an f-Modellierung und der Tweedie-Formel: Die Autoren verfeinern die Datta–Polson-Kritik an Efrons f-Modellierung. Sie zeigen, dass eine geglättete marginale Score-Funktion nicht notwendigerweise einer gültigen Prior-Verteilung entspricht. Daher ist der resultierende „Posterior-Mittelwert" keine echte Bayes-Regel und fehlt es ihm an den Admissibilitäts- und Minimax-Garantien, die mit ordentlichen Prior-Verteilungen verbunden sind. Im Gegensatz dazu wird die Horseshoe-Tweedie-Formel aus einer ordentlichen hierarchischen Prior-Verteilung (Half-Cauchy-Skalenmischung) abgeleitet, was sicherstellt, dass das Shrinking-Profil eine echte Bayes-Regel mit optimalen Schwanzverhalten für sparsame Signale ist.

4. Simulationsbasierte Inferenz (SBI) und Ziele: Der Artikel unterscheidet zwischen SBI-Methoden, die den Standard-Posterior $p(\theta|x)$ anvisieren (z. B. Neural Posterior Estimation, Generative Bayesian Computation), und Bleis SBI-EB, das den Population Posterior anvisiert. Die Autoren argumentieren, dass moderne SBI-Werkzeuge in der Lage sind, den vollständigen hierarchischen Posterior direkt zu berechnen; daher ist die Verwendung zur Approximation eines populationsgemittelten Objekts eine Wahl des Ziels und keine rechnerische Notwendigkeit.

Ergebnisse und Befunde

• Kohärenz und Unsicherheit: Der Artikel stellt fest, dass EB-Abkürzungen (Plug-in-Schätzer) die Unsicherheit systematisch unterschätzen, was zu Unterabdeckung in glaubwürdigen Intervallen führt, insbesondere bei kleinen Stichproben oder in sparsamen Regimen. Der vollständige Hierarchische Bayes pflanzt die Hyperparameter-Unsicherheit korrekt fort.
• Optimalität: Im Problem der sparsamen Normalenmittel erreicht der Horseshoe-Hierarchischer-Bayes-Schätzer Minimax-optimale Raten. Die Autoren zeigen, dass NPMLE (eine kohärente EB-Methode) eine diskrete Prior-Verteilung erzeugt, die das schwerfällige Schwanzverhalten des Horseshoe nicht nachahmen kann, was zu suboptimaler Leistung bei der Inferenz in den Schwänzen führt.
• Rechnerische Kompromisse: Die Autoren behaupten, dass mit moderner variationaler Inferenz, neuronaler Amortisierung und simulationsbasierten Methoden die Rechenkosten für vollständigen Hierarchischen Bayes im Vergleich zu den Inferenzkosten des EB-Abkürzungswegs nun vernachlässigbar sind.
• Fallstudien:
  • Pharmakovigilanz (DuMouchel): Zeigt, dass eine erfolgreiche Kraftübertragung auf einer echten Hierarchie (Gamma-Poisson) beruht, wobei der EB-Schritt ein rechnerischer Expedient ist und keine grundlegende Notwendigkeit.
  • Kalibrierungsstudien: Zeigt, dass die Kombination experimenteller und beobachteter Daten durch Kalibrierung ein hierarchisches Modell für Verzerrungen erfordert. Das Einsetzen von MLE-Schätzungen für Verzerrungsparameter pflanzt die Unsicherheit nicht fort, wohingegen ein hierarchisches Modell mit einem Horseshoe-Prior auf Verzerrungsskalen kohärente Inferenz liefert.

Bedeutung und Empfehlungen
Der Artikel kommt zu dem Schluss, dass die „Umbenennung" von Empirical-Bayes-Konzepten (z. B. zu „Bayesian empirical Bayes") die von Lindley, Good und DuMouchel identifizierte zugrundeliegende statistische Inkohärenz nicht auflöst. Die Bedeutung der Arbeit liegt in ihrem Aufruf, die beeindruckende rechnerische Maschinerie der modernen Statistik (variationale Inferenz, neuronale Netze, SBI) im Dienst einer ordnungsgemäßen hierarchischen Bayes-Inferenz einzusetzen und nicht als Ersatz dafür.

Die Autoren empfehlen:

1. Die Einführung von global-lokalen Shrinking-Priors (insbesondere dem Horseshoe und seinen Varianten) als Standard für sparsame Probleme, da sie kohärente Unsicherheitsquantifizierung und Minimax-Optimalität bieten.
2. Den „Population Posterior" als frequentistisches prädiktives Objekt und nicht als Bayesianischen Posterior zu behandeln.
3. Die Erkenntnis, dass die rechnerische Lücke zwischen EB und vollständigem Hierarchischem Bayes geschlossen ist, wodurch die primäre Rechtfertigung für den EB-Abkürzungsweg entfällt.
4. Sicherzustellen, dass jede Verwendung von „empirischen" Methoden explizit als Approximation an ein hierarchisches Modell formuliert wird, mit klarer Anerkennung der Bedingungen, unter denen die Approximation versagt (z. B. wenige Gruppen, hohe Sparsamkeit).

Der Artikel behauptet nicht, dass Empirical Bayes nutzlos ist, sondern dass seine modernen rechnerischen Erweiterungen als Werkzeuge zur Berechnung vollständiger hierarchischer Posterior-Verteilungen betrachtet werden sollten, wodurch die Disziplin der Bayesianischen Inferenz bewahrt wird, während die rechnerische Effizienz erreicht wird, die einst den EB-Abkürzungsweg erforderte.