An Old Look at Empirical Bayes

Technische Samenvatting: Een Oude Blik op Empirische Bayes

Probleemstelling
Het artikel herneemt Dennis Lindleys kritiek dat empirische Bayes (EB) statistisch incoherent is omdat het "dezelfde data twee keer gebruikt": eerst om hyperparameters (of een prior) te schatten uit de marginale verdeling, en vervolgens om een posterior te berekenen alsof die prior vast en bekend is. De auteurs betogen dat moderne uitbreidingen van EB, met name het programma voor de IMS Medallion Lecture van David Blei uit 2026, proberen dit op te lossen via computationele innovaties (probabilistische symmetrieën, op simulatie gebaseerde inferentie en kalibratiestudies) en terminologische verschuivingen (bijv. "Bayesiaanse empirische Bayes", "populatieposterior"). Het centrale probleem is of deze computationele en conceptuele uitbreidingen de fundamentele incoherentie van EB oplossen—specifiek het falen om onzekerheid in de prior/hyperparameter door te geven—of deze slechts verhullen. De auteurs stellen dat de computationele kosten van het handhaven van volledige hiërarchische discipline voldoende laag zijn gedaald, zodat de "shortcut" van EB niet langer gerechtvaardigd is door winst in efficiëntie.

Methodologie en Theoretisch Kader
Het artikel hanteert een theoretische en vergelijkende analyse in plaats van nieuwe experimentele simulaties. Het zet drie verschillende inferentiële benaderingen tegenover elkaar:

1. Volledige Hiërarchische Bayes: Het specificeren van een gezamenlijk waarschijnlijkheidsmodel met een geschikte hyperprior $\rho(\eta)$ op hyperparameters $\eta$, wat resulteert in een coherente posterior $p(\theta | x) = \int p(\theta | x, \eta)p(\eta | x)d\eta$.
2. Klassieke Empirische Bayes (Type II ML): Het schatten van $\eta$ via marginale maximum likelihood (of momentenmethode) om $\hat{\eta}(x)$ te verkrijgen, en vervolgens het berekenen van $p(\theta | x, \hat{\eta})$. Dit negeert de variabiliteit van $\hat{\eta}$.
3. Bleis Modern Programma:
   • Bayesiaanse Empirische Bayes (BEB): Gebruikt probabilistische symmetrieën (uitwisselbaarheid, verschuivingsinvariantie) en ergodische decomposities om een sturende maat $g$ te definiëren, geschat via variatie-inferentie of neurale netwerken.
   • Populatieposterior: Definieert het doel als $q^*(\theta) = E_{X \sim F}[p(\theta | X)]$, een verwachting over replicate datasets, in plaats van de posterior op gerealiseerde data.
   • Op Simulatie Gebaseerde EB: Gebruikt impliciete likelihoods en geamortiseerde inferentienetwerken om de populatieposterior te benaderen.

De auteurs analyseren deze door de lens van de Tweedie-formule ($E[\theta|x] = x + \sigma^2 \nabla \log m(x)$), waarbij onderscheid wordt gemaakt tussen:

• f-modeling: Het gladstrijken van de marginale dichtheid $m(x)$ direct. De auteurs betogen dat dit niet garandeert dat de resulterende schatter voortkomt uit een geldige prior, wat mogelijk toelaatbaarheid en coherentie schendt.
• g-modeling / NPMLE: Het schatten van een mengverdeling $\pi$. Hoewel coherent, is de resulterende prior discreet met eindige steun, wat mogelijk niet in staat is om de zware staarten vast te leggen die nodig zijn voor herstel van spaarzame signalen.
• Horseshoe Hiërarchische Bayes: Een continue global-local shrinkage-prior (half-Cauchy hyperprior) die een geldige Tweedie-formule oplevert en minimax-optimaliteit in problemen met spaarzame normale gemiddelden.

Belangrijkste Bijdragen en Argumenten
Het artikel maakt vier primaire technische argumenten:

1. Het Onderscheid "Bayesiaanse Empirische Bayes": De auteurs verduidelijken dat Bleis "Bayesiaanse empirische Bayes" (BEB) structureel verschilt van de Deely–Lindley "Bayes empirische Bayes". Deely–Lindley plaatsen een geschikte hyperprior op een eindig-dimensionale parameter. Bleis BEB past een oneindig-dimensionale sturende maat aan via maximum marginale likelihood (MML) met neurale netwerken als optimalisatietools, zonder een posterior over de sturende maat te plaatsen. Bijgevolg erft BEB de data-afhankelijkheid en onderdekingsproblemen van klassieke EB, en verschuift slechts de plug-in-schatting naar een hoger niveau van abstractie.

2. De Aard van de "Populatieposterior": Het artikel betoogt dat de "populatieposterior" ($q^*$) een frequentistisch object is (een verwachting over hypothetische replicaten) in plaats van een Bayesiaanse posterior conditioneel op gerealiseerde data. Hoewel het geldige predictieve interpretaties heeft (gekoppeld aan PAC-Bayesiaanse theorie), creëert het marketing ervan als "posterior" verwarring met betrekking tot onzekerheidskwantificering. De auteurs stellen voor om deze te hernoemen naar "populatiepredictieve verdeling" om zijn frequentistische aard van middeling weer te geven.

3. Kritiek op f-modeling en de Tweedie-formule: De auteurs verfijnen de Datta–Polson-kritiek op Efrons f-modeling. Zij tonen aan dat een gladgestreken marginale scorefunctie niet noodzakelijk overeenkomt met een geldige prior. Daarom is de resulterende "posterior gemiddelde" geen echte Bayes-regel en mist deze de toelaatbaarheid en minimax-garanties die geassocieerd zijn met geschikte priors. Daarentegen wordt de horseshoe-Tweedie-formule afgeleid van een geschikte hiërarchische prior (half-Cauchy schaal-mengsel), wat garandeert dat het shrinkage-profiel een echte Bayes-regel is met optimale staartgedrag voor spaarzame signalen.

4. Op Simulatie Gebaseerde Inferentie (SBI) en Doelen: Het artikel maakt onderscheid tussen SBI-methoden die het standaard $p(\theta|x)$-doel nastreven (bijv. Neural Posterior Estimation, Generative Bayesian Computation) en Bleis SBI-EB, die het doel van de populatieposterior nastreeft. De auteurs betogen dat moderne SBI-tools in staat zijn om de volledige hiërarchische posterior direct te berekenen; het gebruik ervan om een populatie-gemiddeld object te benaderen is dus een keuze van doel, geen computationele noodzaak.

Resultaten en Bevindingen

• Coherentie en Onzekerheid: Het artikel stelt vast dat EB-shortcuts (plug-in-schatters) systematisch onzekerheid onderschatten, wat leidt tot onderdekking in credible intervallen, met name in regimes met kleine steekproeven of spaarzaamheid. Volledige hiërarchische Bayes geeft hyperparameteronzekerheid correct door.
• Optimaliteit: In het probleem van spaarzame normale gemiddelden bereikt de horseshoe-hiërarchische Bayes-schatter minimax optimale rates. De auteurs tonen aan dat NPMLE (een coherente EB-methode) een discrete prior produceert die het zwaarstaartige gedrag van de horseshoe niet kan evenaren, wat leidt tot suboptimale prestaties in staartinferentie.
• Computationele Trade-offs: De auteurs stellen dat met moderne variatie-inferentie, neurale amortisatie en op simulatie gebaseerde methoden, de computationele kosten van volledige hiërarchische Bayes nu verwaarloosbaar zijn in vergelijking met de inferentiële kosten van de EB-shortcut.
• Casestudies:
  • Farmacovigilantie (DuMouchel): Toont aan dat succesvol krachten bundelen berust op een echte hiërarchie (Gamma-Poisson), waarbij de EB-stap een computationeel middel is, geen fundamentele noodzaak.
  • Kalibratiestudies: Laat zien dat het combineren van experimentele en observationele data via kalibratie een hiërarchisch model vereist voor bias. Het invullen van MLE-schattingen voor biasparameters geeft geen onzekerheid door, terwijl een hiërarchisch model met een horseshoe-prior op biaseschalen coherente inferentie biedt.

Betekenis en Aanbevelingen
Het artikel concludeert dat het "hernoemen" van empirische Bayes-concepten (bijv. naar "Bayesiaanse empirische Bayes") de onderliggende statistische incoherentie die door Lindley, Good en DuMouchel is geïdentificeerd, niet oplost. De betekenis van het werk ligt in zijn oproep om de indrukwekkende computationele machines van de moderne statistiek (variatie-inferentie, neurale netwerken, SBI) in te zetten voor correcte hiërarchische Bayes in plaats van als een vervanging daarvan.

De auteurs bevelen het volgende aan:

1. Het aannemen van global-local shrinkage-priors (specifiek de horseshoe en zijn varianten) als standaard voor spaarzame problemen, omdat deze coherente onzekerheidskwantificering en minimax-optimaliteit bieden.
2. De "populatieposterior" te behandelen als een frequentistisch predictief object in plaats van een Bayesiaanse posterior.
3. Erkenning dat de computationele kloof tussen EB en volledige hiërarchische Bayes is gesloten, waardoor de primaire rechtvaardiging voor de EB-shortcut vervalt.
4. Zorgen dat elk gebruik van "empirische" methoden expliciet wordt geformuleerd als een benadering van een hiërarchisch model, met duidelijke erkenning van de voorwaarden waaronder de benadering faalt (bijv. weinig groepen, hoge spaarzaamheid).

Het artikel claimt niet dat empirische Bayes nutteloos is, maar eerder dat zijn moderne computationele uitbreidingen moeten worden gezien als hulpmiddelen om volledige hiërarchische posteriors te berekenen, waardoor de discipline van Bayesiaanse inferentie behouden blijft terwijl de computationele efficiëntie wordt bereikt die ooit gedacht werd de EB-shortcut te vereisen.