An Old Look at Empirical Bayes

Sintesi Tecnica: Un Vecchio Sguardo su Empirical Bayes

Enunciato del Problema
Il documento rivisita la critica di Dennis Lindley secondo cui Empirical Bayes (EB) è statisticamente incoerente perché "utilizza gli stessi dati due volte": prima per stimare gli iperparametri (o una prior) dalla distribuzione marginale, e poi per calcolare una posterior come se tale prior fosse fissa e nota. Gli autori sostengono che le estensioni moderne di EB, in particolare il programma della IMS Medallion Lecture 2026 di David Blei, tentino di risolvere questo problema attraverso innovazioni computazionali (simmetrie probabilistiche, inferenza basata sulla simulazione e studi di calibrazione) e spostamenti terminologici (ad esempio, "Bayesian empirical Bayes", "population posterior"). Il problema centrale è se queste estensioni computazionali e concettuali risolvano l'incoerenza fondamentale di EB — specificamente il fallimento nel propagare l'incertezza nella prior/iperparametro — o se la oscurino semplicemente. Gli autori sostengono che il costo computazionale del mantenimento di una piena disciplina gerarchica sia sceso sufficientemente in basso da rendere la "scorciatoia" di EB non più giustificata dai guadagni di efficienza.

Metodologia e Quadro Teorico
Il documento impiega un'analisi teorica e comparativa piuttosto che nuove simulazioni sperimentali. Mette a confronto tre distinti approcci inferenziali:

1. Full Hierarchical Bayes: Specificazione di un modello di probabilità congiunto con una corretta iperprior $\rho(\eta)$ sugli iperparametri $\eta$, che produce una posterior coerente $p(\theta | x) = \int p(\theta | x, \eta)p(\eta | x)d\eta$.
2. Classical Empirical Bayes (Type II ML): Stima di $\eta$ tramite massima verosimiglianza marginale (o metodo dei momenti) per ottenere $\hat{\eta}(x)$, quindi calcolo di $p(\theta | x, \hat{\eta})$. Questo ignora la variabilità di $\hat{\eta}$.
3. Programma Moderno di Blei:
   • Bayesian Empirical Bayes (BEB): Utilizza simmetrie probabilistiche (scambiabilità, invarianza di traslazione) e decomposizioni ergodiche per definire una misura di direzione $g$, stimata tramite inferenza variazionale o reti neurali.
   • Population Posterior: Definisce l'obiettivo come $q^*(\theta) = E_{X \sim F}[p(\theta | X)]$, un'attesa su dataset replicati, piuttosto che la posterior sui dati realizzati.
   • Simulation-Based EB: Utilizza likelihood implicite e reti di inferenza ammortizzate per approssimare la population posterior.

Gli autori analizzano questi approcci attraverso la lente della formula di Tweedie ($E[\theta|x] = x + \sigma^2 \nabla \log m(x)$), distinguendo tra:

• f-modeling: Smussamento diretto della densità marginale $m(x)$. Gli autori sostengono che ciò non garantisca che lo stimatore risultante derivi da una prior valida, potenzialmente violando l'ammissibilità e la coerenza.
• g-modeling / NPMLE: Stima di una distribuzione di miscela $\pi$. Sebbene coerente, la prior risultante è discreta con supporto finito, il che può fallire nel catturare code pesanti necessarie per il recupero di segnali sparsi.
• Horseshoe Hierarchical Bayes: Una prior continua di contrazione globale-locale (iperprior di Cauchy semi) che produce una valida formula di Tweedie e ottimalità minimax nei problemi di medie normali sparse.

Contributi e Argomenti Chiave
Il documento avanza quattro principali argomenti tecnici:

1. La Distinzione "Bayesian Empirical Bayes": Gli autori chiariscono che il "Bayesian empirical Bayes" (BEB) di Blei è strutturalmente distinto dal "Bayes empirical Bayes" di Deely–Lindley. Deely–Lindney pongono una corretta iperprior su un parametro a dimensione finita. Il BEB di Blei adatta una misura di direzione a dimensione infinita tramite massima verosimiglianza marginale (MML) utilizzando reti neurali come strumenti di ottimizzazione, senza porre una posterior sulla misura di direzione. Di conseguenza, il BEB eredita le problematiche di dipendenza dai dati e di sottocopertura dell'EB classico, spostando semplicemente la stima plug-in a un livello di astrazione superiore.

2. La Natura della "Population Posterior": Il documento sostiene che la "population posterior" ($q^*$) è un oggetto frequentista (un'attesa su replicati ipotetici) piuttosto che una posterior bayesiana condizionata ai dati realizzati. Sebbene abbia interpretazioni predittive valide (collegate alla teoria PAC-Bayesiana), commercializzarla come una "posterior" crea confusione riguardo alla quantificazione dell'incertezza. Gli autori propongono di rinominarla "distribuzione predittiva della popolazione" per riflettere la sua natura di media frequentista.

3. Critica al f-modeling e alla Formula di Tweedie: Gli autori affinano la critica di Datta–Polson al f-modeling di Efron. Dimostrano che una funzione di punteggio marginale smussata non corrisponde necessariamente a una prior valida. Pertanto, la "media posterior" risultante non è una vera regola bayesiana e manca delle garanzie di ammissibilità e minimax associate alle prior corrette. Al contrario, la formula di Tweedie dell'horseshoe è derivata da una prior gerarchica corretta (miscela di scala di Cauchy semi), garantendo che il profilo di contrazione sia una vera regola bayesiana con comportamento ottimale delle code per segnali sparsi.

4. Inferenza Basata sulla Simulazione (SBI) e Obiettivi: Il documento distingue tra metodi SBI che mirano alla posterior standard $p(\theta|x)$ (ad esempio, Neural Posterior Estimation, Generative Bayesian Computation) e l'SBI-EB di Blei, che mira alla population posterior. Gli autori sostengono che gli strumenti SBI moderni siano capaci di calcolare direttamente la posterior gerarchica completa; pertanto, utilizzarli per approssimare un oggetto mediato sulla popolazione è una scelta di obiettivo, non una necessità computazionale.

Risultati e Scoperte

• Coerenza e Incertezza: Il documento stabilisce che le scorciatoie di EB (stimatori plug-in) sottostimano sistematicamente l'incertezza, portando a sottocopertura negli intervalli credibili, specialmente in regimi a piccoli campioni o sparsi. Il Full Hierarchical Bayes propaga correttamente l'incertezza dell'iperparametro.
• Ottimalità: Nel problema delle medie normali sparse, lo stimatore Hierarchical Bayes dell'horseshoe raggiunge tassi ottimali minimax. Gli autori mostrano che l'NPMLE (un metodo EB coerente) produce una prior discreta che non può eguagliare il comportamento a code pesanti dell'horseshoe, portando a prestazioni subottimali nell'inferenza sulle code.
• Compromessi Computazionali: Gli autori affermano che, con l'inferenza variazionale moderna, l'ammortizzazione neurale e i metodi basati sulla simulazione, il costo computazionale del Full Hierarchical Bayes è ora trascurabile rispetto al costo inferenziale della scorciatoia di EB.
• Casi di Studio:
  • Farmacovigilanza (DuMouchel): Dimostra che il successo nel prestito di forza si basa su una vera gerarchia (Gamma-Poisson), dove il passaggio EB è un espediente computazionale, non una necessità fondazionale.
  • Studi di Calibrazione: Mostra che combinare dati sperimentali e osservazionali tramite calibrazione richiede un modello gerarchico per il bias. Inserire stime MLE per i parametri del bias fallisce nel propagare l'incertezza, mentre un modello gerarchico con una prior horseshoe sulle scale del bias fornisce inferenza coerente.

Significato e Raccomandazioni
Il documento conclude che la "rinomina" dei concetti di Empirical Bayes (ad esempio, in "Bayesian empirical Bayes") non risolve l'incoerenza statistica sottostante identificata da Lindley, Good e DuMouchel. Il significato del lavoro risiede nella sua chiamata a ridistribuire l'imponente macchinario computazionale della statistica moderna (inferenza variazionale, reti neurali, SBI) al servizio del Full Hierarchical Bayes corretto piuttosto che come suo sostituto.

Gli autori raccomandano:

1. Adottare prior di contrazione globale-locale (in particolare l'horseshoe e le sue varianti) come predefinite per problemi sparsi, poiché forniscono quantificazione coerente dell'incertezza e ottimalità minimax.
2. Trattare la "population posterior" come un oggetto predittivo frequentista piuttosto che come una posterior bayesiana.
3. Riconoscere che il divario computazionale tra EB e Full Hierarchical Bayes si è colmato, rimuovendo la giustificazione primaria per la scorciatoia di EB.
4. Assicurarsi che qualsiasi utilizzo di metodi "empirici" sia esplicitamente inquadrato come un'approssimazione a un modello gerarchico, con un chiaro riconoscimento delle condizioni in cui l'approssimazione fallisce (ad esempio, pochi gruppi, alta sparsità).

Il documento non afferma che Empirical Bayes sia inutile, ma piuttosto che le sue estensioni computazionali moderne dovrebbero essere viste come strumenti per calcolare posterior gerarchiche complete, preservando così la disciplina dell'inferenza bayesiana mentre si ottiene l'efficienza computazionale un tempo ritenuta necessaria per la scorciatoia di EB.