An Old Look at Empirical Bayes

Resumo Técnico: Uma Análise Antiga sobre Bayes Empírico

Declaração do Problema
O artigo revisita a crítica de Dennis Lindley de que o Bayes Empírico (BE) é estatisticamente incoerente porque "usa os mesmos dados duas vezes": primeiro para estimar hiperparâmetros (ou um prior) a partir da distribuição marginal, e segundo para calcular um posterior como se aquele prior fosse fixo e conhecido. Os autores argumentam que extensões modernas do BE, especificamente o programa da Palestra Medallion da IMS de 2026 de David Blei, tentam resolver isso através de inovações computacionais (simetrias probabilísticas, inferência baseada em simulação e estudos de calibração) e mudanças terminológicas (por exemplo, "Bayes Empírico Bayesiano", "posterior populacional"). O problema central é saber se essas extensões computacionais e conceituais resolvem a incoerência fundamental do BE — especificamente a falha em propagar a incerteza no prior/hiperparâmetro — ou meramente a obscurecem. Os autores sustentam que o custo computacional de manter uma disciplina hierárquica completa caiu suficientemente baixo para que o "atalho" do BE não seja mais justificado por ganhos de eficiência.

Metodologia e Estrutura Teórica
O artigo emprega uma análise teórica e comparativa em vez de novas simulações experimentais. Ele contrasta três abordagens inferenciais distintas:

1. Bayes Hierárquico Completo: Especificação de um modelo de probabilidade conjunta com um hiperprior adequado $\rho(\eta)$ sobre hiperparâmetros $\eta$, resultando em um posterior coerente $p(\theta | x) = \int p(\theta | x, \eta)p(\eta | x)d\eta$.
2. Bayes Empírico Clássico (ML Tipo II): Estimativa de $\eta$ via máxima verossimilhança marginal (ou método dos momentos) para obter $\hat{\eta}(x)$, e então cálculo de $p(\theta | x, \hat{\eta})$. Isso ignora a variabilidade de $\hat{\eta}$.
3. Programa Moderno de Blei:
   • Bayes Empírico Bayesiano (BEB): Utiliza simetrias probabilísticas (troca, invariância de deslocamento) e decomposições ergódicas para definir uma medida diretora $g$, estimada via inferência variacional ou redes neurais.
   • Posterior Populacional: Define o alvo como $q^*(\theta) = E_{X \sim F}[p(\theta | X)]$, uma expectativa sobre conjuntos de dados replicados, em vez do posterior sobre dados realizados.
   • BE Baseado em Simulação: Utiliza verossimilhanças implícitas e redes de inferência amortizadas para aproximar o posterior populacional.

Os autores analisam esses métodos através da lente da fórmula de Tweedie ($E[\theta|x] = x + \sigma^2 \nabla \log m(x)$), distinguindo entre:

• Modelagem-f: Suavização da densidade marginal $m(x)$ diretamente. Os autores argumentam que isso não garante que o estimador resultante surja de um prior válido, potencialmente violando admissibilidade e coerência.
• Modelagem-g / NPMLE: Estimativa de uma distribuição de mistura $\pi$. Embora coerente, o prior resultante é discreto com suporte finito, o que pode falhar em capturar caudas pesadas necessárias para a recuperação de sinais esparsos.
• Bayes Hierárquico do Horseshoe: Um prior de contração global-local contínuo (hiperprior meio-Cauchy) que produz uma fórmula de Tweedie válida e optimalidade minimax em problemas de médias normais esparsas.

Principais Contribuições e Argumentos
O artigo apresenta quatro argumentos técnicos primários:

1. A Distinção "Bayes Empírico Bayesiano": Os autores esclarecem que o "Bayes Empírico Bayesiano" (BEB) de Blei é estruturalmente distinto do "Bayes Empírico Bayesiano" de Deely–Lindley. Deely–Lindley colocam um hiperprior adequado sobre um parâmetro de dimensão finita. O BEB de Blei ajusta uma medida diretora de dimensão infinita via máxima verossimilhança marginal (MML) usando redes neurais como ferramentas de otimização, sem colocar um posterior sobre a medida diretora. Consequentemente, o BEB herda os problemas de dependência dos dados e subcobertura do BE clássico, meramente deslocando a estimativa de plug-in para um nível mais alto de abstração.

2. A Natureza do "Posterior Populacional": O artigo argumenta que o "posterior populacional" ($q^*$) é um objeto frequentista (uma expectativa sobre replicatas hipotéticas) e não um posterior Bayesiano condicional a dados realizados. Embora tenha interpretações preditivas válidas (ligadas à teoria PAC-Bayesiana), comercializá-lo como um "posterior" cria confusão regarding a quantificação de incerteza. Os autores propõem renomeá-lo para "distribuição preditiva populacional" para refletir sua natureza de média frequentista.

3. Crítica à Modelagem-f e à Fórmula de Tweedie: Os autores refinam a crítica de Datta–Polson à modelagem-f de Efron. Eles demonstram que uma função de pontuação marginal suavizada não corresponde necessariamente a um prior válido. Portanto, a "média posterior" resultante não é uma regra Bayesiana genuína e carece das garantias de admissibilidade e minimax associadas a priores adequados. Em contraste, a fórmula de Tweedie do Horseshoe é derivada de um prior hierárquico adequado (mistura de escala meio-Cauchy), garantindo que o perfil de contração seja uma regra Bayesiana genuína com comportamento de cauda ótimo para sinais esparsos.

4. Inferência Baseada em Simulação (SBI) e Alvos: O artigo distingue entre métodos SBI que visam o posterior padrão $p(\theta|x)$ (por exemplo, Estimação de Posterior Neural, Computação Bayesiana Generativa) e o SBI-EB de Blei, que visa o posterior populacional. Os autores argumentam que as ferramentas modernas de SBI são capazes de calcular o posterior hierárquico completo diretamente; assim, usá-las para aproximar um objeto de média populacional é uma escolha de alvo, não uma necessidade computacional.

Resultados e Descobertas

• Coerência e Incerteza: O artigo estabelece que os atalhos do BE (estimadores de plug-in) subestimam sistematicamente a incerteza, levando à subcobertura em intervalos de credibilidade, particularmente em regimes de amostras pequenas ou esparsas. O Bayes Hierárquico Completo propaga corretamente a incerteza do hiperparâmetro.
• Optimalidade: No problema de médias normais esparsas, o estimador Bayesiano Hierárquico do Horseshoe atinge taxas ótimas minimax. Os autores mostram que o NPMLE (um método BE coerente) produz um prior discreto que não consegue igualar o comportamento de cauda pesada do Horseshoe, levando a desempenho subótimo na inferência de cauda.
• Compensações Computacionais: Os autores afirmam que, com inferência variacional moderna, amortização neural e métodos baseados em simulação, o custo computacional do Bayes Hierárquico Completo é agora negligenciável em comparação com o custo inferencial do atalho do BE.
• Estudos de Caso:
  • Farmacovigilância (DuMouchel): Demonstra que o empréstimo bem-sucedido de força depende de uma hierarquia real (Gama-Poisson), onde o passo do BE é um expediente computacional, não uma necessidade fundamental.
  • Estudos de Calibração: Mostra que combinar dados experimentais e observacionais via calibração requer um modelo hierárquico para viés. Inserir estimativas de MLE para parâmetros de viés falha em propagar a incerteza, enquanto um modelo hierárquico com um prior do Horseshoe nas escalas de viés fornece inferência coerente.

Significado e Recomendações
O artigo conclui que a "renomeação" de conceitos de Bayes Empírico (por exemplo, para "Bayes Empírico Bayesiano") não resolve a incoerência estatística subjacente identificada por Lindley, Good e DuMouchel. O significado do trabalho reside em seu chamado para redirecionar a impressionante maquinaria computacional da estatística moderna (inferência variacional, redes neurais, SBI) ao serviço do Bayes Hierárquico Adequado em vez de como um substituto para ele.

Os autores recomendam:

1. Adotar priors de contração global-local (especificamente o Horseshoe e suas variantes) como padrão para problemas esparsos, pois fornecem quantificação coerente de incerteza e optimalidade minimax.
2. Tratar o "posterior populacional" como um objeto preditivo frequentista em vez de um posterior Bayesiano.
3. Reconhecer que a lacuna computacional entre o BE e o Bayes Hierárquico Completo fechou, removendo a justificativa primária para o atalho do BE.
4. Garantir que qualquer uso de métodos "empíricos" seja explicitamente enquadrado como uma aproximação a um modelo hierárquico, com reconhecimento claro das condições sob as quais a aproximação falha (por exemplo, poucos grupos, alta esparsidade).

O artigo não afirma que o Bayes Empírico é inútil, mas sim que suas extensões computacionais modernas devem ser vistas como ferramentas para calcular posteriors hierárquicos completos, preservando assim a disciplina da inferência Bayesiana enquanto alcança a eficiência computacional que outrora se pensava exigir o atalho do BE.