An Old Look at Empirical Bayes

Resumen Técnico: Una Mirada Antigua al Bayes Empírico

Planteamiento del Problema
El artículo revisa la crítica de Dennis Lindley de que el Bayes Empírico (BE) es estadísticamente incoherente porque "usa los mismos datos dos veces": primero para estimar hiperparámetros (o un prior) a partir de la distribución marginal, y segundo para calcular un posterior como si ese prior fuera fijo y conocido. Los autores argumentan que las extensiones modernas del BE, específicamente el programa de la Conferencia Medallion de la IMS 2026 de David Blei, intentan resolver esto mediante innovaciones computacionales (simetrías probabilísticas, inferencia basada en simulación y estudios de calibración) y cambios terminológicos (por ejemplo, "Bayes empírico bayesiano", "posterior poblacional"). El problema central es si estas extensiones computacionales y conceptuales resuelven la incoherencia fundamental del BE —específicamente el fallo en propagar la incertidumbre en el prior/hiperparámetro— o simplemente la oscurecen. Los autores sostienen que el costo computacional de mantener una disciplina jerárquica completa ha disminuido lo suficiente como para que el "atajo" del BE ya no esté justificado por ganancias de eficiencia.

Metodología y Marco Teórico
El artículo emplea un análisis teórico y comparativo en lugar de nuevas simulaciones experimentales. Contrasta tres enfoques inferenciales distintos:

1. Bayes Jerárquico Completo: Especificar un modelo de probabilidad conjunta con un hiperprior adecuado $\rho(\eta)$ sobre los hiperparámetros $\eta$, produciendo un posterior coherente $p(\theta | x) = \int p(\theta | x, \eta)p(\eta | x)d\eta$.
2. Bayes Empírico Clásico (ML Tipo II): Estimar $\eta$ mediante máxima verosimilitud marginal (o el método de momentos) para obtener $\hat{\eta}(x)$, y luego calcular $p(\theta | x, \hat{\eta})$. Esto ignora la variabilidad de $\hat{\eta}$.
3. Programa Moderno de Blei:
   • Bayes Empírico Bayesiano (BEB): Utiliza simetrías probabilísticas (intercambiabilidad, invarianza de desplazamiento) y descomposiciones ergódicas para definir una medida directriz $g$, estimada mediante inferencia variacional o redes neuronales.
   • Posterior Poblacional: Define el objetivo como $q^*(\theta) = E_{X \sim F}[p(\theta | X)]$, una expectativa sobre conjuntos de datos replicados, en lugar del posterior sobre los datos realizados.
   • BE Basado en Simulación: Utiliza verosimilitudes implícitas y redes de inferencia amortizadas para aproximar el posterior poblacional.

Los autores analizan estos enfoques a través de la lente de la fórmula de Tweedie ($E[\theta|x] = x + \sigma^2 \nabla \log m(x)$), distinguiendo entre:

• Modelado f: Suavizar la densidad marginal $m(x)$ directamente. Los autores argumentan que esto no garantiza que el estimador resultante surja de un prior válido, violando potencialmente la admisibilidad y la coherencia.
• Modelado g / NPMLE: Estimar una distribución de mezcla $\pi$. Aunque es coherente, el prior resultante es discreto con soporte finito, lo cual puede fallar en capturar las colas pesadas requeridas para la recuperación de señales dispersas.
• Bayes Jerárquico de Herradura: Un prior continuo de contracción global-local (hiperprior de media-Cauchy) que produce una fórmula de Tweedie válida y optimalidad minimax en problemas de medias normales dispersas.

Contribuciones y Argumentos Clave
El artículo presenta cuatro argumentos técnicos principales:

1. La Distinción "Bayes Empírico Bayesiano": Los autores aclaran que el "Bayes empírico bayesiano" (BEB) de Blei es estructuralmente distinto del "Bayes empírico bayesiano" de Deely–Lindley. Deely–Lindley colocan un hiperprior adecuado sobre un parámetro de dimensión finita. El BEB de Blei ajusta una medida directriz de dimensión infinita mediante máxima verosimilitud marginal (MML) utilizando redes neuronales como herramientas de optimización, sin colocar un posterior sobre la medida directriz. En consecuencia, el BEB hereda los problemas de dependencia de los datos y de subcobertura del BE clásico, simplemente desplazando la estimación de inserción a un nivel de abstracción superior.

2. La Naturaleza del "Posterior Poblacional": El artículo argumenta que el "posterior poblacional" ($q^*$) es un objeto frecuentista (una expectativa sobre réplicas hipotéticas) y no un posterior bayesiano condicional a los datos realizados. Aunque tiene interpretaciones predictivas válidas (vinculadas a la teoría PAC-Bayesiana), comercializarlo como un "posterior" crea confusión respecto a la cuantificación de la incertidumbre. Los autores proponen renombrarlo como "distribución predictiva poblacional" para reflejar su naturaleza de promediado frecuentista.

3. Crítica al Modelado f y la Fórmula de Tweedie: Los autores refinan la crítica de Datta–Polson al modelado f de Efron. Demuestran que una función de puntuación marginal suavizada no corresponde necesariamente a un prior válido. Por lo tanto, la "media posterior" resultante no es una regla bayesiana genuina y carece de las garantías de admisibilidad y minimax asociadas con priores adecuados. En contraste, la fórmula de Tweedie de la herradura se deriva de un prior jerárquico adecuado (mezcla de escalas de media-Cauchy), asegurando que el perfil de contracción sea una regla bayesiana genuina con comportamiento óptimo de cola para señales dispersas.

4. Inferencia Basada en Simulación (SBI) y Objetivos: El artículo distingue entre métodos SBI que apuntan al posterior estándar $p(\theta|x)$ (por ejemplo, Estimación de Posterior Neuronal, Computación Bayesiana Generativa) y el SBI-EB de Blei, que apunta al posterior poblacional. Los autores argumentan que las herramientas modernas de SBI son capaces de calcular el posterior jerárquico completo directamente; por lo tanto, utilizarlas para aproximar un objeto promediado poblacional es una elección de objetivo, no una necesidad computacional.

Resultados y Hallazgos

• Coherencia e Incertidumbre: El artículo establece que los atajos del BE (estimadores de inserción) subestiman sistemáticamente la incertidumbre, lo que lleva a una subcobertura en intervalos creíbles, particularmente en regímenes de muestras pequeñas o dispersas. El Bayes Jerárquico Completo propaga correctamente la incertidumbre del hiperparámetro.
• Optimalidad: En el problema de medias normales dispersas, el estimador de Bayes Jerárquico de la herradura alcanza tasas óptimas minimax. Los autores muestran que el NPMLE (un método de BE coherente) produce un prior discreto que no puede igualar el comportamiento de colas pesadas de la herradura, lo que conduce a un rendimiento subóptimo en la inferencia de colas.
• Compensaciones Computacionales: Los autores afirman que, con la inferencia variacional moderna, la amortización neuronal y los métodos basados en simulación, el costo computacional del Bayes Jerárquico Completo es ahora despreciable en comparación con el costo inferencial del atajo del BE.
• Estudios de Caso:
  • Farmacovigilancia (DuMouchel): Demuestra que el préstamo exitoso de fuerza depende de una jerarquía real (Gamma-Poisson), donde el paso del BE es un expediente computacional, no una necesidad fundamental.
  • Estudios de Calibración: Muestra que combinar datos experimentales y observacionales mediante calibración requiere un modelo jerárquico para el sesgo. Insertar estimaciones de MLE para los parámetros de sesgo falla en propagar la incertidumbre, mientras que un modelo jerárquico con un prior de herradura sobre las escalas de sesgo proporciona inferencia coherente.

Significado y Recomendaciones
El artículo concluye que el "renombramiento" de los conceptos del Bayes Empírico (por ejemplo, a "Bayes empírico bayesiano") no resuelve la incoherencia estadística subyacente identificada por Lindley, Good y DuMouchel. El significado del trabajo radica en su llamado a reutilizar la impresionante maquinaria computacional de la estadística moderna (inferencia variacional, redes neuronales, SBI) al servicio del Bayes Jerárquico Adecuado en lugar de como un sustituto de este.

Los autores recomiendan:

1. Adoptar priors de contracción global-local (específicamente la herradura y sus variantes) como predeterminados para problemas dispersos, ya que proporcionan cuantificación coherente de la incertidumbre y optimalidad minimax.
2. Tratar el "posterior poblacional" como un objeto predictivo frecuentista en lugar de un posterior bayesiano.
3. Reconocer que la brecha computacional entre el BE y el Bayes Jerárquico Completo se ha cerrado, eliminando la justificación principal para el atajo del BE.
4. Asegurar que cualquier uso de métodos "empíricos" se enmarque explícitamente como una aproximación a un modelo jerárquico, con un reconocimiento claro de las condiciones bajo las cuales la aproximación falla (por ejemplo, pocos grupos, alta dispersión).

El artículo no afirma que el Bayes Empírico sea inútil, sino que sus extensiones computacionales modernas deben verse como herramientas para calcular posteriors jerárquicos completos, preservando así la disciplina de la inferencia bayesiana mientras se logra la eficiencia computacional que una vez se pensó que requería el atajo del BE.