Merging of Bayes and quasi-Bayes empirical Bayes procedures for Poisson compound decisions

Resumen Técnico: Fusión de los Procedimientos Empíricos de Bayes y Cuasi-Bayes para Decisiones Compuestas de Poisson

Planteamiento del Problema
El artículo aborda el problema de la decisión compuesta de Poisson, donde se observan $n$ variables aleatorias de Poisson independientes $Y_1, \dots, Y_n$ con medias desconocidas $\theta_1, \dots, \theta_n$. El objetivo es estimar el vector $(\theta_1, \dots, \theta_n)$ bajo una pérdida de error cuadrático. El enfoque estándar asume que los parámetros son extracciones i.i.d. de una distribución a priori desconocida $G$ (la distribución de mezcla). El estimador óptimo, conocido como la fórmula de Robbins, depende de $G$ solo a través de la función de masa de probabilidad marginal $p_G$. Dado que $G$ es desconocida, los métodos empíricos de Bayes estiman $p_G$ (modelado-f) o $G$ directamente (modelado-g). Aunque el modelado-f (por ejemplo, el método original de Robbins) es computacionalmente simple, sufre de inestabilidad numérica. El modelado-g no paramétrico ofrece mayor precisión y robustez, pero enfrenta desafíos computacionales significativos, particularmente en entornos de alta dimensión.

Metodología
Los autores comparan dos estrategias de modelado-g no paramétrico para estimar la distribución de mezcla $G$:

1. Empírico de Bayes Bayesiano (Bayes EB): Esta estrategia asigna una prioridad de proceso de Dirichlet (DP) a $G$. Se deriva la distribución a posteriori de $G$, y el estimador es la media a posteriori de la distribución de mezcla. El estimador de sustitución (plug-in) resultante para $\theta$ se obtiene sustituyendo esta media a posteriori en la fórmula de Robbins. Computacionalmente, esto depende de métodos de Monte Carlo por cadenas de Markov (MCMC) (específicamente el Algoritmo 8 de Neal), los cuales pueden ser exigentes, especialmente en entornos multidimensionales.
2. Empírico de Bayes Cuasi-Bayesiano (Quasi-Bayes EB): Esta estrategia, propuesta por Favaro y Fortini (2026), estima $G$ utilizando el algoritmo de Newton (Smith y Makov, 1978). Este es un procedimiento recursivo donde la estimación de $G$ se actualiza secuencialmente al observar cada nuevo dato. La actualización es un promedio ponderado de la estimación previa y la distribución a posteriori basada en la nueva observación. Este enfoque evita la necesidad de un muestreo a posteriori completo, apoyándose en lugar en actualizaciones recursivas directas.

El artículo establece un resultado de fusión frecuentista entre estas dos estrategias. Bajo el supuesto de que los datos son generados por un modelo de mezcla de Poisson "verdadero" (oráculo) con distribución de mezcla $G^*$, los autores analizan el comportamiento asintótico de ambos estimadores a medida que $n \to \infty$. Cuantifican la tasa a la que las funciones de masa de probabilidad marginal inducidas por las estimaciones de Bayes y Cuasi-Bayes convergen hacia la verdadera $p_{G^*}$ (medida en distancia de Hellinger) y, posteriormente, derivan cotas sobre el arrepentimiento (regret o exceso de riesgo de Bayes) para ambos métodos.

Contribuciones Clave y Resultados Teóricos
El artículo proporciona una justificación teórica rigurosa para la estrategia Cuasi-Bayesiana como una aproximación computacionalmente eficiente de la estrategia Bayesiana:

• Tasas de Concentración:
  • Para la estrategia Bayes EB (usando una prioridad DP), los autores establecen una tasa de contracción para la función de masa marginal estimada $p_{\hat{G}_n}$ hacia $p_{G^*}$ de orden $\epsilon_n^{[B]} \asymp \frac{\log n}{\sqrt{n}}$ en el entorno unidimensional. En el entorno de $d$ dimensiones, esta tasa es $\epsilon_{n,d}^{[B]} \asymp \frac{(\log n)^{(d+1)/2}}{\sqrt{n}}$.
  • Para la estrategia Quasi-Bayes EB (usando el algoritmo de Newton con tasa de aprendizaje $\alpha_n \asymp n^{-\gamma}$), la tasa de contracción es más lenta, dependiendo de la elección de $\gamma \in (2/3, 1]$. Específicamente, la tasa es $\epsilon_n^{[Q-B]} \asymp n^{-(1-\gamma)/2}$ para $\gamma < 1$ y $\frac{1}{\sqrt{\log n}}$ para $\gamma = 1$.
• Fusión Frecuentista:
  • Los autores demuestran que el arrepentimiento del estimador Cuasi-Bayesiano relativo al verdadero oráculo converge a cero a una tasa determinada por la tasa de aprendizaje $\gamma$.
  • Crucialmente, demuestran que el arrepentimiento incurrido al usar el estimador Cuasi-Bayesiano en lugar del estimador Bayesiano desaparece asintóticamente. Específicamente, la diferencia entre los dos estimadores (medida por el exceso de riesgo de uno respecto al otro) decae a la misma tasa que el arrepentimiento del estimador Cuasi-Bayesiano respecto al oráculo. Esto confirma que la estrategia Cuasi-Bayesiana es una válida aproximación frecuentista de la estrategia Bayesiana.
• Dimensionalidad: El análisis se extiende al problema de decisión compuesta de Poisson de $d$ dimensiones ($d > 1$). Los resultados teóricos muestran que, mientras la estrategia Bayesiana se vuelve computacionalmente más intensiva en dimensiones superiores, la estrategia Cuasi-Bayesiana mantiene su estructura recursiva, lo que la hace particularmente atractiva en entornos multidimensionales.

Resultados Empíricos
Los autores presentan experimentos numéricos sobre datos sintéticos para complementar el análisis teórico:

• Configuración: Los datos fueron generados a partir de mezclas de Poisson con prioris Weibull (casos 1D y 2D).
• Desempeño: El error cuadrático medio empírico (E-mse) y el arrepentimiento empírico (E-regret) del estimador Cuasi-Bayesiano resultaron ser comparables a los del estimador Bayesiano a través de varios tamaños de muestra.
• Eficiencia Computacional: La estrategia Cuasi-Bayesiana requirió sustancialmente menos recursos computacionales (medidos en unidades computacionales y tiempo de CPU) que la estrategia Bayesiana. Esta ventaja fue particularmente pronunciada en el entorno bidimensional, donde el enfoque Bayesiano basado en MCMC enfrentó costos computacionales significativamente mayores.
• Convergencia: Los gráficos del arrepentimiento empírico entre las estimaciones Cuasi-Bayesiana y Bayesiana confirmaron el resultado de fusión teórica, mostrando que la discrepancia entre ambos métodos disminuye a medida que $n$ aumenta.

Significado y Reivindicaciones
El artículo afirma proporcionar una validación frecuentista rigurosa para considerar la estrategia Cuasi-Bayesiana (algoritmo de Newton) como una aproximación rápida a la estrategia Bayesiana (mezcla de procesos de Dirichlet) en el contexto de decisiones compuestas de Poisson.

• Justificación Teórica: Los autores establecen que el enfoque Cuasi-Bayesiano logra una precisión comparable a la del enfoque Bayesiano requiriendo menos recursos computacionales. El resultado de fusión demuestra que la pérdida de precisión es asintóticamente insignificante.
• Escalabilidad: El trabajo destaca la utilidad práctica del método Cuasi-Bayesiano en entornos multidimensionales donde la inferencia no paramétrica bayesiana estándar resulta computacionalmente prohibitiva.
• Modestia sobre la Optimalidad: Los autores señalan explícitamente que, si bien las tasas bayesianas se alinean con los referentes minimax conocidos, las tasas para la estrategia Cuasi-Bayesiana se derivan de la teoría de aproximación estocástica existente y no se han demostrado como óptimas. La dependencia del exponente de la tasa de aprendizaje $\gamma$ refleja la teoría de convergencia específica de la actualización recursiva más que un límite inferior fundamental para el problema.

El artículo concluye sugiriendo direcciones futuras, incluyendo la extensión de estos resultados de fusión a problemas de decisión compuesta Gaussiana (vía la fórmula de Tweedie), la investigación de la agudeza de las tasas de convergencia, la relajación de los supuestos de soporte compacto y la aplicación de estos métodos a funcionales de las medias (por ejemplo, sumas) en lugar de medias individuales.