Sharp regret-Hellinger bounds for Gaussian empirical Bayes via polynomial approximation

Resumen Técnico: Límites Agudos de Arrepentimiento–Hellinger para Bayes Empírico Gaussiano mediante Aproximación Polinómica

Planteamiento del Problema
En la teoría de Bayes Empírico (EB), un desafío central es controlar el arrepentimiento (riesgo excesivo) de una regla de Bayes aprendida en relación con la regla de Bayes óptima (oracle) que conoce el prior verdadero. En el modelo de medias normales ($Y = \theta + Z$, donde $Z \sim N(0,1)$), el estimador de Bayes viene dado por la fórmula de Tweedie, $m_G(y) = y + f'_G(y)/f_G(y)$, donde $f_G$ es la densidad marginal. El arrepentimiento se define como la diferencia del error cuadrático medio entre una regla aprendida $m_H$ y el óptimo $m_G$.

La dificultad fundamental radica en acotar este arrepentimiento utilizando la distancia Hellinger entre las densidades marginales, $d_H(f_G, f_H)$. Mientras que la distancia Hellinger mide la cercanía de las densidades, el arrepentimiento depende de la cercanía de sus funciones de puntuación (derivadas de las log-densidades). Salvar esta brecha típicamente requiere regularización de la regla de Bayes para evitar singularidades donde la densidad es pequeña.

El trabajo seminal de Jiang y Zhang [JZ09] estableció un límite de arrepentimiento del orden $O(\epsilon^2 (\log(1/\epsilon))^3)$, donde $\epsilon$ es la distancia Hellinger. Sin embargo, este resultado depende de un argumento recursivo delicado que involucra derivadas de orden superior y requiere regularización. Se ha sospechado que el factor logarítmico cúbico no es ajustado y que la regularización podría ser un artefacto de la técnica de demostración en lugar de un requisito fundamental.

Metodología
Este artículo introduce una nueva técnica basada en aproximación polinómica e inequidades de tipo Bernstein para normas $L_2$ ponderadas para acotar directamente el arrepentimiento sin regularizar. El programa central implica:

1. Reducción a Derivadas Ponderadas: El arrepentimiento y la distancia Hellinger se reformulan en términos de una función objetivo $g$ y una función de peso $w$. Específicamente, la distancia Hellinger se relaciona con $\|g\|_{L_2(w)}^2$ y el arrepentimiento con $\|g'\|_{L_2(w)}^2$.
2. Aproximación Polinómica: La función $g$ se aproxima mediante un polinomio $p$ de grado $k$. El error de aproximación se cuantifica en términos de $k$.
3. Inequidad de Tipo Bernstein: Una contribución técnica clave es demostrar que para la función de peso $w$ específica que surge en este contexto, el operador de diferenciación satisface una inequidad de tipo Bernstein: $\|p'\|_{L_2(w)} \leq a_k \|p\|_{L_2(w)}$, donde $a_k$ crece aproximadamente como $\sqrt{k}$ (posiblemente con factores logarítmicos). Esto se establece mediante un argumento de álgebra lineal que acota la norma del operador de la matriz de diferenciación en el espacio de polinomios.
4. Optimización: Al equilibrar el error de aproximación y el límite de la derivada, se optimiza el grado $k$ para producir el límite de arrepentimiento lo más agudo posible.

Contribuciones y Resultados Clave

• Límites Agudos para Priors con Soporte Compacto:
  Para priors soportados en un intervalo compacto $[-M, M]$, el artículo demuestra que el arrepentimiento sin regularizar satisface:
  $$\text{Arrepentimiento}(H\|G) \lesssim \epsilon^2 \frac{\log(1/\epsilon)}{\log \log(1/\epsilon)}$$
  Esto mejora el límite de $O(\epsilon^2 (\log(1/\epsilon))^3)$ de Jiang y Zhang. Los autores demuestran además mediante un contraejemplo (Teorema 2) que este límite es ajustado salvo constantes, demostrando que los factores logarítmicos no pueden eliminarse por completo.

• Extensión a Colas Exponenciales:
  El método se extiende a priors con colas exponenciales (clases subgaussianas y subexponenciales).

  • Para priors subgaussianos ($\alpha=2$), el límite es $O(\epsilon^2 \log(1/\epsilon) \log \log(1/\epsilon))$, lo cual es óptimo salvo factores $\log \log$.
  • Para colas exponenciales generales de orden $\alpha$, el límite escala como $\epsilon^2 (\log(1/\epsilon))^{2/\alpha}$ (para $\alpha \leq 2$) o $\epsilon^2 \log(1/\epsilon) \log \log(1/\epsilon)$ (para $\alpha > 2$).

• Necesidad de Regularización para Colas Pesadas:
  El artículo demuestra que para priors con solo momentos $p$-ésimos acotados (colas pesadas), el arrepentimiento sin regularizar puede ser tan grande como $\Omega(\epsilon^{2 - 2/p})$. Esto muestra que la regularización utilizada en [JZ09] no es meramente un dispositivo de demostración, sino que es genuinamente necesaria en el régimen de colas pesadas para lograr un límite de arrepentimiento casi lineal en la distancia Hellinger al cuadrado.

• Aplicaciones Estadísticas:
  Aplicando estos resultados al Estimador de Máxima Verosimilitud No Paramétrico (NPMLE), el artículo deriva garantías de arrepentimiento mejoradas. Para el NPMLE sin restricciones con priors subgaussianos, el arrepentimiento está acotado por $O(\frac{(\log n)^3 (\log \log n)^2}{n})$, mejorando el mejor resultado anterior de $O(\frac{(\log n)^5}{n})$ que requería regularización. Para NPMLE restringido con soporte compacto, el límite mejora a $O(\frac{(\log n)^3}{n \log \log n})$.

Significado
El artículo afirma que su método es conceptualmente más simple que el argumento de inducción recursiva de Jiang y Zhang y produce límites de arrepentimiento más agudos, a veces óptimos. Al eliminar la necesidad de regularización en los regímenes de soporte compacto y colas ligeras, los resultados clarifican los límites fundamentales de la estimación Bayes Empírica. El trabajo sugiere que la brecha "polilog" entre los límites superiores existentes y los límites inferiores teóricos de la información probablemente se debe a la dificultad de establecer tasas Hellinger agudas para la estimación de densidades, en lugar de una limitación inherente del marco de EB en sí mismo. Los autores conjeturan que si se establece la tasa Hellinger aguda para la estimación de densidades, sus límites de arrepentimiento coincidirían exactamente con los límites inferiores minimax.