Sharp regret-Hellinger bounds for Gaussian empirical Bayes via polynomial approximation

Technische Samenvatting: Scherpe Regret–Hellinger-Grenzen voor Gaussische Empirische Bayes via Polynoombenadering

Probleemstelling
In de theorie van Empirische Bayes (EB) is een centrale uitdaging het beheersen van de regret (extra risico) van een geleerde Bayes-regel ten opzichte van de orakel-Bayes-regel die de ware prior kent. In het model voor normale middelen ($Y = \theta + Z$, waarbij $Z \sim N(0,1)$), wordt de Bayes-schatter gegeven door de formule van Tweedie, $m_G(y) = y + f'_G(y)/f_G(y)$, waarbij $f_G$ de marginale dichtheid is. De regret wordt gedefinieerd als het verschil in gemiddelde kwadratische fout tussen een geleerde regel $m_H$ en de orakel $m_G$.

De fundamentele moeilijkheid ligt in het begrenzen van deze regret met behulp van de Hellinger-afstand tussen de marginale dichtheden, $d_H(f_G, f_H)". Hoewel de Hellinger-afstand de nabijheid van dichtheden meet, hangt de regret af van de nabijheid van hun scorefuncties (afgeleiden van log-dichtheden). Het overbruggen van dit gat vereist doorgaans regularisatie van de Bayes-regel om singulariteiten te vermijden waar de dichtheid klein is.

Het baanbrekende werk van Jiang en Zhang [JZ09] vestigde een regretgrens van de orde $O(\epsilon^2 (\log(1/\epsilon))^3)$, waarbij $\epsilon$ de Hellinger-afstand is. Dit resultaat is echter afhankelijk van een delicate recursieve redenering die hogere-orde afgeleiden omvat en regularisatie vereist. Er is vermoed dat de kubische logaritmische factor niet strak is en dat de regularisatie een artefact van de bewijstechniek zou kunnen zijn in plaats van een fundamentele vereiste.

Methodologie
Dit artikel introduceert een nieuwe techniek gebaseerd op polynoombenadering en Bernstein-achtige ongelijkheden voor gewogen $L_2$-normen om de niet-geregulariseerde regret direct te begrenzen. Het kernprogramma omvat:

1. Reductie tot Gewogen Afgeleiden: De regret en Hellinger-afstand worden herschreven in termen van een doelfunctie $g$ en een gewichtsfunctie $w$. Specifiek staat de Hellinger-afstand in verband met $\|g\|_{L_2(w)}^2$ en de regret met $\|g'\|_{L_2(w)}^2$.
2. Polynoombenadering: De functie $g$ wordt benaderd door een polynoom $p$ van graad $k$. De benaderingsfout wordt gekwantificeerd in termen van $k$.
3. Bernstein-achtige Ongelijkheid: Een belangrijke technische bijdrage is het bewijzen dat voor de specifieke gewichtsfunctie $w$ die in deze setting optreedt, de differentiatie-operator voldoet aan een Bernstein-achtige ongelijkheid: $\|p'\|_{L_2(w)} \leq a_k \|p\|_{L_2(w)}$, waarbij $a_k$ groeit ongeveer als $\sqrt{k}$ (mogelijk met logaritmische factoren). Dit wordt vastgesteld via een lineair-algebraïsch argument dat de operatornorm van de differentiatiematrix op de ruimte van polynomen begrenst.
4. Optimalisatie: Door de benaderingsfout en de afgeleidegrens in evenwicht te brengen, wordt de graad $k$ geoptimaliseerd om de scherpst mogelijke regretgrens te verkrijgen.

Belangrijkste Bijdragen en Resultaten

• Scherpe Grenzen voor Compactly Supported Priors:
  Voor priors die worden ondersteund op een compact interval $[-M, M]$, bewijst het artikel dat de niet-geregulariseerde regret voldoet aan:
  $$\text{Regret}(H\|G) \lesssim \epsilon^2 \frac{\log(1/\epsilon)}{\log \log(1/\epsilon)}$$
  Dit verbetert de $O(\epsilon^2 (\log(1/\epsilon))^3)$-grens van Jiang en Zhang. De auteurs bewijzen verder via een tegenvoorbeeld (Stelling 2) dat deze grens scherp is tot op constanten, wat aantoont dat de logaritmische factoren niet volledig kunnen worden verwijderd.

• Uitbreiding naar Exponentiële Staarten:
  De methode wordt uitgebreid tot priors met exponentiële staarten (subgaussische en subexponentiële klassen).

  • Voor subgaussische priors ($\alpha=2$) is de grens $O(\epsilon^2 \log(1/\epsilon) \log \log(1/\epsilon))$, wat optimaal is tot op $\log \log$-factoren.
  • Voor algemene $\alpha$-exponentiële staarten schaal de grens als $\epsilon^2 (\log(1/\epsilon))^{2/\alpha}$ (voor $\alpha \leq 2$) of $\epsilon^2 \log(1/\epsilon) \log \log(1/\epsilon)$ (voor $\alpha > 2$).

• Noodzaak van Regularisatie voor Zware Staarten:
  Het artikel demonstreert dat voor priors met slechts begrensde $p$-de momenten (zwaarstaartige), de niet-geregulariseerde regret zo groot kan zijn als $\Omega(\epsilon^{2 - 2/p})$. Dit toont aan dat de regularisatie gebruikt in [JZ09] niet louter een bewijshulpmiddel is, maar in het regime van zware staarten werkelijk noodzakelijk is om een regretgrens te bereiken die bijna lineair is in het kwadraat van de Hellinger-afstand.

• Statistische Toepassingen:
  Door deze resultaten toe te passen op de Niet-parametrische Maximum Likelihood Schatter (NPMLE), leidt het artikel tot verbeterde regret-garanties. Voor de onbeperkte NPMLE met subgaussische priors wordt de regret begrensd door $O(\frac{(\log n)^3 (\log \log n)^2}{n})$, wat de vorige beste resultaat van $O(\frac{(\log n)^5}{n})$ verbetert, waarbij regularisatie vereist was. Voor de beperkte NPMLE op compacte ondersteuning verbetert de grens tot $O(\frac{(\log n)^3}{n \log \log n})$.

Betekenis
Het artikel stelt dat de methode conceptueel eenvoudiger is dan het recursieve inductie-argument van Jiang en Zhang en scherpere, soms optimale, regretgrenzen oplevert. Door de noodzaak van regularisatie in de regimes met compacte ondersteuning en lichte staarten te verwijderen, verduidelijken de resultaten de fundamentele grenzen van Empirische Bayes-schatting. Het werk suggereert dat de "polylog"-kloof tussen bestaande bovengrenzen en informatie-theoretische ondergrenzen waarschijnlijk te wijten is aan de moeilijkheid om scherpe Hellinger-snelheden voor dichtheidsschatting vast te stellen, in plaats van een inherente beperking van het EB-kader zelf. De auteurs vermoeden dat, indien de scherpe Hellinger-snelheid voor dichtheidsschatting wordt vastgesteld, hun regretgrenzen exact zouden overeenkomen met de minimax-ondergrenzen.