Merging of Bayes and quasi-Bayes empirical Bayes procedures for Poisson compound decisions

Technische Samenvatting: Versmelting van de Bayes en Quasi-Bayes Empirische Bayes-procedures voor Poisson Compound Beslissingen

Probleemstelling
Het artikel behandelt het Poisson compound beslissingsprobleem, waarbij men $n$ onafhankelijke Poisson-toevalsvariabelen $Y_1, \dots, Y_n$ observeert met onbekende gemiddelden $\theta_1, \dots, \theta_n$. Het doel is om de vector $(\theta_1, \dots, \theta_n)$ te schatten onder een kwadratische foutverliesfunctie (squared-error loss). De standaardbenadering gaat ervan uit dat de parameters i.i.d. trekkingen zijn uit een onbekende voorafgaande verdeling $G$ (de mengverdeling). De optimale schatter, bekend als Robbins' formule, hangt van $G$ alleen af via de marginale kansfunctie $p_G$. Omdat $G$ onbekend is, gebruiken empirische Bayes-methoden om $p_G$ te schatten (f-modellering) of $G$ direct te schatten (g-modellering). Hoewel f-modellering (bijv. Robbins' oorspronkelijke methode) computationeel eenvoudig is, lijdt het aan numerieke instabiliteit. Niet-parametrische g-modellering biedt een grotere nauwkeurigheid en robuustheid, maar wordt geconfronteerd met aanzienlijke computationele uitdagingen, met name in hoogdimensionale settings.

Methodologie
De auteurs vergelijken twee niet-parametrische g-modelleringstrategieën voor het schatten van de mengverdeling $G$:

1. Bayesiaanse Empirische Bayes (Bayes EB): Deze strategie wijst een Dirichlet-proces (DP) prior toe aan $G$. De posterieure verdeling van $G$ wordt afgeleid, en de schatter is het posterieure gemiddelde van de mengverdeling. De resulterende plug-in schatter voor $\theta$ wordt verkregen door dit posterieure gemiddelde in Robbins' formule in te vullen. Computationeel steunt dit op Markov Chain Monte Carlo (MCMC)-methoden (specifiek Neal's Algoritme 8), wat veeleisend kan zijn, vooral in multidimensionale settings.
2. Quasi-Bayesiaanse Empirische Bayes (Quasi-Bayes EB): Deze strategie, voorgesteld door Favaro en Fortini (2026), schat $G$ met behulp van Newton's algoritme (Smith en Makov, 1978). Dit is een recursieve procedure waarbij de schatting van $G$ sequentieel wordt bijgewerkt bij het observeren van elk nieuw datapunt. De update is een gewogen gemiddelde van de vorige schatting en de posterieure verdeling gebaseerd op de nieuwe observatie. Deze benadering vermijdt de noodzaak van volledige posterieure sampling en vertrouwt in plaats daarvan op eenvoudige recursieve updates.

Het artikel stelt een frequentistische versmelting (frequentist merging) vast tussen deze twee strategieën. Onder de aanname dat de data worden gegenereerd uit een "ware" (oracle) Poisson-mengmodel met mengverdeling $G^*$, analyseren de auteurs het asymptotische gedrag van beide schatters naarmate $n \to \infty$. Zij kwantificeren de snelheid waarmee de marginale kansfuncties geïnduceerd door de Bayes- en Quasi-Bayes-schatters convergeren naar de ware $p_{G^*}$ (gemeten in Hellinger-afstand) en leiden vervolgens grenzen af voor de regret (excess Bayes risk) voor beide methoden.

Belangrijkste Bijdragen en Theoretische Resultaten
Het artikel biedt een rigoureuze theoretische rechtvaardiging voor de Quasi-Bayes strategie als een computationeel efficiënte benadering van de Bayes strategie:

• Concentratiesnelheden:
  • Voor de Bayes EB strategie (met een DP prior) stellen de auteurs een contractiesnelheid vast voor de geschatte marginale kansfunctie $p_{\hat{G}_n}$ naar $p_{G^*}$ van de orde $\epsilon_n^{[B]} \asymp \frac{\log n}{\sqrt{n}}$ in de 1-dimensionale setting. In de $d$-dimensionale setting wordt deze snelheid $\epsilon_{n,d}^{[B]} \asymp \frac{(\log n)^{(d+1)/2}}{\sqrt{n}}$.
  • Voor de Quasi-Bayes EB strategie (met Newton's algoritme met leersnelheid $\alpha_n \asymp n^{-\gamma}$), is de contractiesnelheid trager, afhankelijk van de keuze van $\gamma \in (2/3, 1]$. Specifiek is de snelheid $\epsilon_n^{[Q-B]} \asymp n^{-(1-\gamma)/2}$ voor $\gamma < 1$ en $\frac{1}{\sqrt{\log n}}$ voor $\gamma = 1$.
• Frequentistische Versmelting:
  • De auteurs bewijzen dat de regret van de Quasi-Bayes schatter ten opzichte van de ware oracle convergeert naar nul met een snelheid die bepaald wordt door de leersnelheid $\gamma$.
  • Cruciaal is dat zij aantonen dat de regret die wordt geleden door de Quasi-Bayes schatter te gebruiken in plaats van de Bayes schatter, asymptotisch verdwijnt. Specifiek vervalt het verschil tussen de twee schatters (gemeten als het excess risico van de één ten opzichte van de ander) met dezelfde snelheid als de regret van de Quasi-Bayes schatter ten opzichte van de oracle. Dit bevestigt dat de Quasi-Bayes strategie een geldige frequentistische benadering is van de Bayes strategie.
• Dimensionaliteit: De analyse wordt uitgebreid naar het $d$-dimensionale Poisson compound beslissingsprobleem ($d > 1$). De theoretische resultaten laten zien dat hoewel de Bayesiaanse strategie computationeel intensiever wordt in hogere dimensies, de Quasi-Bayes strategie zijn recursieve structuur behoudt, wat hem bijzonder aantrekkelijk maakt voor multidimensionale settings.

Empirische Resultaten
De auteurs presenteren numerieke experimenten op synthetische data om de theoretische analyse aan te vullen:

• Opzet: De data werden gegenereerd uit Poisson-mengsels met Weibull-priorverdelingen (1D en 2D gevallen).
• Prestaties: De empirische gemiddelde kwadratische fout (E-mse) en de empirische regret (E-regret) van de Quasi-Bayes schatter bleken vergelijkbaar met die van de Bayes schatter over verschillende steekproefgroottes.
• Computationele Efficiëntie: De Quasi-Bayes strategie vereiste aanzienlijk minder computationele middelen (gemeten in computationele eenheden en CPU-tijd) dan de Bayes strategie. Dit voordeel was bijzonder uitgesproken in de 2-dimensionale setting, waar de MCMC-gebaseerde Bayes benadering aanzienlijk hogere computationele kosten met zich meebracht.
• Convergentie: Plots van de empirische regret tussen de Quasi-Bayes en Bayes schatters bevestigden het theoretische versmeltingsresultaat, waarbij werd aangetoond dat de discrepantie tussen de twee methoden afneemt naarmate $n$ toeneemt.

Betekenis en Claims
Het artikel beweert een rigoureuze frequentistische validatie te bieden voor het beschouwen van de Quasi-Bayes strategie (Newton's algoritme) als een snelle benadering van de Bayesiaanse strategie (Dirichlet-proces mengsel) in de context van Poisson compound beslissingen.

• Theoretische Rechtvaardiging: De auteurs stellen vast dat de Quasi-Bayes benadering een nauwkeurigheid bereikt die vergelijkbaar is met de Bayes benadering, terwijl deze minder computationele middelen vereist. Het versmeltingsresultaat bewijst dat het verlies aan nauwkeurigheid asymptotisch verwaarloosbaar is.
• Schaalbaarheid: Het werk benadrukt het praktische nut van de Quasi-Bayes methode in multidimensionale settings waar standaard Bayesiaanse niet-parametrische inferentie computationeel onhaalbaar wordt.
• Bescheidenheid over Optimaliteit: De auteurs merken expliciet op dat hoewel de Bayesiaanse snelheden overeenkomen met bekende minimax benchmarks, de snelheden voor de Quasi-Bayes strategie zijn afgeleid van bestaande stochastische benaderingstheorie en niet bewezen optimaal zijn. De afhankelijkheid van de exponent $\gamma$ van de leersnelheid weerspiegelt de specifieke convergentietheorie van de recursieve update in plaats van een fundamentele ondergrens voor het probleem.

Het artikel concludeert door toekomstige richtingen voor te stellen, waaronder het uitbreiden van deze versmeltingsresultaten naar Gaussische compound beslissingsproblemen (via Tweedie's formule), het onderzoeken van de scherpte van de convergentiesnelheden, het versoepelen van aannames over compacte steungebieden, en het toepassen van deze methoden op functionalen van de gemiddelden (bijv. sommen) in plaats van individuele gemiddelden.