Merging of Bayes and quasi-Bayes empirical Bayes procedures for Poisson compound decisions

Résumé Technique : Fusion des procédures d'Empirical Bayes de type Bayes et Quasi-Bayes pour les décisions composées de Poisson

Énoncé du Problème
L'article traite du problème de décision composée de Poisson, où l'on observe $n$ variables aléatoires de Poisson indépendantes $Y_1, \dots, Y_n$ avec des moyennes inconnues $\theta_1, \dots, \theta_n$. L'objectif est d'estimer le vecteur $(\theta_1, \dots, \theta_n)$ sous une perte d'erreur quadratique. L'approche standard suppose que les paramètres sont des tirages i.i.d. d'une distribution de probabilité $G$ inconnue (la distribution de mélange). L'estimateur optimal, connu sous le nom de formule de Robbins, dépend de $G$ uniquement à travers la fonction de masse marginale de probabilité $p_G$. Puisque $G$ est inconnue, les méthodes d'Empirical Bayes estiment $p_G$ (modélisation de type f) ou $G$ directement (modélisation de type g). Bien que la modélisation de type f (par exemple, la méthode originale de Robbins) soit simple sur le plan computationnel, elle souffre d'instabilité numérique. La modélisation de type g non paramétrique offre une plus grande précision et une meilleure robustesse, mais fait face à des défis computationnels importants, particulièrement dans les contextes de haute dimension.

Méthodologie
Les auteurs comparent deux stratégies de modélisation de type g non paramétrique pour estimer la distribution de mélange $G$ :

1. Empirical Bayes Bayésien (Bayes EB) : Cette stratégie assigne un processus de Dirichlet (DP) comme priorité à $G$. La distribution a posteriori de $G$ est dérivée, et l'estimateur est la moyenne a posteriori de la distribution de mélange. L'estimateur de type "plug-in" résultant pour $\theta$ est obtenu en substituant cette moyenne a posteriori dans la formule de Robbins. Sur le plan computationnel, cela repose sur des méthodes de Monte Carlo par chaînes de Markov (plus précisément l'Algorithme 8 de Neal), ce qui peut être exigeant, surtout dans les contextes multidimensionnels.
2. Empirical Bayes Quasi-Bayésien (Quasi-Bayes EB) : Cette stratégie, proposée par Favaro et Fortini (2026), estime $G$ en utilisant l'algorithme de Newton (Smith et Makov, 1978). Il s'agit d'une procédure récursive où l'estimation de $G$ est mise à jour séquentiellement lors de l'observation de chaque nouvelle donnée. La mise à jour est une moyenne pondérée de l'estimation précédente et de la distribution a posteriori basée sur la nouvelle observation. Cette approche évite le recours à un échantillonnage a posteriori complet, en s'appuyant plutôt sur des mises à jour récursives directes.

L'article établit un résultat de fusion fréquentiste entre ces deux stratégies. Sous l'hypothèse que les données sont générées par un modèle de mélange de Poisson "oracle" avec une distribution de mélange $G^*$, les auteurs analysent le comportement asymptotique des deux estimateurs lorsque $n \to \infty$. Ils quantifient la vitesse à laquelle les fonctions de masse de probabilité marginales induites par les estimations Bayes et Quasi-Bayes convergent vers la vraie $p_{G^*}$ (mesurée par la distance de Hellinger) et dérivent par la suite des bornes sur le regret (l'excès de risque de Bayes) pour les deux méthodes.

Contributions Clés et Résultats Théoriques
Le papier fournit une justification théorique rigoureuse de la stratégie Quasi-Bayésienne comme une approximation efficace de la stratégie Bayésienne :

• Taux de Concentration :
  • Pour la stratégie Bayes EB (utilisant un processus de Dirichlet), les auteurs établissent un taux de contraction pour la fonction de masse marginale estimée $p_{\hat{G}_n}$ vers $p_{G^*}$ de l'ordre $\epsilon_n^{[B]} \asymp \frac{\log n}{\sqrt{n}}$ dans le cadre unidimensionnel. Dans le cadre $d$-dimensionnel, ce taux devient $\epsilon_{n,d}^{[B]} \asymp \frac{(\log n)^{(d+1)/2}}{\sqrt{n}}$.
  • Pour la stratégie Quasi-Bayes EB (utilisant l'algorithme de Newton avec un taux d'apprentissage $\alpha_n \asymp n^{-\gamma}$), le taux de contraction est plus lent, dépendant du choix de $\gamma \in (2/3, 1]$. Plus précisément, le taux est $\epsilon_n^{[Q-B]} \asymp n^{-(1-\gamma)/2}$ pour $\gamma < 1$ et $\frac{1}{\sqrt{\log n}}$ pour $\gamma = 1$.
• Fusion Fréquentiste :
  • Les auteurs prouvent que le regret de l'estimateur Quasi-Bayes par rapport au véritable oracle converge vers zéro à une vitesse déterminée par le taux d'apprentissage $\gamma$.
  • Crucialement, ils démontrent que le regret encouru en utilisant l'estimateur Quasi-Bayes à la place de l'estimateur Bayes s'annule asymptotiquement. Plus précisément, la différence entre les deux estimateurs (mesurée par l'excès de risque de l'un par rapport à l'autre) décroît à la même vitesse que le regret de l'estimateur Quasi-Bayes par rapport à l'oracle. Cela confirme que la stratégie Quasi-Bayes est une approximation fréquentiste valide de la stratégie Bayésienne.
• Dimensionnalité : L'analyse est étendue au problème de décision composée de Poisson $d$-dimensionnel ($d > 1$). Les résultats théoriques montrent que si la stratégie bayésienne devient plus intensive sur le plan computationnel dans les dimensions supérieures, la stratégie Quasi-Bayes conserve sa structure récursive, ce qui la rend particulièrement attractive pour les contextes multidimensionnels.

Résultats Empiriques
Les auteurs présentent des expériences numériques sur des données synthétiques pour compléter l'analyse théorique :

• Configuration : Les données ont été générées à partir de mélanges de Poisson avec des priors de type Weibull (cas 1D et 2D).
• Performance : L'erreur quadratique moyenne empirique (E-mse) et le regret empirique (E-regret) de l'estimateur Quasi-Bayes se sont révélés comparables à ceux de l'estimateur Bayes à travers diverses tailles d'échantillon.
• Efficacité Computationnelle : La stratégie Quasi-Bayes a nécessité nettement moins de ressources computationnelles (mesurées en unités de calcul et temps CPU) que la stratégie Bayes. Cet avantage était particulièrement marqué dans le cadre bidimensionnel, où l'approche Bayes basée sur MCMC faisait face à des coûts computationnels nettement plus élevés.
• Convergence : Les graphiques du regret empirique entre les estimations Quasi-Bayes et Bayes ont confirmé le résultat de fusion théorique, montrant que la divergence entre les deux méthodes diminue à mesure que $n$ augmente.

Signification et Revendications
L'article affirme fournir une validation fréquentiste rigoureuse pour considérer la stratégie Quasi-Bayes (algorithme de Newton) comme une approximation rapide de la stratégie Bayésienne (mélange de processus de Dirichlet) dans le contexte des décisions composées de Poisson.

• Justification Théorique : Les auteurs établissent que l'approche Quasi-Bayes atteint une précision comparable à celle de l'approche Bayes tout en nécessitant moins de ressources computationnelles. Le résultat de fusion prouve que la perte d'exactitude est asymptotiquement négligeable.
• Scalabilité : Le travail souligne l'utilité pratique de la méthode Quasi-Bayes dans les contextes multidimensionnels où l'inférence non paramétrique bayésienne standard devient computationnellement prohibitive.
• Modestie sur l'Optimalité : Les auteurs notent explicitement que, bien que les taux bayésiens s'alignent sur les références minimax connues, les taux pour la stratégie Quasi-Bayes sont dérivés de la théorie existante de l'approximation stochastique et n'ont pas été prouvés comme étant optimaux. La dépendance à l'exposant du taux d'apprentissage $\gamma$ reflète la théorie de convergence spécifique de la mise à jour récursive plutôt qu'une borne inférieure fondamentale du problème.

L'article conclut en suggérant des directions futures, incluant l'extension de ces résultats de fusion aux problèmes de décision composée de Gauss (via la formule de Tweedie), l'investigation de la finesse des taux de convergence, l'assouplissement des hypothèses de support compact, et l'application de ces méthodes à des fonctionnelles des moyennes (par exemple, des sommes) plutôt qu'aux moyennes individuelles.