Quasi-Bayes empirical Bayes estimation of sums of random variables

Résumé technique : Estimation par Bayes quasi-empirique de sommes de variables aléatoires

Configuration du problème
L'article traite du problème statistique de longue date consistant à estimer des sommes de fonctions de variables observables et inobservables, notées $S_n = \sum_{i=1}^n u(X_i, \theta_i)$. Ici, $X_i$ sont des variables aléatoires observables, tandis que $\theta_i$ sont des paramètres (ou constantes) inobservables et $u$ est une fonction d'utilité. Ce cadre englobe diverses applications, notamment les effets de traitement dans les essais cliniques, l'échantillonnage d'espèces (estimation des espèces non vues ou de la masse manquante), la confidentialité des données (mesures de risque de divulgation) et l'analyse de réseaux.

Le modèle sous-jacent est un modèle de mélange où $X_i | \theta_i \sim k(\cdot | \theta_i)$ et $\theta_i \sim G$, avec $G$ étant une distribution de mélange inconnue. Bien que les méthodes de Bayes empirique (EB) offrent un cadre naturel pour cette tâche, les approches existantes présentent des limites significatives :

• Modélisation g-paramétrique : Suppose que $G$ appartient à une famille paramétrique spécifique. Bien qu'efficace sur le plan computationnel et asymptotiquement efficace sous spécification correcte, elle est vulnérable à une erreur de spécification du modèle.
• Méthode non paramétrique « u, v » : Une approche non paramétrique flexible (Robbins, 1988) qui est asymptotiquement efficace mais restreinte à une classe étroite de fonctions d'utilité $u$ pour lesquelles des solutions explicites d'équations intégrales existent.
• Modélisation g-non paramétrique : L'estimation non paramétrique générale de $G$ (par exemple, via le maximum de vraisemblance) manque de garanties théoriques établies pour les estimations par substitution (plug-in) de $S_n$ qui en résultent, et est souvent exigeante en termes de calcul en raison de la nature infiniment dimensionnelle du problème.

Méthodologie : Bayes quasi-empirique
Les auteurs proposent une approche de modélisation g non paramétrique appelée Bayes quasi-empirique. Le cœur de la méthodologie est une estimation récursive de la distribution de mélange en utilisant l'algorithme de Newton (Smith et Makov, 1978 ; Newton et al., 1998).

1. Apprentissage récursif : Partant d'une supposition initiale $G_0$, la distribution de mélange est mise à jour séquentiellement à mesure que de nouvelles observations $X_n$ arrivent. La règle de mise à jour est :
   $$G_{n+1}(d\theta) = (1 - \alpha_{n+1})G_n(d\theta) + \alpha_{n+1} \frac{k(X_{n+1} | \theta)G_n(d\theta)}{\int_\Theta k(X_{n+1} | \theta)G_n(d\theta)}$$
   où $(\alpha_n)$ est une séquence de taux d'apprentissage satisfaisant les conditions standards d'approximation stochastique ($\sum \alpha_n = \infty, \sum \alpha_n^2 < \infty$).

2. Interprétation quasi-bayésienne : Ce schéma récursif est interprété comme un modèle d'apprentissage plutôt que comme un processus de génération de données. Il approxime l'apprentissage bayésien des paramètres latents $\theta_i$ en remplaçant la distribution de mélange réelle inconnue dans les espérances postérieures par l'estimation récursive $G_n$. Spécifiquement, la distribution conditionnelle de $\theta_i$ étant donné $X_i$ est approximée par $G_n(\cdot | X_i)$.

3. Estimation : L'estimateur de la somme par Bayes quasi-empirique est l'estimateur par substitution :
   $$\hat{S}_n^{[Q-B]} = \sum_{i=1}^n \int_\Theta u(X_i, \theta) G_n(d\theta | X_i)$$
   Cet estimateur est efficace sur le plan computationnel, impliquant un coût par observation constant dépendant uniquement de la résolution de la grille utilisée pour l'intégration numérique.

4. Quantification de l'incertitude : Les auteurs dérivent des intervalles de crédibilité asymptotiques pour $S_n$ basés sur un théorème central limite (TCL) conditionnel appliqué à la somme de variables aléatoires indépendantes sous le processus d'apprentissage quasi-bayésien.

Contributions théoriques clés
L'article établit des garanties asymptotiques de grand échantillon pour la méthode proposée :

• Fusion des distributions : Les auteurs prouvent que lorsque $n \to \infty$, la mesure de probabilité induite par le processus d'apprentissage quasi-bayésien ($P^{(n)}$) fusionne avec le processus d'apprentissage bayésien correspondant ($P$). Plus précisément, les distributions conditionnelles des paramètres latents $(\theta_1, \dots, \theta_m)$ étant donnés $X_{1:n}$ convergent selon la distance de Prohorov. Cela justifie rigoureusement l'interprétation de $\hat{S}_n^{[Q-B]}$ comme un estimateur bayésien approximatif dans les grands échantillons.
• Consistance fréquentiste : Sous l'hypothèse que les données sont générées à partir d'une « vraie » distribution de mélange $G^*$, l'article prouve que l'estimateur de Bayes quasi-empirique est consistant par rapport à l'estimateur oracle $\hat{S}_n(G^*)$. Spécifiquement, $n^{-1}|\hat{S}_n^{[Q-B]} - \hat{S}_n(G^*)| \to 0$ presque sûrement.
• Taux de convergence : Sous des hypothèses supplémentaires (spécifiquement, la discrétisation de l'espace des paramètres sur une grille finie), l'article établit des taux de convergence pour l'erreur d'estimation, montant qu'elle est $o(n^\delta)$ pour des $\delta$ spécifiques dépendant du taux d'apprentissage.

Résultats empiriques
La méthodologie est validée par des analyses sur données synthétiques et réelles, se concentrant principalement sur les modèles de mélange de Poisson et Gaussien.

• Données synthétiques : Les expériences comparent l'estimateur de Bayes quasi-empirique aux estimateurs de Bayes/Bayes empirique paramétriques et à la méthode non paramétrique « u, v ».
  • Pour les fonctions d'utilité où la méthode « u, v » est applicable (par exemple, l'estimation de l'intensité totale pour des nombres d'accidents spécifiques), l'approche de Bayes quasi-empirique atteint une précision comparable à la méthode « u, v » et supérieure aux méthodes paramétriques lorsque l'hypothèse paramétrique est mal spécifiée.
  • Pour les fonctions d'utilité où la méthode « u, v » est inapplicable (par exemple, l'estimation du nombre de automobilistes dont les accidents dépassent leur intensité), la méthode de Bayes quasi-empirique surpasse les alternatives paramétriques et fournit une solution non paramétrique viable.
  • La méthode démontre une robustesse vis-à-vis des choix de résolution de grille et une scalabilité computationnelle.
• Données réelles : L'approche est appliquée aux données de buts marqués dans la Ligue Nationale de Hockey (NHL) (saisons 2017–2019) pour estimer les contributions futures de score et le nombre de joueurs ayant une performance déclinante. Les estimations de Bayes quasi-empirique montrent des performances stables hors échantillon, offrant souvent des écarts absolaux plus faibles que les concurrents paramétriques, particulièrement pour des fonctionnelles complexes pour lesquelles les estimations « u, v » ne sont pas disponibles.

Signification et revendications
L'article affirme combler le fossé entre la flexibilité des méthodes non paramétriques et la tractabilité computationnelle de l'EB paramétrique. Sa principale importance réside dans :

1. Généralité : Il fournit un cadre unifié applicable à une large classe de fonctions d'utilité $u$, surmontant les conditions de résolution restrictives de la méthode « u, v ».
2. Efficacité computationnelle : Contrairement aux approches bayésiennes non paramétriques complètes (par exemple, les processus de Dirichlet nécessitant MCMC) ou au maximum de vraisemblance non paramétrique (qui peut être coûteux en calcul), la mise à jour récursive basée sur Newton est scalable et linéaire par rapport au nombre d'observations.
3. Rigueur théorique : Il fournit les premières garanties théoriques (fusion avec Bayes, consistance fréquentiste et taux de convergence) pour les estimations de modélisation g non paramétriques de sommes de variables aléatoires.
4. Quantification de l'incertitude : Il offre un moyen fondé pour construire des intervalles de crédibilité asymptotiques pour la somme cible sans dépendre de l'échantillonnage complet de la distribution postérieure bayésienne.

Les auteurs reconnaissent des limites, notant que les preuves de taux de convergence reposent actuellement sur la discrétisation de l'espace des paramètres et que les propriétés de couverture fréquentiste des intervalles de crédibilité dérivés restent une question ouverte. Ils identifient également des directions futures, incluant les extensions multidimensionnelles et les applications aux problèmes d'échantillonnage d'espèces où les estimations « u, v » ne sont pas disponibles.