Résumé Technique : Bayesian Empirical Bayes : Inférence Simultanée à partir de Symétries Probabilistes

1. Énoncé du Problème

Les méthodes classiques d'Empirical Bayes (EB), initiées par Robbins (1956) et Efron (2012), améliorent l'inférence simultanée en « apprenant de l'expérience des autres ». Ces méthodes supposent généralement que les variables latentes $z_1, \dots, z_n$ sont des tirages indépendants et identiquement distribués (i.i.d.) d'une loi a priori $g$ inconnue. Cette hypothèse i.i.d. est justifiée par l'échangeabilité de la séquence qui, via le théorème de représentation de de Finetti, permet de considérer la distribution jointe comme un mélange de lois i.i.d.

Cependant, les applications de données modernes violent fréquemment l'hypothèse i.i.d. Les données possèdent souvent des structures complexes, telles que :

• Tableaux et Graphes : Matrices d'expression génique ou réseaux sociaux où les lignes et les colonnes présentent des dépendances.
• Processus Spatiaux et Temporels : Mesures de la qualité de l'air ou séries temporelles où les observations sont corrélées par leur localisation ou leur temps.
• Données Dépendantes de Covariables : Hypothèses dont la distribution a priori dépend de covariables connues.

Dans ces contextes, les variables latentes ne sont pas échangeables au sens classique, rendant les méthodes EB standards (qui reposent sur une unique loi a priori globale $g$) sous-optimales ou inapplicable. Le document traite du défi consistant à étendre l'EB à ces contextes non i.i.d. en exploitant les symétries probabilistes autres que la simple échangeabilité.

2. Méthodologie : Bayesian Empirical Bayes (BEB)

Les auteurs proposent le Bayesian Empirical Bayes (BEB), un cadre qui généralise l'EB en remplaçant l'hypothèse d'échangeabilité par des symétries probabilistes générales. L'idée centrale est que, bien que les variables latentes puissent ne pas être i.i.d., leur distribution jointe présente souvent une invariance sous des actions de groupes spécifiques (ex: permutations de lignes/colonnes, décalages spatiaux).

Fondement Théorique

La méthodologie repose sur le Théorème de Décomposition Ergodique (Varadarajan, 1963 ; Kallenberg, 2005), qui généralise le théorème de de Finetti.

• Hypothèse de Symétrie : Soit $\Phi$ un groupe de transformations agissant sur l'ensemble d'indices $\Omega$ (ex: permutations pour les tableaux, décalages pour les données spatiales). La loi a priori $p(z)$ est supposée $\Phi$-invariante.
• Décomposition Ergodique : Toute distribution $\Phi$-invariante peut être décomposée de manière unique en un mélange de distributions $\Phi$-ergodiques :
  $$p(z) = \int_{\mathcal{G}} p(z | g) d\mu(g)$$
  Ici, $g$ est une variable invariante (ou mesure aléatoire directrice) qui indexe la famille ergodique $\mathcal{E} = \{p(z|g)\}$.
• Formulation BEB :
  1. Modèle : Les données $x$ sont générées à partir de variables latentes $z$ via une vraisemblance connue $p(x|z)$. La loi a priori sur $z$ est $\Phi$-invariante, impliquant la structure hiérarchique :
     $$g \sim \mu, \quad z | g \sim p(z|g), \quad x | z \sim p(x|z)$$
  2. Estimation : Au lieu d'intégrer sur la distribution de mélange $\mu$ (comme dans l'inférence bayésienne complète), le BEB estime la variable invariante $g$ en maximisant la vraisemblance marginale (Maximum Marginal Likelihood Estimation, MMLE) :
     $$\hat{g} \in \arg\max_{g} \log \int p(x|z) p(z|g) dz$$
  3. Inférence : La distribution a posteriori pour les variables latentes est approximée en injectant l'estimateur ponctuel $\hat{g}$ :
     $$\hat{p}(z|x) \approx p(z | x, \hat{g})$$

Implémentation Algorithmique

Le document développe des algorithmes scalables basés sur l'Inférence Variationnelle (VI) et les Réseaux de Neurones pour gérer les intégrales intraitables de la vraisemblance marginale :

• Récupération de Matrice (Échangeabilité Séparée/Jointe) : Pour les données de tableaux, la variable invariante $g$ est une fonction mesurable sur $[0,1]^3$ (selon le théorème d'Aldous-Hoover). Les auteurs paramètrent cette fonction à l'aide d'un réseau de neurones et optimisent la borne inférieure de l'évidence (ELBO) en utilisant une famille variationnelle structurée qui factorise les facteurs latents de lignes et de colonnes.
• Régression Spatiale (Invariance par Décalage) : Pour les données spatiales, la variable invariante est la densité spectrale d'un processus gaussien stationnaire. Les auteurs modélisent la densité spectrale comme un mélange de gaussiennes et estiment ses paramètres via la maximisation de la vraisemblance marginale, en exploitant le théorème de Bochner pour lier la densité spectrale au noyau de covariance.
• EB Informé par les Covariables : Le cadre s'étend aux cas où la fonction invariante dépend de covariables observées, permettant des lois a priori conditionnelles.

3. Contributions Clés

1. Généralisation de l'EB : Le document fournit un cadre unifié pour l'EB qui dépasse les séquences i.i.d. pour englober les symétries probabilistes générales (tableaux, processus spatiaux, structures dépendantes de covariables).
2. Unification Théorique : Il établit que l'EB classique est un cas particulier du BEB où la symétrie est l'échangeabilité et où la décomposition ergodique produit des lois i.i.d. Il formalise le lien entre la théorie ergodique et l'empirisme bayésien.
3. Nouvelles Procédures d'Inférence :
   • EBMR (Empirical Bayes Matrix Recovery) : Nouvelles méthodes pour le débruitage de matrices sous échangeabilité séparée et jointe, paramétrées par des réseaux de neurones.
   • EB Spatial : Une nouvelle approche de la régression spatiale qui apprend directement la densité spectrale du processus latent.
   • EB Informé par les Covariables : Méthodes pour incorporer des informations auxiliaires dans la structure de la loi a priori.
4. Algorithmes Scalables : Le développement d'algorithmes d'inférence variationnelle qui approximent l'estimation de maximum de vraisemblance non paramétrique pour ces modèles complexes et de haute dimension.

4. Résultats

Les auteurs évaluent le BEB à travers des simulations et des jeux de données réels :

• Simulations (Récupération de Matrice) : Dans 60 configurations simulées avec des niveaux de bruit et des mécanismes de génération de données variés (linéaires, sinusoïdaux, etc.), l'EBMR avec une loi a priori séparément échangeable a systématiquement surpassé l'Estimation de Maximum de Vraisemblance Non Paramétrique (NPMLE) et l'Empirical Bayes Matrix Factorization (EBMF). L'écart de performance s'est creusé avec des niveaux de bruit plus élevés, démontrant la « bénédiction du bruit » où le partage de force à travers la structure de la matrice devient plus critique.
• Simulations (Régression Spatiale) : La régression spatiale EB a nettement surpassé la NPMLE ajustée par régression. Alors que l'erreur de la NPMLE plafonnait à mesure que la taille de l'échantillon augmentait, l'MSE de l'estimateur spatial EB diminuait brusquement, indiquant que l'invariance par décalage est une symétrie plus informative pour les données spatiales que l'échangeabilité complète.
• Applications sur Données Réelles :
  • Expression Génique et Connectome Cérébral : Appliqué à une matrice d'expression génique cancéreuse de 251x226 et à une matrice de connectivité cérébrale de 246x246. Les méthodes EBMR ont obtenu une erreur quadratique moyenne (MSE) relative plus faible que les bases NPMLE, EBMF et le seuillage de valeurs singulières, particulièrement à des niveaux de bruit élevés.
  • Qualité de l'Air à NYC : Appliqué aux données de PM2.5 de 4 stations de surveillance. La méthode a réussi à débruiter et à interpoler les données manquantes, capturant des régimes spatio-temporels bimodaux (Manhattan vs Queens) que les bases de processus gausiens standards avec noyaux fixes n'ont pas réussi à modéliser. La densité spectrale ajustée a révélé des cycles temporels et des échelles spatiales distincts.

5. Signification et Revendications

Le document affirme que le Bayesian Empirical Bayes offre un moyen rigoureux d'étendre la puissance de l'empirisme bayésien aux données structurées. En traitant la loi a priori inconnue comme un objet d'inférence encodé par une variable invariante $g$, le BEB permet une inférence simultanée dans des contextes où les hypothèses i.i.d. classiques échouent.

• Flexibilité vs Efficacité : Les auteurs notent un compromis : des hypothèses de symétrie plus faibles (ex: échangeabilité jointe vs séparée) élargissent la classe de lois a priori admissibles et augmentent la flexibilité, mais nécessitent plus de données et de ressources de calcul.
• Choix de Modélisation : Le document souligne que supposer une symétrie est un choix de modélisation plutôt qu'une exigence stricte du processus générateur de données. Même si la loi a priori n'est pas exactement invariante, postuler une symétrie restreint l'inférence à des règles de décision équivariantes, ce qui est statistiquement efficace.
• Directions Futures : Les auteurs identifient l'analyse théorique (identifiabilité, cohérence, complexité d'échantillonnage) et les extensions à des groupes de symétries plus complexes (contraintes physiques, apprentissage profond géométrique) comme des domaines ouverts pour la recherche future. Ils suggèrent également la nécessité d'analyses de sensibilité supplémentaires sous spécification de modèle.

En résumé, le document démontre qu'en exploitant la décomposition ergodique des symétries probabilistes, on peut construire des procédures d'inférence simultanée robustes, scalables et précises pour des données complexes et structurées, surpassant les méthodes existantes de débruitage et de régression dans des scénarios tant synthétiques que réels.