Résumé Technique : Flux de Gradient pour l'Empirical Bayes dans les Modèles Linéaires de Haute Dimension

Énoncé du Problème

Le papier traite du défi de l'estimation par l'Empirical Bayes (EB) dans les modèles linéaires de haute dimension où les paramètres latents interagissent à travers des plans de conception complexes, un cadre où la compréhension théorique et algorithmique accuse un retard par rapport aux modèles de séquences bien développés (ex: $y_i = \theta_i + \epsilon_i$). Plus précisément, les auteurs considèrent le modèle linéaire :
$$y = X\theta + \epsilon, \quad \theta_j \overset{iid}{\sim} g^*, \quad \epsilon_i \overset{iid}{\sim} N(0, \sigma^2)$$
où $n$ (taille de l'échantillon) et $p$ (dimension) sont tous deux grands. L'objectif est d'estimer la distribution a priori inconnue $g^*$ des coefficients de régression à partir des données $(X, y)$.

Les principales difficultés dans ce cadre sont :

1. Statistiques : Établir la cohérence de l'Estimateur du Maximum de Vraisemblance Non Paramétrique (NPMLE) pour des plans de régression généraux $X$ (où $X$ n'est pas la matrice identité) lorsque $n, p \to \infty$. Bien que des travaux récents [MSS23] aient établi la cohérence sous des hypothèses fortes ($n \ge p$ et $X$ bien conditionné), les conditions pour des plans généraux (incluant $n < p$ et des plans aléatoires) restaient ouvertes.
2. Computationnelles : La log-vraisemblance marginale $\bar{F}_n(g)$ implique une intégrale postérieure intractale sur $\theta$ de haute dimension, rendant l'optimisation directe difficile. Les méthodes d'approximation existantes (ex: Inférence Variationnelle Champ-Moyeu, MCEM) manquent de garanties complètes de convergence théorique, particulièrement dans des contextes non convexes ou lorsque $n < p$.

Méthodologie

Les auteurs proposent un nouveau cadre combinant les flux de gradient sur les mesures de probabilité et la dynamique de Langevin adaptative.

1. Reparamétrage et Représentation Variationnelle

Pour remédier au manque de régularité de la distribution postérieure de $\theta$ (qui peut devenir discrète), les auteurs introduisent une variable latente lissée $\phi = \theta + z$, où $z \sim N(0, \tau^2 I)$. Cela transforme le modèle en :
$$y = X\phi + \tilde{\epsilon}, \quad \phi_j \overset{iid}{\sim} N_\tau * g^*$$
où $N_\tau$ est un noyau gaussien. Ce reparamétrage garantit que la distribution postérieure de $\phi$ admet une densité lisse et positive, facilitant l'échantillonnage.

La log-vraisemblance marginale est exprimée via une représentation variationnelle de Gibbs :
$$\bar{F}_n(g) = \min_{q \in \mathcal{P}^*(\mathbb{R}^p)} F_n(q, g)$$
où $F_n(q, g)$ est l'énergie libre de Gibbs. L'optimisation est effectuée conjointement sur la densité postérieure $q$ et la distribution a priori $g$.

2. Système de Flux de Gradient Bivarié

Les auteurs proposent un système d'équations de flux de gradient simultanées pour minimiser $F_n(q, g)$ :
$$\begin{cases} \frac{d}{dt} q_t(\phi) = -p \cdot \text{grad}_{W_2}^q F_n(q_t, g_t)[\phi] \\ \frac{d}{dt} g_t(\theta) = -\alpha \cdot \text{grad}_{FR}^g F_n(q_t, g_t)[\theta] \end{cases}$$

• $q$-flux (Wasserstein-2) : L'évolution de $q_t$ suit une équation de Fokker-Planck correspondant à une diffusion de Langevin avec une dérive dépendante du temps déterminée par la distribution a priori actuelle $g_t$.
• $g$-flux (Fisher-Rao) : L'évolution de $g_t$ suit un flux de gradient de type Fisher-Rao, qui préserve naturellement la positivité et les contraintes de support borné de la distribution a priori.

3. L'Algorithme EBflow

Puisque la solution exacte du flux de gradient est intractale, les auteurs dérivent un algorithme en temps discret, EBflow :

• Étape E (Approchée) : Une étape de l'Algorithme de Langevin non ajusté (ULA) met à jour l'échantillon $\phi_t$ basé sur la distribution a priori actuelle $g_t$.
• Étape M (Approchée) : La distribution a priori $g_t$ est mise à jour en utilisant une étape de descente de gradient de type Fisher-Rao. Crucialement, la densité de haute dimension $q_t$ est approximée par la distribution empirique des coordonnées de la trajectoire de Langevin unique $\phi_t$, évitant ainsi le besoin de multiples chaînes parallèles.

Contributions Clés

1. Cohérence Statistique des Near-NPMLEs

Les auteurs établissent la cohérence statistique de tout "near-NPMLE" (un optimiseur approché de la log-vraisemblance marginale) sous des conditions déterministes sur la matrice de conception $X$.

• Hypothèse : La matrice de conception doit permettre l'existence de vecteurs de test $\{z_j\}$ qui "orthogonalisent approximativement" les colonnes de $X$ par rapport aux autres (rappelant le Lasso débiaisé). Cela étend les résultats récents [MSS23] qui exigeaient $n \ge p$ et un $X$ bien conditionné.
• Résultat : Lorsque $n, p \to \infty$, toute séquence de distributions a priori $\hat{g}_n$ satisfaisant $\bar{F}_n(\hat{g}_n) \le \bar{F}_n(g^*) + o(1)$ converge faiblement vers la vraie distribution a priori $g^*$. Cela est vrai même dans les régimes sous-échantillonnés ($n < p$) et pour des plans aléatoires avec des lignes subgaussiennes.

2. Convergence des Flux de Gradient

Le papier fournit une analyse théorique du système de flux de gradient en temps continu :

• Flux Univariés :
  • Pour un $q$ fixé, le flux de Fisher-Rao pour $g$ converge globalement vers le NPMLE du modèle de séquence à une vitesse de $O(1/t)$.
  • Pour un $g$ fixé, le flux de Wasserstein pour $q$ converge exponentiellement vite vers la postérieure $P_g(\phi|y)$ en divergence KL.
• Flux Conjoint : Sous une Inégalité de Log-Sobolev (LSI) indépendante de la dimension pour les lois postérieures (établie pour une variance de bruit $\sigma^2$ suffisamment grande), le flux conjoint converge vers un near-NPMLE.
• Complexité Temporelle : Si la log-vraisemblance marginale est convexe sur un sous-ensemble de niveau défini par l'initialisation, l'algorithme atteint un near-NPMLE en un temps linéaire en $(n, p)$.

3. Implémentation Algorithmique

Le papier introduit EBflow, un algorithme pratique qui :

• Utilise une chaîne de Langevin unique pour estimer la distribution marginale moyenne, exploitant une intuition de "propagation du chaos par chaîne unique" en haute dimension.
• Emploie un reparamétrage par $\phi$ pour assurer la régularité requise pour l'échantillonnage de Langevin, même si la vraie distribution a priori $g^*$ est discrète.
• Démontre des performances compétitives par rapport aux bases de comparaison MCEM et d'Inférence Variationale (CAVI) dans les simulations.

Résultats

Garanties Théoriques

• Cohérence : Le Théorème 3.2 prouve que les near-optimiseurs de la vraisemblance marginale sont des estimateurs cohérents de $g^*$ sous l'Hypothèse 3.1 (qui couvre les plans aléatoires et $n < p$), relaxant les conditions plus strictes requises par les travaux précédents [MSS23].
• Vitesses de Convergence : Le Théorème 3.10 établit que le flux de gradient conjoint atteint une densité satisfaisant une condition d'optimalité du premier ordre moyennée dans un horizon de temps $T = O(\epsilon^{-3.01}(n+p))$.
• LSI : Le Théorème 3.7 prouve une LSI indépendante de la dimension pour la loi de la variable lissée $\phi$ lorsque $\sigma^2 > M^2 \|X\|_{op}^2$, une condition compatible avec le régime de cohérence.

Performance Empirique

Dans les expériences numériques comparant EBflow à Langevin-MCEM, Gibbs-MCEM et l'Inférence Variationale par Coordonnées Ascendantes (CAVI) :

• Précision : EBflow atteint généralement une erreur de Variation Totale (TV) plus faible dans l'estimation de la densité a priori par rapport à CAVI, et est compétitif ou supérieur aux méthodes MCEM, particulièrement dans les contextes de designs corrélés par blocs ou de génotypes.
• Efficacité : EBflow démontre des temps d'exécution plus rapides que les méthodes MCEM, qui nécessitent une optimisation convexe coûteuse (NPMLE) à chaque étape M.
• Robustesse : La méthode fonctionne bien à travers diverses formes de priors (Gaussienne, asymétrique, bimodale, mélange de tailles) et matrices de conception (identité, i.i.d., corrélée par blocs, génétique).

Signification et Revendications

Le papier affirme combler une lacune dans la théorie de l'Empirical Bayes pour les modèles linéaires de haute dimension en :

1. Étendant les garanties de cohérence pour le NPMLE aux modèles linéaires généraux (au-delà du modèle de séquence) sous des hypothèses de conception déterministes englobant les plans aléatoires et $n < p$, relaxant les conditions plus fortes ($n \ge p$, $X$ bien conditionné) des travaux récents [MSS23].
2. Développant un nouveau paradigme computationnel utilisant des flux de gradient bivariés et la dynamique de Langevin adaptative, offrant une alternative théoriquement fondée à l'inférence variationnelle et au MCEM.
3. Établissant des propriétés de convergence indépendantes de la dimension via de nouvelles inégalités de Log-Sobolev pour les lois postérieures de haute dimension, ce qui est d'un intérêt indépendant pour l'échantillonnage Bayésien.

Les auteurs notent que bien que les garanties de convergence soient énoncées pour le flux en temps continu, ils fournissent des perspectives pour l'algorithme EBflow en temps discret. Ils reconnaissent que le paysage global de l'objectif peut être non convexe, et que leurs garanties théoriques s'appliquent à la convergence locale à partir d'initialisations spécifiques, laissant la géométrie globale comme une question ouverte.