Estimation of the sub-Gaussian parameter

Énoncé du problème

L'article traite de l'estimation statistique du paramètre sous-gaussien (également appelé proxy de variance), noté $\xi^2_*$, pour une variable aléatoire de moyenne nulle $X$. Une variable aléatoire est dite sous-gaussienne s'il existe $\xi^2 > 0$ tel que $E[e^{\lambda X}] \leq e^{\lambda^2 \xi^2 / 2}$ pour tout $\lambda \in \mathbb{R}$. Le paramètre $\xi^2_*$ est défini comme le plus petit $\xi^2$ satisfaisant cette condition, ou de manière équivalente, comme le supremum de la fonction $L(\lambda) = \frac{2}{\lambda^2} \log E[e^{\lambda X}]$ sur $\lambda \in \mathbb{R}$ (avec $L(0) = \text{Var}(X)$).

Malgré l'ubiquité des variables sous-gaussiennes en apprentissage automatique et en statistiques, l'estimation de $\xi^2_*$ a reçu peu d'attention. La motivation principale de ce travail est les tests de permutation à grande échelle dans les études d'enrichissement de l'Ontologie des Gènes (GO). Dans ces contextes, le nombre d'hypothèses dépasse souvent le nombre de permutations disponibles ($M$), rendant les p-valeurs empiriques (bornées inférieurement par $1/(M+1)$) impuissantes après correction pour tests multiples. Si la distribution nulle est connue pour être sous-gaussienne, on peut estimer $\xi^2_*$ pour utiliser les bornes de queue sous-gaussiennes, ce qui permet d'obtenir des p-valeurs beaucoup plus petites et de restaurer la puissance statistique.

Méthodologie

Les auteurs proposent un estimateur naturel basé sur la maximisation contrainte de l'analogue empirique de $L(\lambda)$.

1. Fonction empirique : Étant donné des échantillons i.i.d. $X_1, \dots, X_n$, la fonction empirique est définie par :
   $$L_n(\lambda) = \frac{2}{\lambda^2} \log \left( \frac{1}{n} \sum_{i=1}^n e^{\lambda(X_i - \bar{X})} \right)$$
   pour $\lambda \neq 0$, et $L_n(0) = \frac{1}{n} \sum (X_i - \bar{X})^2$. Le centrage par la moyenne échantillonnale $\bar{X}$ est crucial pour éviter l'instabilité lorsque $\lambda \to 0$.
2. Troncation : Maximiser directement $L_n(\lambda)$ sur $\mathbb{R}$ conduit à une erreur d'estimation excessive due au comportement instable de $L_n(\lambda)$ pour de grandes valeurs de $\lambda$ (par exemple, de l'ordre de $\sqrt{\log n}$). Pour atténuer cela, les auteurs définissent l'estimateur :
   $$\hat{\xi}^2_n = \sup_{|\lambda| \leq C_n} L_n(\lambda)$$
   où $C_n$ est une séquence divergeant lentement, spécifiquement choisie comme $C_n = (\log n)^\alpha$ pour $\alpha \in (0, 1/2)$.
3. Écart de troncation : L'analyse repose sur la fonction d'écart de troncation $\delta(C) = \sup_{|\lambda| \geq C} L(\lambda) - \sup_{|\lambda| \leq C} L(\lambda)$. Cette fonction mesure le biais introduit par la troncation et montre qu'elle régit la difficulté fondamentale du problème d'estimation.

Contributions clés et résultats

1. Cohérence et taux de convergence
Les auteurs prouvent que $\hat{\xi}^2_n$ est cohérent pour toute distribution sous-gaussienne. Le taux de convergence dépend de la décroissance de l'écart de troncation $\delta(C)$ :

• Cas général : S'il existe $C_0$ tel que $\delta(C_0) \leq 0$ (signifiant que le supremum global est atteint dans une région bornée), l'estimateur atteint un taux de $O_p(n^{-1/2 + \varepsilon})$ pour tout $\varepsilon > 0$.
• Cas strictement borné : Si $\delta(C_0) < 0$, le taux s'améliore pour atteindre le taux paramétrique $O_p(n^{-1/2})$.
• Normalité asymptotique : Sous des hypothèses plus fortes (maximiseur unique $\lambda^*$, dérivée seconde négative, et $\delta(C_0) < 0$), les auteurs établissent que $\sqrt{n}(\hat{\xi}^2_n - \xi^2_*)$ converge en distribution vers une variable aléatoire normale, permettant la construction d'intervalles de confiance asymptotiques.

2. Risque minimax et limites fondamentales
L'article établit que la difficulté d'estimer $\xi^2_*$ est intrinsèquement liée au comportement de la queue de $\delta(C)$.

• Impossibilité de la cohérence uniforme : Sans hypothèses sur la décroissance de $\delta(C)$ (c'est-à-dire sur l'ensemble de toutes les distributions sous-gaussiennes), le risque minimax est borné inférieurement par $\Omega(1)$. Cela implique qu'aucun estimateur ne peut être uniformément cohérent sur toutes les distributions sous-gaussiennes.
• Continuum de taux : En imposant des contraintes de décroissance polynomiale sur $\delta(C)$, les auteurs dérivent un continuum de bornes inférieures minimax allant de $\Omega(1/\log n)$ (pour les distributions supportées sur $[-1, 1]$) à $\Omega(1)$.
• Optimalité : Lorsque $\delta(C)$ devient finalement strictement négatif (impliquant que le supremum est atteint dans une région bornée), le risque minimax est $\Omega(n^{-1/2})$. Dans ce régime, l'estimateur proposé $\hat{\xi}^2_n$ est montré comme étant optimal au sens minimax et adaptatif (il ne nécessite pas de connaissance préalable des bornes).

3. Comportement sous spécification erronée
Si la distribution sous-jacente n'est pas sous-gaussienne, les auteurs prouvent que $\hat{\xi}^2_n$ diverge presque sûrement vers l'infini. Le taux de divergence est contrôlé par l'épaisseur de la queue de la distribution :

• Pour les distributions à queue épaisse (ex: distributions de Laplace ou de Student), l'estimateur diverge à des taux tels que $\Omega_p(\log n)$ ou $\Omega_p(n^{2/\nu}/\log n)$, fournissant un signal de diagnostic pour la spécification erronée du modèle.

4. Application à l'enrichissement de l'Ontologie des Gènes (GO)
L'estimateur est appliqué pour construire des p-valeurs pour les tests de permutation à grande échelle dans l'analyse d'enrichissement GO. Les auteurs comparent leur approche sous-gaussienne à la méthode Peaks-over-Threshold (POT), qui ajuste une distribution de Pareto généralisée aux excès.

• Résultats : Sur le jeu de données « Fly Transcriptome », la méthode sous-gaussienne a produit plus de termes GO validés empiriquement que la méthode POT sous l'algorithme PAPER. Sur le jeu de données « TNFa », la méthode POT a mieux performé.
• Conclusion : Les méthodes sont complémentaires. La méthode POT peut souffrir de taux de convergence lents et d'une sensibilité au choix du seuil, tandis que la méthode sous-gaussienne est plus fiable pour les distributions à queue légère mais peut échouer si les données sont à queue épaisse.

Signification et revendications

L'article affirme que l'écart de troncation $\delta_P$ est la quantité fondamentale déterminant l'estimabilité du paramètre sous-gaussien.

• Insight théorique : Il démontre que la cohérence uniforme est impossible sans restreindre la classe de distributions, et que l'estimateur proposé atteint le taux minimax optimal sous les conditions où le supremum de $L(\lambda)$ est atteint dans une région bornée.
• Utilité pratique : L'estimateur fournit une alternative viable aux p-valeurs empiriques dans les tests de permutation lorsque le nombre de permutations est limité, à condition que la distribution nulle soit sous-gaussienne. Il offre également un outil de diagnostic : si l'estimateur diverge, cela suggère que l'hypothèse sous-gaussienne est violée.

Les auteurs notent modestement des limites, notamment la difficulté de vérifier les hypothèses nécessaires (ex: l'existence d'un maximiseur borné) à partir des données en pratique, la présence d'un terme $\varepsilon$ dans le taux de convergence qui peut ne pas être précis, et l'absence de méthode basée sur les données pour sélectionner le paramètre de troncation $C_n$. Ils identifient le resserrement de l'écart entre les bornes supérieures et inférieures pour certaines sous-classes comme un problème ouvert pour des travaux futurs.