Résumé Technique : Calibration sans Étiquettes dans les Tests Multiples

Énoncé du Problème

Les tests d'hypothèses à grande échelle visent souvent à fournir des affirmations de probabilité sur des hypothèses individuelles, comme l'estimation du taux de fausses découvertes local (lfdr) via des méthodes bayésiennes empiriques. Cependant, une lacune critique subsiste dans l'interprétation de ces scores : un score $g(p)$ rapporté n'est significatif que s'il est calibré, c'est-à-dire qu'나 parmi les tests assignés à un score $g(p)$, l'hypothèse nulle est vraie avec une probabilité exactement égale à $g(p)$.

Dans l'apprentissage supervisé standard, la calibration est évaluée à l'aide d'étiquettes de vérité terrain (ground-truth). Dans les tests multiples, les « étiquettes » (si l'hypothèse nulle est vraie ou fausse) sont inobservées. Par conséquent, les diagnostics de calibration standards ne peuvent pas être appliqués directement. Bien que la tradition bayésienne empirique reconnaisse que la distribution des statistiques de test contient des informations structurelles, les travaux formels évaluant ou imposant la calibration en l'absence de vérité terrain, particulièrement sous condition de spécification de modèle erronée, sont limités.

Méthodologie

Les auteurs recadrent les tests multiples comme un problème de classification binaire stochastiquement supervisé. Ils traitent les $p$-valeurs comme des covariables et la vérité inobservée de l'hypothèse nulle comme une étiquette binaire $Y_i \in \{0, 1\}$. L'objectif est d'estimer la fonction de régression $lfdr(p) = P(Y=1|p)$.

1. Construction de Pseudo-Étiquettes

Pour combler le fossé créé par l'absence d'étiquettes, les auteurs construisent des pseudo-étiquettes dérivées des espacements des $p$-valeurs ordonnées. Soient $p_{(1)} \le \dots \le p_{(m)}$ les $p$-valeurs ordonnées et $\hat{\pi}_{null}$ une estimation de la proportion de nulles vraies. La pseudo-étiquette pour la $i$-ème observation est définie par :
$$\tilde{Y}_i := m \hat{\pi}_{null} (p_{(R_i)} - p_{(R_i-1)})$$
où $R_i$ est le rang de $p_i$.

La justification théorique repose sur les propriétés asymptotiques des espacements des statistiques d'ordre (Pyke, 1965). Lorsque $m \to \infty$, ces pseudo-étiquettes satisfont un modèle de régression avec des erreurs exponentielles multiplicatives : $\tilde{Y}_i | p_i \approx lfdr(p_i) E_i$, où $E_i \sim \text{Exp}(1)$. Crucialement, l'espérance $E[\tilde{Y}_i | p_i]$ approxime le véritable $lfdr(p_i)$, permettant aux pseudo-étiquettes de servir de substituts directs aux véritables étiquettes dans les outils de calibration standards.

2. Calibration Isotonique et Équivalence

Les auteurs proposent d'imposer la monotonie (les $p$-valeurs plus petites devraient produire des probabilités d'erreur plus faibles) via une régression isotonique sur les pseudo-étiquettes. Ils démontrent que trois approches méthodologiques distinctes produisent exactement le même estimateur :

1. Régression Isotonique : Minimisation de l'erreur quadratique entre le prédicteur et les pseudo-étiquettes (Algorithme Pool Adjacent Violators).
2. Maximum de Vraisemblance : Minimisation de la log-vraisemblance négative dérivée du modèle d'erreur exponentiel (équivalent à la minimisation de la distance d'Itakura–Saito).
3. Bayésien Empirique Non Paramétrique : Estimation de la densité marginale des $p$-valeurs en utilisant l'estimateur de Grenander (le MLE pour une densité non croissante) et application de la règle de Bayes.

L'estimateur résultant, noté $\widehat{lfdr}^\uparrow$, est une fonction en escalier qui regroupe les $p$-valeurs adjacentes en intervalles où l'estimation de la proportion locale de fausses découvertes (FDP) est monotone.

3. Évaluation et Diagnostics

Le cadre permet d'adapter les diagnostics de calibration supervisée aux tests multiples :

• Diagrammes de Fiabilité : En segmentant les pseudo-étiquettes, on peut tracer la moyenne des scores prédits par rapport à la fréquence empirique des « nulles vraies » (estimée via les pseudo-étiquettes).
• Regret de Brier : Les auteurs définissent une borne en échantillon fini sur le regret de Brier (l'excès de score de Brier par rapport au meilleur prédicteur monotone) pour leur estimateur isotonique.

Contributions Clés

1. Construction de Pseudo-Étiquettes : Le papier introduit une méthode pour générer des cibles de régression à partir des espacements de $p$-valeurs dont l'espérance conditionnelle est le $lfdr$. Cela débloque toute la panoplie de la calibration supervisée (ex: diagrammes de fiabilité, calibration isotonique) pour les tests multiples sans vérité terrain.
2. Unification Théorique : Les auteurs prouvent que la calibration isotonique sur les pseudo-étiquettes, l'estimation du maximum de vraisemblance sous un modèle d'erreur exponentiel, et l'estimation bayésienne empirique non paramétrique (via l'estimateur de Grenander) sont mathématiquement équivalentes.
3. Garanties en Échantillon Fini : Ils établissent une borne en échantillon fini sur le regret de Brier de l'estimateur isotonique. Cette borne tend vers zéro quand $m \to \infty$ même si le vrai $lfdr$ n'est pas monotone, à condition que la fonction de répartition empirique converge uniformément. Ce résultat est valable indépendamment du fait que l'hypothèse de monotonie soit strictement vraie, car l'estimateur cible le $lfdr$ isotonisé (la projection $L_2$ du vrai $lfdr$ sur la classe des fonctions monotones).
4. Preuve Empirique de Mauvaise Calibration : À travers des simulations et l'analyse de données réelles, les auteurs démontrent que les mesures d'erreur standards, spécifiquement la q-valeur, peuvent être sévèrement mal calibrées, performant parfois moins bien que les $p$-valeurs brutes.

Résultats

Études de Simulation

Les auteurs ont comparé le regret de Brier de trois prédicteurs : les $p$-valeurs brutes, les $q$-valeurs de Storey, et leur estimateur isotonique ($\widehat{lfdr}^\uparrow$).

• Convergence : Le regret de $\widehat{lfdr}^\uparrow$ a diminué régulièrement avec le nombre de tests $m$, convergeant à un taux polynomial.
• Stagnation : Le regret des $p$-valeurs est resté plat (car elles sont la fonction identité), et le regret des $q$-valeurs est resté nettement supérieur à celui de l'estimateur isotonique dans la plupart des scénarios.
• Robustesse : Même dans des scénarios où le vrai $lfdr$ était non monotone (violant la contrainte de forme), l'estimateur isotonique a convergé vers le $lfdr$ isotonisé, maintenant un regret décroissant par rapport au meilleur prédicteur monotone.

Application aux Données Réelles

La méthode a été appliquée à un ensemble de données d'environ 27 000 statistiques $t$ issues de la littérature en neurosciences cognitives et psychologie expérimentale (Szucs et Ioannidis, 2017).

• Vérification de la Calibration : Les diagrammes de fiabilité ont montré que les $p$-valeurs brutes et les $q$-valeurs étaient sévèrement mal calibrées (les points déviaient significativement de la diagonale $y=x$).
• Performance : L'estimateur isotonique $\widehat{lfdr}^\uparrow$ a produit des scores proches de la diagonale, suggérant que les scores calibrés peuvent être interprétés comme des énoncés de probabilité locaux valides pour des études individuelles.

Signification et Revendications

Le papier soutient que la calibration devrait être un objectif inférentiel primaire dans les tests d'hypothèses à grande échelle, distinct de la simple correction de multiplicité. En traitant les tests multiples comme un problème de classification avec des étiquettes cachées, les auteurs montrent que des probabilités d'erreur significatives peuvent être établies même sans vérité terrain.

La portée de ce travail réside dans :

• Interprétabilité : Il offre une voie pour interpréter les scores comme des probabilités calibrées même sous condition de spécification de modèle erronée, car la calibration est une propriété du score lui-même plutôt que du modèle générateur.
• Pont Méthodologique : Il importe avec succès des outils de prévision probabiliste et d'apprentissage supervisé (notamment la calibration isotonique et les diagrammes de fiabilité) dans le domaine des tests multiples.
• Insight Critique : La découverte empirique que les mesures populaires comme la $q$-valeur peuvent être mal calibrées remet en question l'hypothèse selon laquelle les mesures standards basées sur le FDR sont intrinsèquement fiables pour l'évaluation d'hypothèses individuelles.

Les auteurs restent modestes quant aux limites, notant que leur théorie repose sur l'uniformité de la distribution des $p$-valeurs sous l'hypothèse nulle. Ils identifient la construction de pseudo-étiquettes similaires pour des distributions de nulles non uniformes (ex: scores $z$ ou statistiques de haute dimension) comme une question ouverte pour la recherche future.