Sensitivity Analysis for False Discovery Rate Estimation with Published p-Values

1. Problématique et Contexte

L'article aborde le problème critique de l'estimation du Taux de Fausses Découvertes (FDR) à partir de valeurs $p$ publiées, qui sont intrinsèquement biaisées par des mécanismes de sélection (biais de publication).

• Le Biais de Publication : Les politiques éditoriales favorisant la signification statistique (généralement $p < 0.05$) entraînent une surreprésentation des résultats significatifs. Si la probabilité a priori des hypothèses nulles est élevée, le FDR parmi les découvertes publiées peut être très élevé, même si $p < 0.05$.
• Le Défi de la Modélisation : Les estimateurs de FDR existants (comme ceux de Jager & Leek, 2014) reposent sur des hypothèses de sélection spécifiques (ex: sélection uniforme pour $p < 0.05$ et nulle sinon). Cependant, la vraisemblance de ces modèles est souvent inconnue ou incorrecte. Une mauvaise spécification du modèle de sélection peut fausser les estimations du FDR, les rendant soit trop conservatrices, soit trop libérales.
• Objectif : L'article vise à quantifier l'impact de la mauvaise spécification du modèle de sélection sur le biais et la variance d'un estimateur de FDR standard, et à fournir des outils pour réaliser une analyse de sensibilité lorsque le mécanisme de sélection réel est inconnu.

2. Méthodologie

Les auteurs développent un cadre théorique rigoureux basé sur l'inférence sélective et les modèles de mélange de valeurs $p$.

A. Modélisation

1. Modèle de Mélange des Valeurs $p$ (Définition 2.1) :
   Les valeurs $p$ sont modélisées comme un mélange d'une distribution uniforme (sous l'hypothèse nulle $H_0$) et d'une distribution alternative (sous $H_1$), souvent modélisée par une loi Beta.
   $$F(t) = \pi_0 t + (1 - \pi_0) t^\gamma$$
   où $\pi_0$ est la proportion d'hypothèses nulles vraies et $\gamma$ contrôle la puissance du test.

2. Modèle de Probabilité de Sélection (SPM - Définition 2.2) :
   Les auteurs définissent une fonction de sélection $\mu(p)$, non croissante, telle que la probabilité qu'une valeur $p$ soit publiée est proportionnelle à $\mu(p)$. Cela permet de généraliser des règles simples (ex: $p < 0.05$) à des mécanismes plus complexes (ex: biais vers les très petites valeurs $p$, ou biais de type "p-hacking").

3. FDR Post-Sélection :
   Ils définissent le FDR post-sélection comme la probabilité conditionnelle qu'une découverte sélectionnée soit fausse :
   $$FDR = Pr(H_i = 0 | \delta_i = 1, P_i \le \alpha)$$
   où $\delta_i=1$ indique que la valeur $p$ a été sélectionnée (publiée).

B. L'Estimateur

L'étude se concentre sur un estimateur simple de la proportion de nuls ($\hat{\pi}_0$), introduit par Hung et Fithian (2020), qui ajuste les valeurs $p$ publiées ($p'_i = p_i / \alpha$) avant d'appliquer une méthode des moments :
$$\hat{\pi}_0 = \frac{1}{n'} \sum_{i=1}^{n'} \frac{\mathbb{1}_{(\lambda, 1]}(p'_i)}{1 - \lambda}$$
où $\lambda$ est un paramètre de réglage. Le FDR estimé est ensuite dérivé de $\hat{\pi}_0$.

C. Résultats Théoriques Principaux

Le cœur de la contribution réside dans la dérivation d'expressions fermées (closed-form) pour le biais et la variance de cet estimateur sous un modèle de sélection arbitraire $\mu(p)$.

• Expression du Biais (Théorème 4.1) :
  Les auteurs montrent que le biais dépend de la divergence entre le modèle de sélection supposé (utilisé pour l'ajustement $p'_i$) et le modèle de sélection réel.
  $$Bias(\widehat{FDR}) = \frac{\alpha}{\alpha - \lambda} \frac{E_F[\mathbb{1}_{[\lambda, \alpha]}(P)\mu(P)]}{E_F[\mathbb{1}_{[0, \alpha]}(P)\mu(P)]} - \frac{\pi_0 E_{F_0}[\mathbb{1}_{[0, \alpha]}(P)\mu(P)]}{E_F[\mathbb{1}_{[0, \alpha]}(P)\mu(P)]}$$

  • Résultat clé : Contrairement à la croyance commune, le biais n'est pas toujours positif. Il peut devenir négatif si le modèle de sélection réel favorise fortement les très petites valeurs $p$ par rapport aux valeurs proches du seuil (ex: $\mu(p)$ très élevé pour $p \approx 0$ et faible pour $p \approx 0.05$), surtout lorsque $\pi_0$ est élevé.

• Expression de la Variance (Théorème 4.2) :
  Une approximation asymptotique de la variance est fournie, montrant qu'elle est de l'ordre de $O(n^{-1})$. Pour de grands échantillons, le biais (qui dépend de $\lambda$ mais pas de $n$) devient le facteur dominant de l'erreur.

3. Résultats et Validation

Les auteurs valident leurs expressions théoriques sur deux ensembles de données réels :

1. Projet de Replication Open Science Collaboration (Johnson et al., 2017) :

   • Ce jeu de données contient à la fois les valeurs $p$ originales et les valeurs $p$ de réplication, permettant d'estimer le FDR "réel" (Gold Standard).
   • Résultat : Les expressions de biais calculées théoriquement correspondent étroitement à l'écart observé entre l'estimateur basé uniquement sur les valeurs $p$ originales et le FDR réel. Cela confirme que les formules peuvent corriger efficacement les erreurs dues à la spécification du modèle.

2. Données médicales (Jager & Leek, 2014) :

   • Application sur des valeurs $p$ extraites d'abstracts de revues médicales, où le mécanisme de sélection réel est inconnu.
   • Analyse de Sensibilité : Les auteurs appliquent différents modèles de sélection (paramétrés par $\rho$ dans un modèle en escalier).
   • Résultat : L'estimation du FDR varie considérablement selon l'hypothèse de sélection. Par exemple, si l'on suppose que les valeurs $p < 0.025$ sont beaucoup plus susceptibles d'être publiées que celles entre 0.025 et 0.05, le FDR ajusté peut augmenter significativement par rapport à l'estimation standard sous l'hypothèse $p < 0.05$.

4. Contributions Clés

1. Formules Générales de Biais et Variance : Première dérivation d'expressions analytiques fermées pour le biais et la variance d'un estimateur de FDR sous un modèle de sélection arbitraire.
2. Démonstration du Biais Négatif : Mise en évidence que le biais peut être négatif (sous-estimation du FDR) dans des scénarios réalistes de biais de publication sévère, contrairement à l'hypothèse de biais positif habituelle.
3. Cadre d'Analyse de Sensibilité : Fourniture d'une méthodologie pratique permettant aux chercheurs et décideurs de rapporter des intervalles de FDR basés sur une gamme de modèles de sélection plausibles, plutôt que de s'en remettre à une hypothèse unique et potentiellement erronée.
4. Validation Empirique : Confirmation que les corrections théoriques fonctionnent en pratique sur des données de réplication réelles.

5. Signification et Implications

Ce travail est crucial pour l'intégrité scientifique et la politique de recherche :

• Diagnostic de l'Écosystème Scientifique : Il offre un outil pour évaluer la fiabilité des découvertes publiées sans avoir besoin de données de réplication coûteuses.
• Prise de Décision Éclairée : En montrant que le FDR est sensible à la forme du biais de publication, l'article encourage les décideurs (éditeurs, agences de financement) à ne pas se fier à une seule estimation. Ils doivent considérer la robustesse des conclusions face à différents scénarios de sélection.
• Limites et Perspectives : L'étude se concentre sur un estimateur simple. Les auteurs suggèrent que des expressions similaires pourraient être développées pour des estimateurs plus sophistiqués (comme les estimateurs de vraisemblance maximale), ce qui constituerait une extension naturelle pour des analyses encore plus précises.

En résumé, cet article transforme la manière dont le FDR est estimé dans la littérature publiée en passant d'une approche "boîte noire" (hypothèse de sélection fixe) à une approche transparente et robuste (analyse de sensibilité basée sur des expressions mathématiques rigoureuses).