Directional replicability: when can the factor of two be omitted

Résumé technique : Réplicabilité directionnelle : quand le facteur de deux peut-il être omis

Énoncé du problème
L'article traite du défi statistique que représente l'évaluation de la réplicabilité directionnelle à travers $n$ études indépendantes. Contrairement à la réplicabilité standard, qui exige simplement qu'un effet soit présent dans au moins $r$ études quel que soit le signe, la réplicabilité directionnelle exige qu'au moins $r$ études présentent des effets de même signe (tous positifs ou tous négatifs).

Formellement, soit $\theta = (\theta_1, \dots, \theta_n)$ le vecteur des tailles d'effet réelles. Les auteurs définissent $n_+$ comme le nombre d'effets positifs et $n_-$ comme le nombre d'effets négatifs. L'objectif est de tester l'hypothèse nulle $H_{r/n}: n_+ < r \land n_- < r$. Rejeter cette hypothèse permet de conclure qu'il existe au moins $r$ effets du même signe ($n_+ \ge r \lor n_- \ge r$).

L'approche standard, suivant Owen (2009), traite $H_{r/n}$ comme l'intersection de deux hypothèses unilatérales : $H^+_{r/n}: n_+ < r$ et $H^-_{r/n}: n_- < r$. Pour contrôler le taux d'erreur de la famille (FWER), la procédure standard combine les valeurs de $p$ des deux tests unilatéraux et multiplie la plus petite par 2 (c'est-à-dire $p_{r/n} = 2 \min\{p^+_{r/n}, p^-_{r/n}\}$) pour tenir compte de la multiplicité des tests de direction. La question centrale de ce travail est de savoir si ce facteur de correction multiplicatif de 2 est toujours nécessaire.

Méthodologie
Les auteurs supposent des estimateurs normaux indépendants $T_i \sim N(\theta_i, 1)$ pour les tailles d'effet. Ils utilisent la méthode de la conjonction partielle de Bonferroni pour construire les valeurs de $p$ pour les hypothèses unilatérales.

• Pour la direction positive ($H^+_{r/n}$), la valeur de $p$ est $p^+_{r/n} = (n-r+1)p_{(r)}$, où $p_{(r)}$ est la $r$-ième plus petite valeur de $p$ des études individuelles.
• Pour la direction négative ($H^-_{r/n}$), la valeur de $p$ est $p^-_{r/n} = (n-r+1)q_{(r)}$, où $q_{(r)}$ correspond à la $r$-ième plus petite valeur de $p$ pour la direction négative.

L'article étudie la validité de la statistique non corrigée $p_{r/n} = \min\{p^+_{r/n}, p^-_{r/n}\}$ en tant que valeur de $p$ valide pour l'hypothèse d'intersection $H_{r/n}$ sous des conditions spécifiques.

Contributions clés et résultats

1. Condition suffisante pour omettre le facteur de deux (Théorème 1) :
   La principale contribution théorique est le Théorème 1, qui établit que le facteur de 2 est inutile lorsque $r$ est suffisamment grand par rapport à $n$. Plus précisément, si $(n+1)/2 < r \le n$, alors $p_{r/n} = \min\{p^+_{r/n}, p^-_{r/n}\}$ est une valeur de $p$ valide pour $H_{r/n}$ au niveau de signification $\alpha$.

   • Mécanisme : La preuve démontre que sous la condition $r > (n+1)/2$, les événements menant aux erreurs de Type I pour les directions positive et négative sont disjoints. Par conséquent, la probabilité de rejeter l'hypothèse nulle sous la configuration de paramètres la plus défavorable ne dépasse pas $\alpha$ sans la correction par doublement.

2. Nécessité de la correction pour de petits $r$ (Section 3) :
   Les auteurs fournissent un contre-exemple montrant que pour des valeurs de $r$ plus petites (spécifiquement $2 \le r \le (n+1)/2$), la statistique non corrigée peut conduire à des taux d'erreur de Type I dépassant $\alpha$.

   • Dans ce régime, il est possible d'avoir une configuration de paramètres « discordante » où il existe simultanément $r-1$ effets positifs forts et $r-1$ effets négatifs forts. Dans ces cas, les événements menant au rejet dans les deux directions ne sont pas disjoints, et la probabilité d'erreur de Type I dépasse le niveau nominal si le facteur de 2 est omis.
   • Les simulations numériques (Figure 1) illustrent que pour $n=20$ et $\alpha=0,1$, l'erreur de Type I dépasse $\alpha$ pour $r \in \{2, \dots, 7\}$ mais reste contrôlée pour $r \in \{8, 9, 10\}$, même si la condition stricte $r > (n+1)/2$ (soit $r > 10,5$) n'est pas satisfaite. Cela suggère que la condition du Théorème 1 est suffisante mais non nécessaire.

3. Sélection adaptative de $r$ selon les données :
   L'article décrit une procédure de test séquentiel pour les situations où $r$ n'est pas pré-spécifié. En testant des hypothèses imbriquées $H_{k/n}, H_{(k+1)/n}, \dots, H_{n/n}$ en partant de $k = \lceil(n+2)/2\rceil$, on peut dériver une borne de confiance inférieure $(1-\alpha)$ pour le nombre maximal d'effets du même signe.

4. Extension à d'autres fonctions de combinaison :
   Les auteurs notent que bien que la preuve repose sur la méthode de Bonferroni, le résultat est probablement extensible à d'autres fonctions de combinaison supposant l'indépendance, telles que la correction de Šidák, la méthode de Simes et la fonction de combinaison de Fisher, bien que cela nécessite une vérification future.

Signification et revendications
L'article prétend affiner la méthodologie de pointe de l'analyse de la réplicabilité directionnelle. En identifiant la condition $(n+1)/2 < r \le n$, les auteurs démontrent que les chercheurs peuvent supprimer en toute sécurité la correction conservatrice du « facteur de deux » dans les scénarios où le nombre d'effets réplicables requis ($r$) constitue une majorité des études totales ($n$). Cette omission augmente la puissance statistique sans gonfler les taux d'erreur de Type I.

Le travail traite également de l'erreur de Type III (inférer le mauvais signe). Les auteurs affirment que la procédure du Théème 1 contrôle l'erreur de Type III, permettant une inférence post-hoc valide du signe des effets répliqués (positif si $p^+_{r/n} < p^-_{r/n}$, négatif sinon).

Enfin, l'article reconnaît que si l'étude se concentre sur une seule hypothèse, de nombreuses applications impliquent de multiples caractéristiques. Il suggère que la logique proposée pourrait être intégrée aux approches de filtrage existantes (par exemple, Wang et al., 2022), mais laisse la question de savoir si le facteur de 2 peut être supprimé dans le contexte des tests multiples sur plusieurs caractéristiques comme un problème ouvert pour la recherche future.