📊 statistics

Critical Values Robust to P-hacking

Cet article propose un modèle de test d'hypothèse qui incorpore le p-hacking afin de dériver des valeurs critiques « robustes » plus larges — calibrées à l'aide de données de la science médicale pour être équivalentes aux valeurs classiques au cinquième du seuil de signification — assurant ainsi que les résultats significatifs surviennent avec la fréquence souhaitée même lorsque les chercheurs ajustent leur comportement aux nouvelles normes.

Auteurs originaux : Adam McCloskey, Pascal Michaillat

Publié 2026-07-23

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Adam McCloskey, Pascal Michaillat

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous êtes un détective essayant de résoudre un mystère. Dans le monde de la science, ce « mystère » est souvent une question telle que : « Est-ce que ce nouveau médicament fonctionne vraiment ? » ou « Cette pièce de monnaie est-elle équitable ? ». Pour le résoudre, les scientifiques utilisent un outil spécial appelé test d'hypothèse. Considérez ce test comme un juge très sévère. Le juge commence par supposer que le suspect est innocent (c'est ce qu'on appelle l'« hypothèse nulle »). Le juge ne déclare le suspect coupable (rejette l'hypothèse nulle) que si les preuves sont si accablantes qu'elles auraient pu se produire par pur hasard moins de 5 % du temps. Cette limite de 5 % est appelée le seuil de signification, et le nombre spécifique que les preuves doivent battre pour être considérées comme « coupables » est la valeur critique.

Mais voici le problème : la vie réelle n'est pas toujours aussi nette qu'un tribunal. Les scientifiques, tout comme tout le monde, veulent gagner. Ils veulent que leurs découvertes soient publiées, que leurs carrières décollent et que leurs théories deviennent célèbres. Cela crée une immense tentation de « tricher » un peu, non pas en mentant, mais en essayant encore et encore jusqu'à obtenir le résultat souhaité. C'est ce qu'on appelle le p-hacking. C'est comme lancer un dé encore et encore jusqu'à ce que vous obteniez enfin un six, puis ne raconter à vos amis que ce seul six tout en cachant tous les uns, deux et trois que vous avez obtenus. Si tout le monde fait cela, les suspects « innocents » commencent à être condamnés trop souvent, et tout le système de justice de la science commence à s'effondrer. C'est pourquoi la « crise de la reproductibilité » existe : de nombreuses découvertes scientifiques célèbres se sont avérées fausses parce que les chercheurs originaux ont continué à lancer les dés jusqu'à ce qu'ils aient de la chance.

Cet article d'Adam McCloskey et Pascal Michaillat s'attaque de front à ce problème de triche. Ils n'essaient pas d'empêcher les scientifiques de lancer les dés ; ils savent que tant que les récompenses seront élevées, les scientifiques continueront d'essayer. Au lieu de cela, ils ont construit un modèle mathématique pour déterminer comment changer les règles du jeu afin que, même si les scientifiques continuent de lancer les dés, les suspects « innocents » soient toujours protégés. Ils ont découvert que les règles actuelles sont trop faciles à battre. Pour corriger cela, ils proposent une nouvelle « valeur critique » plus exigeante, qui agit comme une barre beaucoup plus haute à franchir pour les preuves.

Voici comment leur solution fonctionne, en utilisant une analogie ludique. Imaginez qu'un scientifique est un joueur essayant de réussir un niveau dans un jeu vidéo. Le « niveau » est de trouver un résultat significatif. Dans l'ancien système, le jeu avait un réglage de difficulté bas. Si le scientifique échouait la première fois, il pouvait simplement appuyer sur « recommencer » autant de fois qu'il le souhaitait jusqu'à gagner. Parce qu'il pouvait essayer encore et encore, il finissait par gagner presque à chaque fois, même si le jeu était censé être impossible à battre par pur hasard.

Les auteurs suggèrent une nouvelle règle : Rendez le jeu plus difficile. Mais pas seulement un peu plus difficile. Ils ont réalisé que si vous rendez le jeu plus difficile, le scientifique jouera simplement plus de fois pour essayer de gagner. Il faut donc rendre le jeu tellement difficile que, même avec tous les essais supplémentaires, le scientifique ne gagne que le bon nombre de fois (5 % du temps, si tel est l'objectif).

Pour déterminer exactement à quel point le jeu doit être difficile, les auteurs ont examiné des données réelles provenant d'études médicales. Ils ont découvert qu'environ 20 % des études sont interrompues avant d'être terminées parce que les scientifiques manquent d'argent, de temps ou d'énergie. Cela signifie qu'il y a 80 % de chances qu'un scientifique termine une expérience unique. En utilisant ce chiffre, ils ont calculé que pour stopper la triche, la « difficulté » du jeu doit être augmentée drastiquement.

Leur principale conclusion est une règle de base simple et puissante : Pour corriger le p-hacking, vous devez agir comme si votre seuil de signification était cinq fois plus petit qu'il ne l'est réellement.

Si un scientifique veut affirmer qu'un résultat est significatif au niveau standard de 5 %, il ne devrait pas utiliser la valeur critique habituelle (qui est de 1,96 pour un test bilatéral). Au lieu de cela, il devrait utiliser la valeur critique qui correspond à un niveau de 1 % (qui est de 2,58).

Pourquoi cela fonctionne-t-il ? Les auteurs montrent que lorsque vous élevez la barre à 2,58, les scientifiques essaieront effectivement davantage. Ils mèneront plus d'expériences, supprimeront plus de points de données et ajusteront plus de modèles dans leur tentative désespérée de franchir cette ligne plus haute. Mais parce que la ligne est si haute, même avec tout cet effort supplémentaire, ils ne réussiront à la franchir par pur hasard qu'environ 5 % du temps. La « triche » continue de se produire, mais elle ne brise plus le système.

L'article écarte explicitement l'idée selon laquelle nous pourrions simplement dire aux scientifiques de « cesser de tricher » ou que nous pouvons régler cela en comptant simplement combien de fois ils ont essayé. Les auteurs soutiennent que les scientifiques ajusteront toujours leur comportement en fonction des règles que nous fixons. Si nous fixons une règle qui dit « vous ne pouvez essayer que trois fois », les scientifiques trouveront un moyen d'essayer quatre fois. La seule façon de garantir que le système fonctionne est de fixer une valeur critique qui tienne compte du fait que les scientifiques continueront d'essayer jusqu'à ce qu'ils épuisent leurs ressources.

Les auteurs sont très sûrs de leurs mathématiques. Ils n'ont pas simplement deviné ; ils ont construit un modèle rigoureux utilisant la théorie des probabilités et l'« arrêt optimal » (une façon élégante de dire « quand arrêter le jeu »). Ils ont testé leur idée avec différents scénarios, comme l'ajout de coûts aux expériences ou le fait de rendre les expériences ultérieures plus difficiles à terminer, et leur solution a résisté. Ils ont également comparé leurs conclusions à une suggestion populaire d'autres chercheurs consistant à simplement abaisser le seuil de signification à 0,5 %. Les auteurs suggèrent que, bien que l'abaissement du niveau soit une bonne idée, leur modèle montre précisément à quel point il faut l'abaisser en fonction des ressources dont disposent les scientifiques pour continuer à essayer.

En fin de compte, l'article offre un bouclier pratique pour la science. Il suggère que si nous voulons à nouveau faire confiance à nos résultats scientifiques, nous devons cesser d'utiliser les anciens chiffres faciles à battre. Nous devons adopter ces « valeurs critiques robustes ». Pour un test bilatéral standard, cela signifie déplacer l'objectif de 1,96 à 2,58. C'est une barre plus haute, certes, et cela signifie que moins de « percées » seront annoncées chaque jour. Mais le compromis est que les percées que nous annoncerons seront réellement authentiques, et les hypothèses nulles « innocentes » seront enfin à l'abri d'être condamnées par un coup de chance lors d'un lancer de dés.

Résumé technique : Valeurs critiques robustes au p-hacking

Énoncé du problème
Le p-hacking — la pratique consistant à adopter des comportements visant à augmenter la probabilité de rapporter des résultats statistiquement significatifs — est prévalent dans la recherche scientifique mais absent de la théorie classique des tests d'hypothèses. Par conséquent, sous les valeurs critiques classiques, les hypothèses nulles vraies sont rejetées plus fréquemment que le niveau de signification nominal ( $\alpha$ ) ne le suggère. Cela se produit parce que les scientifiques font face à de fortes incitations (publication, avancement de carrière) pour traquer la significativité et possèdent une flexibilité suffisante dans la collecte et l'analyse des données pour le faire sans violer les normes. Les corrections classiques pour les tests multiples (ex. Bonferroni) échouent à résoudre ce problème car elles traitent le nombre d'expériences comme étant fixe. En réalité, les scientifiques ajustent leur comportement en réponse aux nouvelles normes ; si une correction rend la significativité plus difficile à atteindre, les scientifiques effectueront simplement plus d'expériences jusqu'à ce qu'ils trouvent un résultat significatif, neutralisant ainsi la correction.

Méthodologie
Les auteurs développent un modèle structurel de test d'hypothèse qui incorpore explicitement le comportement de p-hacking en utilisant la théorie de l'arrêt optimal.

L'environnement du scientifique : Un scientifique teste une hypothèse nulle ( $H_0$ ) contre une hypothèse alternative ( $H_1$ ). Le scientifique reçoit un gain élevé ( $v_s$ ) pour un résultat significatif et un gain plus faible ( $v_i$ ) pour un résultat non significatif.
Contraintes de ressources : La conduite d'expériences consomme des ressources finies (temps, argent, endurance). La limite totale de ressources $L$ suit une distribution exponentielle. Le coût de chaque expérience est aléatoire. Un scientifique s'arrête lorsque les ressources sont épuisées (indice $K$ ) ou lorsqu'un résultat significatif est trouvé.
Stratégie de p-hacking : Le scientifique mène des expériences de manière séquentielle ( $n=1, 2, \dots$ ). Si un résultat est non significatif et que les ressources subsistent, le scientifique passe à l'expérience suivante. Si un résultat est significatif, le scientifique s'arrête et le rapporte. Si les ressources sont épuisées avant d'atteindre la significativité, le scientifique rapporte la meilleure (statistique maximale) obtenue jusqu'alors, qui est nécessairement non significative.
Probabilité de complétion ( $\gamma$ ) : Le modèle définit $\gamma$ comme la probabilité que la première expérience soit achevée avant l'épuisement des ressources. Ce paramètre capture la facilité de mener la recherche et la prévalence des contraintes de ressources.
Dérivation des valeurs critiques robustes :
- Les auteurs dérivent le nombre attendu d'expériences $E(N(z))$ menées par un scientifique sous une valeur critique $z$ lorsque $H_0$ est vraie.
- Ils calculent la probabilité réelle d'une erreur de Type I ( $S^*(z)$ ), qui est la probabilité que la statistique rapportée dépasse $z$ . Il est démontré que $S^*(z) = S(z) \times E(N(z))$ , où $S(z)$ est la fonction de survie classique.
- La valeur critique robuste ( $z^*$ ) est définie comme la valeur qui satisfait $S^*(z^*) = \alpha$ . Cela garantit que même lorsque les scientifiques ajustent de manière optimale leur comportement de p-hacking en réponse à la nouvelle norme, la fréquence des faux rejets reste au niveau de significativité $\alpha$ souhaité.

Contributions clés et résultats

Comportement d'arrêt optimal : Le modèle démontre que la stratégie optimale pour un scientifique est de poursuivre les expérimentations jusqu'à ce qu'un résultat significatif soit trouvé ou que les ressources soient épuisées. Cela conduit à une distribution géométrique du temps d'arrêt.
La formule de la valeur critique robuste : Le papier dérive une correction de Bonferroni non standard. La valeur critique robuste $z^*$ pour un niveau de significativité $\alpha$ est équivalente à la valeur critique classique pour un niveau de significativité réduit $\alpha^*$ , où :
$\alpha^* = \frac{\alpha}{E(N(z^*))}$
Crucialement, $E(N(z^*))$ est le nombre attendu d'expériences sous la valeur critique robuste, et non la valeur classique. Les auteurs montrent que $z^*$ est définie implicitement par :
$z^* = Z\left( \alpha \cdot \frac{1 - \gamma}{1 - \alpha\gamma} \right)$
où $Z$ est la fonction de survie inverse de la statistique de test.
Réponse comportementale : Contrairement aux corrections précédentes, cette approche tient compte de la réponse comportementale : à mesure que la valeur critique devient plus stricte, les scientifiques pratiquent davantage le p-hacking (augmentation de $E(N)$ ). La valeur critique robuste est toujours plus grande que la valeur critique classique pour compenser cette augmentation de l'expérimentation.
Généralisabilité : La valeur critique robuste dérivée sous l'hypothèse d'expériences indépendantes reste valide pour un large éventail d'autres stratégies de p-hacking (ex. regroupement de données, suppression de valeurs aberrantes, recherche de spécifications) tant que ces stratégies induisent une dépendance positive entre les statistiques de test.

Illustration numérique et calibration
Les auteurs calibrent le modèle en utilisant des données des sciences médicales (Dwan et al., 2008) concernant le cycle de vie des études.

Calibration : Ils estiment la probabilité de complétion $\gamma$ en analysant la fraction des études approuvées qui n'ont jamais été commencées ou qui ont été interrompues prématurément. La probabilité de complétion estimée est $\gamma = 80\%$ .
Règle empirique : Avec $\gamma = 0,8$ $γ = 0, 8$ , le niveau de significativité effectif requis pour maintenir un taux d'erreur de Type I de 5 % est approximativement $\alpha/5$ $α /5$ .
- Pour un test z unilatéral avec $\alpha=5\%$ , la valeur critique robuste est 2,33 (contre 1,64 pour la valeur classique).
- Pour un test z bilatéral avec $\alpha=5\%$ , la valeur critique robuste est 2,58 (contre 1,96 pour la valeur classique).
Sensibilité : Les valeurs critiques robustes sont relativement peu sensibles aux variations de $\gamma$ . Même si $\gamma$ varie entre 70 % et 90 %, les valeurs critiques pour un test bilatéral restent comprises entre 2,42 et 2,79.

Signification et revendications
Le papier affirme fournir un fondement théorique pour ajuster les standards de significativité afin de tenir compte de la réalité du p-hacking.

Restaurer la crédibilité : En utilisant des valeurs critiques robustes, la communauté scientifique peut garantir que le taux de faux positifs (erreurs de Type I) ne dépasse pas le niveau de significativité annoncé, même en présence d'un p-hacking optimal.
Comparaison avec les alternatives : Les auteurs comparent leur approche à l'enregistrement des plans d'analyse pré-analytiques. Bien que l'enregistrement empêche certaines formes de p-hacking, il peut freiner l'analyse exploratoire des données. Les valeurs critiques robustes permettent l'exploration tout en maintenant la validité statistique. De plus, l'enregistrement n'empêche pas les scientifiques de répéter des expériences jusqu'à trouver un résultat significatif ; les valeurs critiques robustes traitent précisément cette limitation.
Lien théorique avec les propositions : L'analyse fournit un fondement théorique aux propositions visant à abaisser les niveaux de significativité (ex. de 5 % à 0,5 % comme suggéré par Benjamin et al., 2018). Le papier montre que l'ampleur de la réduction requise dépend de la probabilité de complétion (disponibilité des ressources) du domaine. Une réduction de 10 fois correspond à une probabilité de complétion de 90 %, tandis qu'une réduction de 5 fois correspond à 80 %.

Le papier conclut que les valeurs critiques robustes sont un outil nécessaire pour maintenir l'informativité des tests d'hypothèses dans un environnement où les scientifiques ont des incitations et des opportunités pour traquer la significativité.

Articles similaires