📊 statistics

p-Hacking Inflates Type I Error Rates in the Error Statistical Approach but not in the Formal Inference Approach

Cet article soutient que le p-hacking gonfle les taux d'erreur de type I dans l'approche statistique des erreurs en raison de la pertinence du taux d'erreur familial réel, mais pas dans l'approche d'inférence formelle où seul le taux d'erreur nominal est pertinent pour les hypothèses individuelles rapportées.

Auteurs originaux : Mark Rubin

Publié 2026-03-04

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Mark Rubin

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le Dilemme du "P-Hacking" : Une Histoire de Deux Philosophes

Imaginez que vous êtes un détective (le chercheur) qui enquête sur un crime (un phénomène scientifique). Vous avez une loupe spéciale (le test statistique) pour voir si vous avez trouvé une preuve. Si la loupe s'allume en rouge (un résultat "significatif"), vous criez : "J'ai trouvé le coupable !"

Le problème, c'est ce qu'on appelle le p-hacking (ou la "chasse aux résultats"). Cela arrive quand un chercheur essaie de nombreuses fois différentes façons d'utiliser sa loupe (en changeant des données, en enlevant des gens de l'échantillon, en testant plein de variables différentes) jusqu'à ce qu'il trouve une fois où la loupe s'allume en rouge. Ensuite, il ne raconte à personne qu'il a essayé 19 autres fois sans succès. Il ne montre que le résultat rouge.

L'article de Mark Rubin pose une question fascinante : Est-ce que cette pratique fausse la vérité mathématique ?

Pour répondre, Rubin compare deux écoles de pensée, comme deux philosophes qui regardent la même scène mais la décrivent différemment.

1. Le Premier Philosophe : L'Approche "Statistique des Erreurs"

(L'approche traditionnelle, souvent défendue par des experts comme Deborah Mayo)

Son point de vue : "Le contexte compte tout !"

Imaginez que ce détective a tiré 20 flèches dans le noir sur un mur de grange. Il a raté 19 fois, mais une flèche a atterri par hasard dans le centre d'une cible qu'il a peinte après coup. Il montre seulement cette flèche et dit : "Regardez, je suis un tireur d'élite !"

Pour ce premier philosophe, c'est une arnaque totale.

La logique : Puisqu'il a tiré 20 flèches, la probabilité qu'au moins l'une d'elles touche le centre par pur hasard est énorme (environ 64 %).
Le verdict : En cachant les 19 ratés, le détective a gonflé artificiellement ses chances de succès. Il a trompé la mathématique. Le taux d'erreur (la probabilité de se tromper en croyant avoir trouvé un coupable alors qu'il n'y en a pas) est devenu beaucoup plus élevé que ce qu'il prétend.
La conclusion : Le p-hacking est dangereux car il rend les résultats peu fiables. Il faut auditer tout le processus (toutes les flèches tirées) pour savoir si le résultat est réel.

2. Le Deuxième Philosophe : L'Approche "Inférence Formelle"

(L'approche défendue par Mark Rubin dans cet article)

Son point de vue : "Ce qui compte, c'est ce qui est écrit sur le papier, pas ce qui s'est passé dans la tête."

Ce philosophe regarde la scène différemment. Il dit : "Attendez, le détective ne nous a pas montré un 'tirage de 20 flèches'. Il nous a montré une seule flèche, parfaitement centrée, sur une cible spécifique."

La logique : Si le détective dit : "J'ai testé la flèche verte sur la cible verte et elle a touché", alors mathématiquement, il n'a fait qu'un seul test. Le fait qu'il ait essayé 19 autres cibles avant (et qu'il les ait cachées) ne change pas les mathématiques de cette flèche verte précise.
L'analogie du poids : Imaginez que vous mentez sur votre poids en disant "Je pèse 70 kg" alors que vous avez essayé 10 balances différentes avant de trouver celle qui affichait 70 kg.
- Pour le premier philosophe, vous avez truqué le système.
- Pour Rubin, si vous présentez officiellement le résultat de cette balance spécifique, la probabilité qu'elle affiche 70 kg par erreur (si vous pesez en réalité 100 kg) reste la même (par exemple 5 %). Le fait que vous ayez cherché la balance qui vous arrange ne change pas la précision technique de la balance elle-même.
Le verdict : Le p-hacking ne gonfle pas le taux d'erreur mathématique du résultat rapporté. Le résultat rapporté est valide en soi, car il ne concerne qu'une seule hypothèse spécifique.

L'erreur de logique (Le piège) : Rubin dit que le premier philosophe commet une erreur en essayant d'appliquer les règles d'un "tirage de 20 flèches" à un "tirage d'une seule flèche". C'est comme dire : "Puisque tu as 20 amis, la probabilité que toi tu sois grand est plus grande que si tu étais seul." Non, ta taille ne change pas parce que tu as des amis ! De même, la probabilité d'erreur d'un test unique ne change pas parce qu'on en a fait d'autres avant.

3. Alors, quel est le vrai problème ?

Si le deuxième philosophe a raison et que les maths ne sont pas faussées, pourquoi le p-hacking est-il si critiqué ?

Rubin explique que le vrai problème n'est pas la mathématique, mais la réalité (ce qu'on appelle l'interprétation substantielle).

L'exemple des bonbons : Imaginez un chercheur qui dit : "Manger des bonbons verts cause de l'acné !" (résultat significatif). Il a caché qu'il a testé 19 autres couleurs (rouge, bleu, jaune...) et qu'aucune n'a causé d'acné.
Le problème : Même si le test sur les bonbons verts est mathématiquement correct (5 % de risque d'erreur), l'histoire complète est faussée. En cachant les 19 échecs, le chercheur donne une image déformée de la réalité. On croit que les bonbons sont dangereux, alors qu'ils ne le sont probablement pas (c'était juste une coïncidence parmi 20 essais).

La solution selon Rubin :
Au lieu de se focaliser uniquement sur des règles strictes comme la "pré-enregistrement" (écrire tout ce qu'on va faire avant de commencer), nous devrions améliorer notre culture scientifique.

Les chercheurs doivent s'attendre à ce que les autres se demandent : "Pourquoi as-tu seulement testé les bonbons verts ? As-tu essayé les autres ?"
C'est une discussion critique et rationnelle entre pairs qui permet de démasquer les résultats trompeurs, même si les maths derrière le résultat unique sont correctes.

En Résumé

Pour le premier philosophe (Statistique des erreurs) : Le p-hacking est une triche mathématique. Il gonfle le taux d'erreur car il faut compter toutes les tentatives cachées.
Pour Rubin (Inférence formelle) : Le p-hacking n'est pas une triche mathématique sur le résultat final. Si vous rapportez un seul test, son taux d'erreur reste celui annoncé. Le problème est que le p-hacking crée une illusion de vérité en cachant le contexte.
Leçon pour nous : Ne nous contentons pas de vérifier les calculs. Nous devons aussi vérifier l'histoire complète et poser des questions critiques : "Qu'est-ce qui a été caché ?" et "Est-ce que ce résultat a du sens par rapport à tout le reste ?"

L'article nous invite à arrêter de paniquer sur les chiffres et à commencer à mieux discuter de la logique et de la transparence de nos histoires scientifiques.

1. Le Problème : La Nature du p-Hacking et la Crise de la Replication

L'article aborde le problème du p-hacking (ou « pêche de résultats »), une pratique où les chercheurs effectuent de multiples tests de signification et ne rapportent que ceux produisant des résultats souhaitables (généralement significatifs, $p \le 0.05$ ), sans corriger pour les tests multiples.

La vision conventionnelle, dominante dans la littérature, considère le p-hacking comme une pratique de recherche discutable qui gonfle artificiellement les taux d'erreur de type I (faux positifs) au-delà du niveau nominal (ex: 0,05). Cette inflation est souvent citée comme une cause majeure de la crise de la réplication en sciences, car elle génère un excès de résultats positifs qui ne peuvent être reproduits.

L'auteur, Mark Rubin, remet en cause cette vision univoque en proposant une distinction philosophique fondamentale entre deux approches de l'inférence statistique :

L'approche statistique des erreurs (Error Statistical Approach) : Associée à Deborah Mayo et Aris Spanos.
L'approche de l'inférence formelle (Formal Inference Approach) : Développée par Rubin lui-même.

2. Méthodologie et Cadre Théorique

L'article ne présente pas de nouvelles données empiriques ou de simulations, mais adopte une méthodologie analytique et philosophique. Rubin compare rigoureusement les fondements épistémologiques des deux approches pour déterminer comment elles conceptualisent les procédures de test, les espaces d'échantillonnage et la validité des taux d'erreur.

Les concepts clés analysés incluent :

Le taux d'erreur de type I : La probabilité de rejeter à tort une hypothèse nulle.
Le taux d'erreur familiale (Familywise Error Rate - FWER) : La probabilité de commettre au moins une erreur de type I dans une famille de tests.
La procédure de test « réelle » vs « formelle » : La distinction entre ce que le chercheur a réellement fait (incluant les tests non rapportés) et ce qui est formellement rapporté dans la publication.
Les inférences individuelles vs inférences union-intersection : La logique derrière la décision de rejeter une hypothèse unique par rapport à un ensemble d'hypothèses.

3. Contributions Clés et Résultats

L'argument central de Rubin est que le p-hacking gonfle les taux d'erreur de type I dans l'approche statistique des erreurs, mais pas dans l'approche de l'inférence formelle.

A. L'Approche Statistique des Erreurs (Error Statistical Approach)

Principe : La validité d'une inférence dépend de la capacité de la procédure de test « réelle » (incluant toutes les tentatives, y compris celles non rapportées) à éviter les erreurs.
Impact du p-hacking : Si un chercheur effectue 20 tests et n'en rapporte qu'un seul significatif, la procédure « réelle » est celle des 20 tests. Le taux d'erreur « réel » est donc le taux d'erreur familiale ( $1 - (1-\alpha)^k$ ), qui est beaucoup plus élevé que le taux nominal (ex: 0,642 pour 20 tests au lieu de 0,05).
Conséquence : Le taux d'erreur nominal de 0,05 est « invalidé » car il ne reflète pas la probabilité réelle d'erreur dans le contexte de la sélection des données. Cela constitue une violation de l'exigence de « sévérité minimale » (minimal severity requirement), laissant le chercheur avec de « mauvaises preuves, sans test » (BENT).

B. L'Approche de l'Inférence Formelle (Formal Inference Approach)

Principe : Les taux d'erreur sont déterminés exclusivement par l'inférence statistique formellement rapportée (publiée), et non par les procédures cachées ou les intentions du chercheur.
Logique :
1. Une inférence formelle est un « raisonnement hypothétique » conditionné sur une hypothèse nulle spécifique ( $H_0$ ) et une distribution d'échantillonnage spécifiée.
2. Le p-hacking est un processus de découverte (contexte de la découverte), tandis que l'inférence formelle appartient au contexte de la justification.
3. Si un chercheur rapporte une inférence individuelle sur une hypothèse spécifique ( $H_{0,2}$ ), le taux d'erreur pertinent est le taux nominal de ce test unique (0,05).
Résultat sur le p-hacking :
- Le taux d'erreur familial « réel » (basé sur les 20 tests non rapportés) est irrelevant pour l'inférence individuelle rapportée.
- Utiliser le taux d'erreur familial pour invalider un taux d'erreur individuel rapporté constitue une fallacie de division (appliquer une probabilité d'ensemble à un membre individuel).
- Par conséquent, dans cette approche, le taux d'erreur de type I n'est pas gonflé par le p-hacking. Le taux nominal reste valide pour l'inférence rapportée, car il est conditionné uniquement sur la procédure formelle déclarée.

C. La Non-Divulgation des Résultats Nuls

Rubin nuance l'impact de la non-divulgation des résultats nuls (null results) :

Dans l'approche formelle, omettre des résultats nuls ne gonfle pas le taux d'erreur statistique de type I.
Cependant, cela peut biaiser les inférences substantives (la conclusion théorique) si les résultats nuls sont considérés comme des preuves d'absence et sont théoriquement pertinents.
La solution proposée n'est pas la pré-enregistrement (preregistration) pour corriger les taux d'erreur, mais un discours rationnel critique entre pairs pour identifier les biais théoriques et les résultats nuls pertinents.

4. Signification et Implications

Pour la Philosophie des Sciences

L'article opère une séparation nette entre le contexte de la découverte (comment les hypothèses sont choisies, souvent biaisé par les résultats) et le contexte de la justification (l'évaluation logique de l'inférence rapportée). Rubin soutient que, contrairement à l'approche des erreurs, l'approche formelle suit une logique poppérienne où la validité logique d'un test ne dépend pas de l'historique psychologique de sa sélection.

Pour la Pratique de la Recherche et la Replication

Réinterprétation de la crise de la réplication : Rubin suggère que la crise de la réplication n'est pas principalement due à un gonflement des taux d'erreur de type I causé par le p-hacking (selon l'approche formelle). Au lieu de cela, elle résulte de erreurs d'interprétation substantives non reconnues (erreurs systématiques, modérateurs cachés, hypothèses auxiliaires inadéquates) que les chercheurs n'ont pas su anticiper (« inconnus inconnus »).
Rôle de la pré-enregistrement : L'article remet en question la justification de la pré-enregistrement basée sur la correction des taux d'erreur de type I. Si le taux d'erreur formel reste valide sans pré-enregistrement, la pré-enregistrement doit être justifiée par d'autres moyens (transparence, réduction des biais théoriques, gestion des hypothèses auxiliaires).
Audit et Sévérité : L'approche formelle ne nécessite pas de vérifier que toutes les hypothèses auxiliaires sont « approximativement vraies » pour que le taux d'erreur statistique soit valide (contrairement à l'approche des erreurs qui exige une vérification de sévérité). Le taux d'erreur est une probabilité conditionnelle hypothétique (« si les hypothèses sont vraies... »).

Conclusion

Mark Rubin conclut que la perception du p-hacking comme une menace absolue aux taux d'erreur de type I dépend entièrement de l'approche philosophique adoptée.

Pour l'approche des erreurs, le p-hacking est catastrophique car il rend les taux d'erreur nominaux illusoires.
Pour l'approche de l'inférence formelle, le p-hacking est un problème de sélection de données qui peut biaiser les conclusions théoriques, mais qui ne modifie pas la validité mathématique et logique des taux d'erreur de type I associés aux inférences individuelles formellement rapportées.

L'article plaide pour une clarification des fondements philosophiques dans les débats sur la méthodologie scientifique, suggérant que la solution à la crise de la réplication réside moins dans des corrections statistiques (comme la pré-enregistrement pour les taux d'erreur) que dans une meilleure reconnaissance de la finitude de nos connaissances et une critique rigoureuse des interprétations théoriques.