📊 statistics

Statistical Significance Revisited

Cet article examine les récentes appels à une réforme des pratiques de signification statistique — tels que l'abandon du seuil standard de 0,05 et le dépassement des tests d'hypothèses binaires — en analysant les forces et les faiblesses de ces changements proposés.

Auteurs originaux : Reason Machete

Publié 2026-05-08

📖 8 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Reason Machete

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous êtes un détective tentant de résoudre une énigme : Y a-t-il un véritable motif dans les données, ou s'agit-il simplement d'une coïncidence ?

Depuis près d'un siècle, les scientifiques utilisent un outil spécifique appelé Test de Signification (et son résultat principal, la valeur p) pour aider à répondre à cette question. Considérez la valeur p comme un « compteur de suspicion ». Si le compteur affiche une valeur très basse (généralement en dessous de 0,05, ou 5 %), le détective déclare : « C'est trop improbable pour être un hasard ; il doit y avoir un véritable motif ici ! »

Cependant, récemment, beaucoup ont soutenu que cet outil est défectueux. Ils affirment qu'il entraîne trop de « fausses alertes » (découvrir des motifs qui n'existent pas vraiment) et que le seuil de 5 % est arbitraire. Cet article, écrit par R. L. Machete, plonge en profondeur dans ces critiques et se demande : Devons-nous jeter l'outil, resserrer les règles, ou simplement apprendre à mieux l'utiliser ?

Voici une décomposition des arguments de l'article utilisant des analogies simples.

1. Les Deux Écoles de Pensée : Le Gardien de la Porte vs Le Joueur

L'article commence par expliquer l'histoire de cet outil.

Fisher (Le Gardien de la Porte) : Il a inventé le test pour voir si un résultat était « assez surprenant » pour rejeter l'idée que rien ne se passe (l'Hypothèse Nulle). Il utilisait un seuil de 5 % mais mettait en garde contre le fait de le traiter comme une loi rigide.
Neyman & Pearson (Les Joueurs) : Ils ont ajouté un second aspect au pari. Ils se sont demandé : « S'il existe vraiment un effet, quelle est la probabilité que nous le manquions ? » Ils ont introduit l'idée d'erreurs de type I (fausses alertes) et d'erreurs de type II (manquer un signal réel).

L'Analogie : Imaginez un détecteur de métaux à l'aéroport.

Fisher dit : « S'il émet un bip, c'est suspect. »
Neyman & Pearson disent : « Nous devons équilibrer les bips. Si nous le rendons trop sensible, nous attrapons chaque boucle de ceinture (erreur de type I). Si nous le rendons trop peu sensible, nous manquons de vraies armes (erreur de type II). »

2. La Grande Controverse : « Rendre les Règles Plus Strictes ! »

Récemment, certains scientifiques (comme Benjamin et al.) ont soutenu que le seuil de 5 % était trop laxiste. Ils veulent le changer à 0,5 % (ou 0,005).

Leur Logique : Si nous rendons le détecteur de métaux beaucoup plus difficile à déclencher, nous attraperons moins de fausses alertes. Cela devrait doubler le nombre de fois où nous réussissons à reproduire une expérience (réplication).
La Contre-Argumentation de l'Article : L'auteur affirme qu'il s'agit d'un compromis. Si vous rendez le détecteur plus difficile à déclencher, vous manquerez certainement plus de vraies armes (erreurs de type II).
- Le Coût : Vous pourriez cesser de faire de vraies découvertes parce que la barre est fixée si haut que seules les découvertes « super évidentes » passent.
- Les Mathématiques : L'article montre que bien que l'abaissement du seuil réduise les fausses alertes, cela ne résout pas automatiquement la « crise de la réplication » à moins que vous ne sachiez déjà combien de découvertes vraies existent au départ — ce qui est généralement impossible à savoir.

3. Le Détour « Bayésien » : Deviner les Probabilités

Certains critiques soutiennent que les valeurs p sont trompeuses car elles ne tiennent pas compte de la probabilité qu'une théorie soit vraie a priori. Ils suggèrent d'utiliser des méthodes bayésiennes, qui vous obligent à deviner la « probabilité a priori » (la probabilité que vous pensez que l'hypothèse est vraie avant même de commencer).

Le Point de Vue de l'Article : L'auteur soutient que dans le monde réel, nous ne pouvons souvent pas connaître ces probabilités a priori. Vous ne pouvez pas facilement deviner quel pourcentage de toutes les théories scientifiques sont réellement vraies.
La Métaphore : Tenter d'utiliser des méthodes bayésiennes pour chaque étude, c'est comme essayer de conduire une voiture en devinant la densité du trafic avant même de quitter l'allée. C'est une belle idée, mais en pratique, nous n'avons souvent pas ces données. L'article suggère que s'en tenir aux probabilités d'erreur (la fréquence à laquelle le test commet une erreur) est plus pratique.

4. Le Mouvement « Jeter Tout »

Certains réformateurs disent : « Arrêtez d'utiliser les valeurs p et les seuils entièrement ! Rapportez simplement les chiffres et laissez les gens décider. »

Le Point de Vue de l'Article : L'auteur pense que c'est dangereux.
- L'Analogie : Imaginez un médecin disant : « Ne me dites pas si le patient a de la fièvre ou non. Donnez-moi simplement la température et laissez-moi deviner. »
- Le Problème : Les humains sont mauvais pour prendre des décisions binaires (Oui/Non) sans une ligne claire. Si vous supprimez le seuil, vous n'avez pas supprimé la décision ; vous avez simplement caché la ligne. Finalement, quelqu'un doit toujours décider si le résultat est « assez bon ».
- Intervalles de Confiance : L'article convient que nous devrions rapporter les Intervalles de Confiance (une plage de valeurs probables), mais il soutient qu'ils ne devraient pas remplacer les valeurs p. Ils devraient fonctionner ensemble, comme une carte et une boussole.

5. Le Test de « Sévérité » : Une Nouvelle Façon de Regarder les Données

L'article introduit un concept d'une philosophe nommée Mayo appelé Sévérité.

L'Idée : Il ne suffit pas de passer un test. Vous devez vous demander : « Si cette hypothèse était fausse, quelle était la probabilité qu'elle passe quand même ce test ? »
La Métaphore : Imaginez qu'un suspect passe un détecteur de mensonges.
- Test Standard : « Ils ont passé, donc ils sont innocents. »
- Test de Sévérité : « S'ils étaient coupables, ce détecteur de mensonges spécifique les aurait-ils attrapés ? Si la machine est cassée et laisse tout le monde passer, alors « passer » ne prouve rien. Mais si la machine est très stricte et qu'ils ont quand même passé, c'est une preuve sévère d'innocence. »
L'auteur suggère d'utiliser cette pensée de « sévérité » pour creuser plus profondément dans les données plutôt que de se contenter de regarder un seul chiffre.

6. Exemple Concret : Feux de Savane Africains

Pour prouver que ces outils fonctionnent, l'auteur examine des données sur les feux en Afrique.

La Question : Les feux se produisent-ils par cycles de 5 ans ?
Le Résultat : Les mathématiques ont montré un motif fort (une valeur p très basse).
L'Application : L'auteur n'a pas simplement dit « C'est significatif ». Il a utilisé le concept de Sévérité pour dire : « Nous sommes sûrs à 95 % que le cycle est réel et non un hasard. » Ils ont également utilisé les Intervalles de Confiance pour montrer exactement à quel point ce cycle est fort.
La Leçon : Les outils ont fonctionné ensemble pour fournir une réponse claire et confiante sans avoir besoin de changer les règles du jeu.

Le Verdict Final

L'article conclut que nous sommes à un carrefour.

Ne jetez pas les outils : Les valeurs p et les tests de signification sont toujours utiles pour distinguer la vraie science du bruit.
Ne serrez pas seulement les vis : Rendre le seuil à 0,005 pourrait réduire les fausses alertes, mais cela cachera aussi de vraies découvertes.
Utilisez les outils avec sagesse : Les scientifiques devraient être les maîtres des outils, pas leurs esclaves. Ils devraient utiliser les valeurs p, les intervalles de confiance et les vérifications de sévérité ensemble pour prendre des décisions éclairées.
Le Vrai Ennemi : Le problème n'est pas les mathématiques ; c'est le comportement. Des choses comme le « data dredging » (chercher des motifs jusqu'à en trouver un) et l'« arrêt optionnel » (arrêter une expérience dès que vous obtenez un bon résultat) sont les vraies causes de la mauvaise science. Changer le seuil de la valeur p ne corrigera pas un mauvais comportement ; seule une meilleure éthique et de meilleurs incitatifs le feront.

En bref : L'article soutient que nous ne devrions pas paniquer et réécrire les règles de la statistique. Au lieu de cela, nous devrions faire confiance aux outils existants, les utiliser avec plus de nuance (comme vérifier la « sévérité ») et nous concentrer sur la correction des comportements humains qui mènent à la mauvaise science.

Résumé Technique : La Signification Statistique Revisitée

Énoncé du Problème
L'article traite de la controverse persistante entourant le test de signification de l'hypothèse nulle (NHST), en particulier la dépendance à la valeur $p$ et au seuil de signification standard de $\alpha = 0,05$ . Les récents appels à la réforme, incluant des propositions visant à abaisser le seuil à 0,005, à abandonner entièrement les tests de signification en faveur des intervalles de confiance, ou à rapporter les valeurs $p$ de manière continue sans seuils, ont suscité un débat concernant la crise de la reproductibilité en science. L'auteur identifie un manque de consensus sur la manière d'équilibrer les erreurs de type I et de type II, la validité de l'utilisation des formules de dépistage diagnostique bayésiennes pour justifier les changements de seuil, et la faisabilité de remplacer les méthodes statistiques basées sur l'erreur par la théorie de la décision ou l'analyse coût-bénéfice.

Méthodologie
L'article adopte une approche théorique et analytique pour évaluer diverses propositions de réforme. La méthodologie comprend :

Déduction Théorique : L'auteur dérive la relation entre le seuil de signification ( $\alpha$ ), le taux d'erreur de type II ( $\beta$ ) et le taux de faux positifs (FPR) en utilisant la formule de dépistage diagnostique (probabilité a posteriori bayésienne de l'hypothèse nulle). Cela implique l'analyse des dérivées partielles du FPR par rapport à $\alpha$ et $\beta$ .
Analyse des Compromis : L'article démontre mathématiquement le compromis inhérent entre les erreurs de type I et de type II dans les cadres fréquentistes, en le contrastant avec les hypothèses faites dans les modèles de dépistage diagnostique où la réduction de l'erreur de type I est affirmée réduire simultanément le FPR sans augmenter l'erreur de type II.
Modélisation de la Probabilité de Reproductibilité : La distribution des valeurs $p$ sous l'hypothèse alternative est analysée en utilisant l'approximation log-normale (basée sur Hung et al., 1997) pour dériver des formules de probabilité de reproductibilité.
Analyse de la Fonction de Coût : Un cadre de minimisation des coûts fréquentiste est construit pour déterminer les valeurs critiques optimales basées sur les coûts des erreurs de type I et de type II, en le comparant à la théorie de l'utilité espérée bayésienne.
Évaluation de la Sévérité : L'article applique la fonction de sévérité de Mayo (2018) pour évaluer les affirmations, démontrant comment la sévérité peut compléter les intervalles de confiance sans abandonner les tests d'hypothèses.
Exemple Illustratif : Les concepts théoriques sont appliqués à un jeu de données réel concernant l'autocorrélation des proportions de surfaces brûlées dans les savanes d'Afrique subsaharienne (2001–2020) pour démontrer le calcul des valeurs $p$ , des limites de confiance et de la sévérité.

Contributions Clés

Critique de la Réduction du Seuil : L'article remet en question la proposition d'abaisser le seuil de signification de 0,05 à 0,005. Il démontre que, bien que l'abaissement de $\alpha$ réduise le taux de faux positifs, il augmente inévitablement le taux d'erreur de type II ( $\beta$ ). L'auteur soutient que le bénéfice net dépend fortement du « taux de vrais positifs » (ou valeur prédictive positive) au seuil actuel, une quantité pratiquement impossible à estimer avec précision dans la plupart des domaines.
Distinction Bayésienne vs Fréquentiste : L'auteur clarifie que la formule de dépistage diagnostique utilisée par les partisans de la réduction du seuil (par exemple, Benjamin et al., 2017) est fondamentalement bayésienne, reposant sur des probabilités a priori ( $\phi$ ) souvent inconnues ou incalculables. L'article soutient que mélanger cette probabilité a posteriori bayésienne avec des probabilités d'erreur fréquentistes crée de la confusion.
Défense du Seuillage : L'article soutient que l'abandon total des seuils est impraticable car la prise de décision nécessite souvent des choix dichotomiques. Il postule que les intervalles de confiance et les valeurs $p$ sont duaux l'un de l'autre et reposent tous deux sur des seuils sous-jacents ; rapporter les valeurs $p$ de manière continue sans seuil crée simplement un « seuil non divulgué ».
Limites de l'Analyse Coût-Bénéfice : L'analyse des fonctions de coût montre que la valeur critique optimale pour minimiser le coût espéré ne correspond souvent pas aux niveaux de signification standards (par exemple, 0,05) et que, dans de nombreux scénarios réels (par exemple, le réchauffement climatique, le développement de médicaments), la quantification des coûts spécifiques des erreurs est impraticable.
La Sévérité comme Complément : L'article préconise l'utilisation de fonctions de sévérité pour sonder davantage l'espace des paramètres après un test de signification, offrant un moyen d'évaluer la force des preuves pour des affirmations spécifiques sans rejeter le cadre statistique basé sur l'erreur.

Résultats

Analyse de la Réduction du Seuil : L'analyse mathématique confirme que la réduction de $\alpha$ diminue le taux de faux positifs même lorsque $\beta$ augmente, mais l'ampleur de cette réduction est hautement sensible au rapport des cotes a priori. L'article déduit que doubler le taux de réplication via une réduction du seuil par un facteur de 10 n'est possible que si le taux de vrais positifs prévalent est exactement de 4/9.
Probabilité de Reproductibilité : L'article constate que les probabilités de reproductibilité dérivées des distributions de valeurs $p$ sont des constructions théoriques qui peuvent ne pas refléter la réalité empirique, car le scénario prévalent n'est pas nécessairement l'hypothèse alternative.
Analyse des Coûts : Dans les graphiques de fonctions de coût illustratifs, la valeur critique minimisante s'est avérée inférieure à 1,5 (correspondant à $\alpha > 0,07$ ), suggérant que les seuils standards ne sont pas toujours le choix minimisant les coûts, pourtant l'application de l'analyse des coûts est souvent limitée par l'incapacité à quantifier les coûts des erreurs.
Exemple des Feux de Savane : Dans l'application aux feux de savane, une valeur $p$ de $2,37 \times 10^{-4}$ a conduit au rejet de l'hypothèse nulle. La fonction de sévérité a confirmé que l'affirmation $\beta_1 > 0,30529$ a été validée avec une sévérité de 0,95, et la probabilité de reproductibilité calculée était de 93,8 %.

Signification et Affirmations
L'article affirme que les appels actuels à la réforme échouent souvent à prendre en compte les compromis fondamentaux entre les erreurs de type I et de type II et l'impossibilité pratique d'estimer les probabilités a priori requises pour le dépistage diagnostique bayésien. L'auteur soutient que :

Les tests de signification ne doivent pas être abandonnés, mais plutôt compris comme des outils pour contrôler les probabilités d'erreur, et non comme des preuves définitives de la vérité.
La « crise de la réplication » n'est pas uniquement une question de seuil statistique, mais implique des pratiques scientifiques plus larges (par exemple, le fouillage de données, l'arrêt optionnel).
Bien que les intervalles de confiance et les évaluations de sévérité soient des compléments précieux, ils n'éliminent pas le besoin de seuils dans la prise de décision.
La communauté scientifique ne devrait pas être « esclave » de seuils rigides, mais devrait les utiliser comme des guides tout en embrassant l'incertitude. L'auteur conclut que l'innovation prospère dans la liberté et que le seuil de 0,05, malgré ses défauts, a servi d'outil fidèle pour identifier les fausses découvertes, et que la science est ultimement autocorrectrice. L'article s'aligne sur la position de l'American Statistical Association (ASA) selon laquelle les valeurs $p$ ne devraient pas être la seule base des décisions, mais ne devraient pas être mises à la retraite.