📊 statistics

Statistical Compatibility, Refutational Information, and Acceptability

Cet article propose un cadre interprétatif fréquentiste des valeurs P et S qui les conçoit comme des indices de compatibilité et de l'information réfutative, soulignant que l'acceptabilité pratique d'un modèle dépend non seulement de la compatibilité données-modèle, mais aussi d'un jugement contextuel global intégrant les connaissances, la qualité des données et les valeurs de l'analyste.

Auteurs originaux : Alessandro Rovetta

Publié 2026-03-31

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Alessandro Rovetta

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

🌍 L'Univers de la "Petite Fiction" et le Juge de Paix

Imaginez que vous êtes un détective (l'analyste) qui enquête sur un mystère. Pour résoudre l'affaire, vous devez d'abord construire un monde imaginaire (ce que l'article appelle un "petit monde fictionnel").

Dans ce monde, vous posez des règles strictes :

Les Assomptions (A) : C'est le décor. Par exemple : "La pièce de monnaie est parfaite", "Les patients sont tous pareils", "La mesure est précise".
L'Hypothèse (Hi) : C'est votre théorie de départ. Par exemple : "La pièce n'est pas truquée" ou "Le médicament ne fait rien".

Une fois ce monde construit, vous lancez la pièce (ou vous observez les patients). Le P-value (valeur P) est simplement un indicateur qui vous dit : "Dans ce monde imaginaire où tout est parfait, à quel point est-il étrange d'observer ce résultat précis ?"

Si le P-value est grand (proche de 1) : Le résultat est tout à fait normal, comme un "6" quand on lance un dé équilibré. Tout va bien dans le monde imaginaire.
Si le P-value est petit (proche de 0) : Le résultat est très rare dans ce monde imaginaire. C'est comme obtenir 10 "6" d'affilée avec un dé normal.

⚠️ Le Piège du Mot "Incompatible"

Le problème, explique l'auteur, c'est que nous utilisons souvent le mot "incompatible" pour dire "le P-value est petit". C'est dangereux !

Imaginez que vous dites : "Ce résultat est incompatible avec le monde imaginaire". Cela sonne comme une contradiction logique, comme si le résultat était impossible. Mais ce n'est pas vrai ! Dans le monde imaginaire, obtenir 10 "6" est possible, c'est juste très rare.

L'auteur propose de changer le vocabulaire :

Au lieu de dire "Incompatible", disons "Compatibilité".
Un P-value élevé = Haute compatibilité (le résultat s'adapte bien au décor).
Un P-value faible = Faible compatibilité (le résultat fait un peu "tache" dans le décor, mais il n'est pas interdit).

C'est une nuance subtile mais cruciale : on ne dit pas que le monde imaginaire est faux, on dit juste que le résultat observé est un peu "bizarre" pour ce monde précis.

🪙 Le S-Value : La Monnaie de la Surprise

Pour mieux comprendre à quel point c'est "bizarre", l'auteur introduit le S-value. Oubliez les décimales compliquées (0,001, 0,04). Imaginez plutôt que vous jouez à un jeu de pile ou face.

Le S-value vous dit : "Combien de fois il faudrait lancer une pièce parfaite pour obtenir un résultat aussi rare que celui que vous avez vu ?"
Si le S-value est de 1 bit, c'est comme avoir obtenu 1 "Face" sur 1 lancer. Pas très surprenant.
Si le S-value est de 10 bits, c'est comme avoir obtenu 10 "Faces" d'affilée. Là, vous commencez à vous demander : "Hé, cette pièce est-elle vraiment parfaite ?"

Le S-value transforme une statistique abstraite en une expérience concrète que tout le monde comprend : la rareté d'un événement.

⚖️ La Vraie Question : Est-ce "Acceptable" ?

C'est ici que l'article devient le plus important. Avoir un résultat "rare" (un S-value élevé) ne signifie pas automatiquement qu'il faut rejeter votre hypothèse.

Imaginez deux scénarios avec la même pièce qui tombe sur "Face" 10 fois de suite :

Scénario A (Le pari facile) : Vous pariez 100 $ que la pièce est truquée. Si vous avez tort, vous perdez 0 $.
- Décision : Même avec seulement 3 "Faces" d'affilée, vous acceptez le pari ! Le risque est nul.
Scénario B (La vie ou la mort) : Vous êtes médecin. Votre hypothèse est "Ce médicament est sûr". Le résultat rare suggère qu'il pourrait tuer.
- Décision : Même avec 10 "Faces" d'affilée (un S-value élevé), vous ne rejetez pas l'hypothèse "ce médicament est sûr" trop vite. Vous voulez être absolument certain avant de dire "Non, c'est dangereux", car les conséquences d'une erreur sont terribles.

Leçon : La statistique (P-value ou S-value) ne décide pas seule. C'est vous, le décideur, qui devez peser les conséquences.

Est-ce que l'erreur coûte cher ?
Est-ce que le contexte est grave ?
Est-ce que vos données sont de bonne qualité ?

Le S-value n'est pas une preuve de vérité ou de mensonge. C'est un morceau d'information (comme un indice dans une enquête) que vous ajoutez à votre boîte à outils pour décider si le modèle reste acceptable pour votre but pratique.

🎭 La Surprise : Choc Psychologique vs Mise à jour des Croyances

L'auteur fait aussi une distinction intéressante sur la notion de "surprise" :

Surprise statistique (Shannon) : "Wow, c'est rare !" (C'est juste une mesure mathématique dans le monde imaginaire).
Surprise cognitive (Bayésienne) : "Wow, je dois changer ce que je pensais !" (C'est une mise à jour de vos croyances).

Obtenir un résultat rare ne signifie pas toujours qu'il faut changer d'avis. Parfois, c'est juste un coup de chance (un joueur de foot nul qui marque un but incroyable). On peut être surpris par l'événement sans pour autant penser que le joueur est devenu un génie du jour au lendemain.

🏁 En Résumé : Que faut-il retenir ?

Ne soyez pas dogmatique : Un petit P-value ne prouve pas que votre modèle est faux, il dit juste que le résultat est "rare" dans ce modèle.
Parlez de compatibilité : Préférez dire "le résultat est peu compatible" plutôt que "incompatible". Cela évite les malentendus.
Utilisez le S-value : Il rend la rareté plus concrète (comme des lancers de pièces).
Le contexte est roi : La statistique ne décide pas de la vérité. C'est l'humain, avec ses valeurs, ses connaissances et ses risques à gérer, qui décide si un modèle est acceptable pour une décision réelle.
Soyez humbles : Souvent, le but d'une étude n'est pas de prendre une décision finale immédiate, mais de fournir une description claire et transparente pour aider la communauté scientifique à accumuler des preuves au fil du temps.

En bref : Les chiffres racontent une histoire dans un monde imaginaire, mais c'est à vous, l'humain, de décider si cette histoire a du sens dans le monde réel.

1. Problématique

L'article adresse les risques d'interprétation et les ambiguïtés conceptuels inhérents à l'utilisation courante des valeurs P (P-values) et des valeurs S (S-values) dans le cadre fréquentiste. Le problème central réside dans la tendance à interpréter les petites valeurs P comme une preuve de « logique d'incompatibilité » ou d'impossibilité logique d'un modèle, ce qui conduit à des inférences erronées (fallacieuses).

L'auteur souligne que le langage de l'« incompatibilité » est souvent binaire (possible/impossible) et qu'il est dangereux de l'appliquer de manière graduée pour décrire la rareté des données. De plus, il existe une confusion fréquente entre la rareté statistique (dans un modèle donné) et la révision épistémique (la vérité du modèle), ainsi qu'une méconnaissance du rôle des pertes (loss functions) et du contexte décisionnel dans l'évaluation de l'acceptabilité d'un modèle.

2. Méthodologie et Cadre Théorique

L'article propose un cadre interprétatif basé sur une perspective fréquentiste descriptive, s'inspirant des travaux de Greenland, Box et d'autres. La méthodologie repose sur les concepts suivants :

Mondes fictionnels idéalisés : L'analyse statistique est conçue comme opérant dans des « petits mondes fictionnels » définis par un ensemble d'hypothèses $A$ (conditions de fond, processus de génération de données) et une hypothèse cible $H_i$ . Dans ce monde, le modèle $A + H_i$ est provisoirement considéré comme vrai.
Redéfinition de la valeur P : La valeur P est réinterprétée non pas comme une probabilité que l'hypothèse soit fausse, mais comme un indice gradué de compatibilité entre les résultats observés et les prédictions du modèle $A + H_i$ . Une valeur P élevée indique une forte compatibilité (résultat « typique »), tandis qu'une valeur faible indique une compatibilité moindre (résultat « atypique »), sans pour autant impliquer une impossibilité logique.
Distinction S-value / Incompatibilité : L'article distingue l'information réfutatoire (mesurée par la valeur S) de la réfutation épistémique du modèle. La valeur S ( $s = -\log_2 p$ ) quantifie la quantité d'information (en bits) contre l'acceptabilité pratique d'une hypothèse, conditionnellement au modèle, et non contre la vérité épistémique du modèle lui-même.
Approche décisionnelle et acceptabilité : L'évaluation passe de la simple compatibilité interne du modèle à un jugement d'acceptabilité externe. Ce jugement intègre la compatibilité données-modèle avec des facteurs contextuels : connaissances du domaine, qualité des données, plausibilité des hypothèses, et surtout la structure de perte (conséquences des erreurs de décision).
Clarification du concept de « Surprise » : L'auteur distingue soigneusement la « surprise » au sens de Shannon (rareté informationnelle dans un modèle) de la surprise au sens bayésien (révision des croyances a priori). Il met en garde contre l'utilisation de la surprise de Shannon dans des contextes appliqués où elle risque d'encourager la « fallacie d'inversion » (confondre $P(Data|H)$ avec $P(H|Data)$).

3. Contributions Clés

Les principales contributions de cet article sont :

Critique du langage de l'incompatibilité : L'auteur démontre que l'usage de termes comme « degrés d'incompatibilité » est linguistiquement et conceptuellement risqué, car le terme « incompatibilité » suggère une impossibilité binaire. Il propose de privilégier le langage de la « compatibilité graduée ».
Réorientation de la valeur S : La valeur S est présentée non pas comme une mesure de la vérité du modèle, mais comme une information réfutatoire spécifique qui alimente le jugement global de l'analyste sur l'acceptabilité d'un modèle pour un but pratique donné.
Intégration de la dimension humaine et éthique : L'article insiste sur le fait que l'acceptabilité d'un modèle n'est pas une propriété objective du modèle, mais une conclusion humaine influencée par la compétence, les intentions, les perceptions et les valeurs morales de l'analyste (via la fonction de perte).
Distinction entre description et décision : L'article propose une séparation claire entre les études individuelles (qui doivent viser une description transparente de la relation données-modèle) et les processus d'accumulation de preuves (où les jugements d'acceptabilité et les décisions pratiques sont pertinents).
Nuance sur la « Surprise » : Il offre une définition opérationnelle de la surprise comme un processus de comparaison entre hypothèses face aux données, plutôt que comme une propriété intrinsèque d'une hypothèse, tout en mettant en garde contre l'usage abusif de la surprise de Shannon.

4. Résultats et Arguments Principaux

La compatibilité est graduée, l'incompatibilité est binaire : Les résultats statistiques peuvent être plus ou moins compatibles avec un modèle, mais tant qu'ils sont dans le support de la distribution, ils ne sont pas logiquement incompatibles.
L'acceptabilité dépend du contexte : Une même quantité d'information réfutatoire (ex: 4 bits) peut conduire à des décisions différentes selon le coût des erreurs (ex: effets secondaires bénins vs anaphylaxie). Il n'existe pas d'échelle universelle de réfutation.
Rôle des S-values : Les valeurs S offrent une échelle additive (en bits) qui permet de comparer plus équitablement la force de l'information réfutatoire que les valeurs P (qui sont non-linéaires et asymétriques). Elles ancrent la rareté statistique dans une expérience physique intuitive (lancers de pièces).
Limites de l'interprétation Shannonienne : Bien que la surprise de Shannon soit défendable théoriquement, son utilisation dans la recherche clinique est déconseillée en raison du risque élevé de malentendus pour le public et les praticiens non-statisticiens.
Priorité à la description : Pour la majorité des études (surtout en épidémiologie et clinique), l'objectif premier doit être de fournir des descriptions claires et transparentes de la relation données-modèle, plutôt que de tenter de résoudre des questions d'acceptabilité pratique qui nécessitent une accumulation de preuves multi-sources.

5. Signification et Implications

Cet article a une signification majeure pour la pratique statistique moderne, notamment dans le contexte du mouvement contre la mauvaise utilisation de la signification statistique (ICAMSS) :

Responsabilisation de l'analyste : Il déplace la charge de l'interprétation du modèle vers l'analyste, qui doit explicitement intégrer ses jugements de valeur, ses connaissances du domaine et les conséquences de ses décisions.
Réduction des erreurs d'inférence : En rejetant le langage de l'incompatibilité et en clarifiant la nature descriptive des valeurs P et S, l'article vise à réduire les inférences erronées courantes (comme confondre la rareté des données avec la fausseté de l'hypothèse nulle).
Amélioration de la synthèse des preuves : En encourageant une approche « moins conditionnelle » pour les études individuelles (focalisée sur la description), l'article favorise une meilleure comparabilité et une synthèse plus robuste des résultats dans les revues systématiques et les méta-analyses.
Éthique de la recherche : Il rappelle que dans des domaines sensibles comme la médecine, la rigueur statistique doit être couplée à une évaluation éthique des conséquences des décisions prises sur la base de ces statistiques.

En résumé, Rovetta propose un cadre plus prudent et explicite pour l'interprétation des mesures fréquentistes, centré sur la description des modèles, la responsabilité de l'analyste et l'acceptabilité décisionnelle, plutôt que sur des jugements de vérité absolue ou des dichotomies simplistes.