📊 statistics

Detection coherence of tests

Cet article introduit un cadre d'évaluation de la « cohérence de détection » pour révéler que de nombreux tests statistiques largement utilisés possèdent des « angles morts » où ils ne parviennent pas à détecter de véritables effets, soutenant que les tests présentant une telle incohérence de détection devraient être abandonnés au profit d'alternatives universellement cohérentes.

Auteurs originaux : Marian Grendar

Publié 2026-08-12

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Marian Grendar

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le dilemme du détective : quand vos indices mentent

Imaginez que vous êtes un détective tentant de résoudre un mystère. Dans le monde des statistiques, ce mystère consiste souvent à déterminer si deux groupes de choses sont réellement différents ou s'ils semblent simplement différents par pur hasard. Les scientifiques utilisent des outils appelés « tests statistiques » pour agir comme leurs loupes. Ces tests examinent des données — comme la hauteur de plantes dans deux jardins différents ou les temps de survie de patients sous deux traitements différents — et demandent : « Y a-t-il un véritable signal ici, ou n'est-ce que du bruit ? »

Pour qu'un test soit un bon détective, il doit être correctement calibré. Cela signifie que les règles définissant ce qui constitue un « indice » doivent correspondre exactement à ce que le test cherche à identifier. Si un test est conçu pour repérer un type spécifique de différence, mais qu'il ignore accidentellement d'autres types de différences tout aussi réelles, il possède un « angle mort ». C'est comme un détecteur de métaux qui bipe pour les pièces de monnaie mais reste silencieux pour les lingots d'or. Si vous ne connaissez pas ce défaut, vous pourriez passer à côté d'un trésor en pensant que le sol est vide, ou vous pourriez penser avoir trouvé une pièce alors que vous avez trouvé tout autre chose. Ce document explore les angles morts cachés de certains des outils de détection les plus célèbres utilisés aujourd'hui dans la science.

La grande découverte du papier : le problème de l'« angle mort »

Ce document, écrit par M. Grendár, introduit une nouvelle façon de vérifier si ces détectives statistiques font réellement leur travail correctement. L'auteur appelle ce concept la « cohérence de détection ». En termes simples, un test est « cohérent » si son angle mort est vide — ce qui signifie qu'il peut voir chaque type de différence qu'il prétend être capable de voir. Si un test possède un angle mort, il est « incohérent », et le papier soutient que c'est un problème sérieux qui ne doit pas être ignoré.

L'auteur prouve que quatre des tests non paramétriques les plus populaires (outils utilisés lorsque les données ne suivent pas une courbe en cloche parfaite) sont en fait incohérents en termes de détection lorsqu'ils sont utilisés sans restrictions strictes. Ces quatre tests sont :

Le test de Wilcoxon–Mann–Whitney (WMW) : utilisé pour comparer deux groupes.
Le test de Kruskal–Wallis (KW) : utilisé pour comparer trois groupes ou plus.
Le test de Friedman : utilisé pour comparer des traitements dans un plan en blocs (comme tester différents engrais sur la même parcelle de terrain au fil du temps).
Le test du Log-rank : utilisé pour comparer les taux de survie, souvent dans les études médicales.

Le document démontre que ces tests possèdent un « angle mort ». Cet angle mort est un ensemble spécifique de situations où les groupes sont réellement différents, mais où la logique interne du test affirme qu'ils sont identiques. De ce fait, le test ne parvient pas à donner l'alerte.

Le moment « Eurêka » : Le piège de la variance
Pour comprendre l'angle mort du test WMW, imaginez que vous comparez la taille de deux groupes de personnes.

Groupe A : tout le monde mesure exactement 170 cm.
Groupe B : un mélange de personnes très petites et très grandes, mais dont la taille moyenne est également de 170 cm.

Le test WMW est conçu pour voir si un groupe est généralement plus grand que l'autre. Dans ce scénario, comme les moyennes sont identiques, le test pense : « Hé, ces groupes sont identiques ! » et déclare : « Aucune différence trouvée ». Mais attendez ! Le groupe B est nettement plus varié que le groupe A. Ce sont des distributions différentes. Le test est aveugle à la différence de dispersion ou de variance car son « détecteur » interne ne se soucie que de l'ordre des nombres, et non de leur écart.

Le document montre que pour le test WMW, si vous avez deux groupes avec la même moyenne mais des dispersions différentes (comme une distribution normale avec un écart-type de 1 par rapport à une autre avec un écart-type de 10), la « puissance » du test (sa capacité à trouver la différence) reste bloquée. Elle ne s'améliore pas, même si vous collectez de plus en plus de données. Elle reste à un niveau bas, ignorant la différence éternellement. L'auteur appelle cela une « découverte manquée ».

Le piège de la découverte « spécieuse »
Le problème fonctionne dans les deux sens. Le document explique également que si un test rejette l'idée que les groupes sont identiques, il peut s'agir d'une « découverte spécieuse ». Imaginez que le test sonne l'alarme parce qu'il a trouvé une différence de dispersion, mais que le chercheur pensait seulement chercher une différence de moyenne. Le test a techniquement raison de dire que les groupes sont différents, mais il donne la mauvaise raison. Le papier soutient qu'en raison de ces angles morts, ces tests peuvent conduire les scientifiques à manquer des effets réels ou à prétendre avoir trouvé des effets qui ne sont pas ce qu'ils croient être, peu importe la quantité de données collectées.

La « solution » qui n'en est pas une
Vous pourriez penser : « D'accord, ces tests ont des angles morts. Ne pouvons-nous pas simplement leur dire de ne regarder que des types spécifiques de données où l'angle mort n'existe pas ? » Le papier répond : « Oui, mais soyez prudent ».

L'auteur montre que si l'on restreint le test WMW pour qu'il ne regarde que des données où les formes des distributions sont identiques (simplement décalées vers la gauche ou la droite), l'angle mort disparaît. Cependant, le papier soutient que compter sur ces restrictions est dangereux dans le monde réel. Pourquoi ? Parce que dans la vie réelle, on sait rarement avec certitude si nos données respectent ces règles strictes. Si vous supposez que vos données respectent la règle, mais qu'en réalité elles ne le font pas, vous revenez au point de départ avec un angle mort. Le papier conclut que tenter de « sauver » ces tests par des restrictions est peu fiable.

Les « bons élèves »
Tous les tests ne sont pas défaillants. Le papier met en avant trois tests qui sont « universellement cohérents en détection », ce qui signifie qu'ils n'ont aucun angle mort. Ce sont :

Le test de Kolmogorov–Smirnov (KS) : il examine la forme entière de la distribution, et non seulement l'ordre, il voit donc tout.
Le test de Zaremba : une reformulation astucieuse du test WMW qui change les règles pour chercher un autre type de « nulle » (AUC = 1/2) au lieu de simplement des « distributions identiques ».
Le test de la Discrépance de la Moyenne Maximale (MMD) : un outil moderne qui utilise un « noyau » spécial pour comparer les distributions, et qui est prouvé capable de voir toute différence possible.

Le verdict final
La conclusion principale du papier est audacieuse : en raison de ces angles morts permanents, les quatre tests majeurs (WMW, KW, Friedman et Log-rank) devraient être abandonnés lorsqu'ils sont utilisés comme tests « non restreints » (des tests utilisés sans connaître la forme spécifique des données au préalable). L'auteur suggère que les utiliser revient à utiliser un détecteur de métaux qui ignore l'or ; autant arrêter de l'utiliser. Au lieu de cela, les scientifiques devraient passer aux alternatives cohérentes comme le test KS ou le test de Zaremba, qui ne présentent pas ces défauts cachés.

Le papier ne se contente pas de suggérer cela ; il fournit un cadre mathématique pour le prouver, montrant précisément où se trouvent les angles morts et calculant comment les tests se comportent dans ces zones. C'est un signal d'alarme pour la communauté scientifique afin qu'elle vérifie ses outils et s'assure qu'elle ne passe pas à côté des découvertes les plus importantes juste sous son nez.

Résumé technique : Cohérence de détection des tests

Énoncé du problème
L'article traite d'un défaut fondamental dans le calibrage de plusieurs tests statistiques non paramétriques largement utilisés. Plus précisément, il identifie que certains tests sont calibrés sous une hypothèse nulle ( $\mathcal{H}_0$ ) qui est strictement plus étroite que l'ensemble des distributions impliquées par le comportement asymptotique de leur statistique de test. Cette divergence crée un « angle mort » ( $\mathcal{SP}$ ) : un ensemble de distributions alternatives où la fonctionnelle de détection se comporte comme si l'hypothèse nulle était vraie (c'est-à-dire que la fonctionnelle de détection est égale à sa valeur nulle), même si ces distributions ne sont pas dans $\mathcal{H}_0$ .

Lorsqu'un test possède un angle mort non vide, il est qualifié d'incohérent en détection. Les conséquences de cette incohérence sont graves et persistantes, quel que soit la taille de l'échantillon :

Manquements aux découvertes : Lorsque le test ne rejette pas l'hypothèse, le résultat peut provenir d'une distribution située dans l'angle mort (un faux négatif par rapport à l'alternative) plutôt que de la véritable hypothèse nulle.
Découvertes fallacieuses : Lorsque le test rejette l'hypothèse, le résultat peut provenir d'une distribution située dans l'angle mort (un vrai positif par rapport à l'angle mort, mais une découverte fallacieuse par rapport à l'hypothèse nulle visée).

L'auteur soutient que la théorie non paramétrique standard néglige souvent cet écart, traitant l'hypothèse nulle et l'ensemble de détection-nul comme équivalents alors qu'ils ne le sont pas.

Méthodologie et cadre
L'article introduit un cadre formel pour évaluer la cohérence de détection, construit sur plusieurs nouvelles définitions :

Détecteur ( $\hat{D}_n$ ) : La composante d'une statistique de calibrage ( $T_n$ ) qui converge en probabilité vers une fonctionnelle de détection ( $\theta(P)$ ). L'extraction du détecteur implique le retrait des séquences d'échelle, des normalisations de variance et des estimateurs de variables de nuisance de l'expansion asymptotique de $T_n$ .
Fonctionnelle de détection ( $\theta(P)$ ) : La limite en probabilité du détecteur.
Ensemble de détection-nul ( $\mathcal{D}_0$ ) : L'ensemble de toutes les distributions $P$ où la fonctionnelle de détection est égale à sa valeur nulle ( $\theta^*$ ).
Angle mort ( $\mathcal{SP}$ ) : La différence d'ensembles $\mathcal{D}_0 \setminus \mathcal{H}_0$ .
Cohérence de détection : Un test est cohérent en détection par rapport à un domaine $\mathcal{R}$ si son angle mort au sein de ce domaine est vide ( $\mathcal{SP} \cap \mathcal{R} = \emptyset$ ). Cela équivaut à la condition que l'hypothèse alternative ( $\mathcal{H}_0^c$ ) coïncide avec l'ensemble de détection ( $\mathcal{D}$ ) sur le domaine.

L'article propose une procédure systématique (Procédure 1) pour évaluer la cohérence : identifier le détecteur et la fonctionnelle, déterminer la valeur de détection-nulle, construire l'ensemble de détection-nul, et vérifier si celui-ci coïncide avec l'hypothèse nulle sur le domaine d'intérêt.

Résultats clés
L'article applique ce cadre à quatre tests non paramétriques majeurs et trois alternatives cohérentes :

Incohérence de détection des tests non restreints :
Les tests suivants sont démontrés comme étant incohérents en détection lorsqu'ils sont appliqués comme tests non restreints (sur l'espace complet des distributions $\mathcal{P}$ ) :
- Wilcoxon–Mann–Whitney (WMW) : Calibré sous $F_1 = F_2$ , mais son détecteur (eAUC) implique un ensemble de détection-nul où $AUC = 1/2$. L'angle mort inclut des distributions ayant des moyennes égales mais des variances différentes (par exemple, $N(0,1)$ vs $N(0, \sigma^2)$ pour $\sigma \neq 1$ ).
- Kruskal–Wallis (KW) : Calibré sous $F_1 = \dots = F_K$ , mais l'ensemble de détection-nul inclut des distributions ayant des variances ou des formes différentes qui produisent des rangs moyens identiques.
- Friedman : Calibré sous l'égalité des distributions intra-blocs, mais l'angle mort inclut des scénarios où les effets de traitement s'annulent entre les blocs (par exemple, des signes alternés d'effets de traitement).
- Logrank : Calibré sous l'égalité des fonctions de survie ( $S_1 = S_2$ ), mais l'angle mort inclut des fonctions de risque croisées où l'intégrale pondérée de la différence de risque est nulle.
Pour ces tests, la puissance contre les alternatives de l'angle mort ne croît pas avec la taille de l'échantillon ; elle converge vers une valeur fixe (souvent le niveau de signification $\alpha$ ou légèrement au-dessus), se comportant de manière indiscernable d'une inflation de l'erreur de Type I si l'angle mort n'est pas reconnu.
Cohérence sous restrictions de domaine :
L'article identifie des restrictions de domaine spécifiques sous lesquelles ces tests peuvent atteindre la cohérence, bien qu'il souligne qu'il s'agit de conditions suffisantes et non de remèdes pratiques fiables :
- WMW : Cohérent sous les familles à rapport de vraisemblance monotone (MLR), incluant les familles de décalage de position.
- Logrank : Cohérent sous les familles de risques ordonnés (une classe plus large que les risques proportionnels).
- KW et Friedman : Cohérents respectivement sous le décalage de position et l'ordre stochastique cohérent par bloc.
Tests universellement cohérents en détection :
L'article démontre que les tests suivants sont universellement cohérents en détection (l'angle mort est vide sur l'ensemble de l'espace des distributions) :
- Kolmogorov–Smirnov (KS) : L'ensemble de détection-nul ( $\sup |F-G|=0$ ) coïncide exactement avec l'hypothèse nulle ( $F=G$ ).
- Test de Zaremba : Ce test recalibre la statistique WMW sous l'hypothèse $AUC = 1/2$ plutôt que $F_1 = F_2$ , alignant ainsi la nulle avec l'ensemble de détection-nul.
- Maximum Mean Discrepancy (MMD) : Avec un noyau caractéristique, $MMD^2(F, G) = 0$ si et seulement si $F=G$ , garantissant la cohérence.

Signification et revendications
L'article affirme que l'incohérence de détection est un défaut structurel qui conduit à des erreurs inférentielles permanentes (manquements et découvertes fallacieuses) qui ne peuvent être résolues en augmentant la taille de l'échantillon. Par conséquent, l'auteur affirme que les quatre tests incohérents majeurs (WMW, KW, Friedman, Logrank) « devraient être abandonnés » en tant que tests non restreints.

Le cadre fournit une base théorique pour comprendre pourquoi le calibrage sous l'ensemble de détection-nul est une condition nécessaire pour une inférence cohérente. Il distingue la cohérence de détection de la robustesse : alors que la robustesse concerne le contrôle de l'erreur de Type I sous des hypothèses violées, la cohérence de détection concerne la capacité du test à réellement détecter toutes les violations de l'hypothèse nulle. L'article suggère que les travaux futurs devraient évaluer la cohérence de détection de tous les tests non paramétriques actuels et préconise l'utilisation d'alternatives cohérentes (comme la reformulation de Zaremba du WMW ou le MMD) plutôt que les tests basés sur les rangs traditionnels lorsque l'inférence non restreinte est requise.

Le dilemme du détective : quand vos indices mentent

La grande découverte du papier : le problème de l'« angle mort »

Articles similaires