📊 statistics

Stop Using the Wilcoxon Test: Myth, Misconception and Misuse in IR Research

Cet article soutient que l'utilisation répandue du test des rangs signés de Wilcoxon dans l'évaluation des systèmes de recherche d'information repose sur un récit trompeur et est méthodologiquement défectueuse, car elle échoue fréquemment à contrôler les taux d'erreur de type I et devrait être abandonnée au profit de méthodes statistiques plus fiables.

Auteurs originaux : Julián Urbano

Publié 2026-04-29

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Julián Urbano

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous êtes un juge dans un concours de cuisine. Vous avez deux chefs, le Chef X et le Chef Y, et vous leur demandez de préparer les mêmes 50 plats. Vous voulez savoir : Le Chef X est-il réellement meilleur, ou a-t-il simplement eu de la chance avec les ingrédients spécifiques qu'on lui a donnés ?

Pour répondre à cette question, les chercheurs en Recherche d'Information (le domaine des moteurs de recherche) utilisent depuis des décennies un outil mathématique spécifique appelé le test de Wilcoxon. Les manuels leur avaient dit que cet outil était le « plan de secours sûr » à utiliser lorsque les données semblent désordonnées ou étranges. Ils pensaient qu'il était la « ceinture de sécurité » des statistiques.

Cet article soutient que la ceinture de sécurité est en réalité un piège. L'auteur, Julián Urbano, affirme que nous devons cesser d'utiliser le test de Wilcoxon immédiatement, car il ne se contente pas d'échouer ; il nous ment activement, en particulier dans le monde des moteurs de recherche.

Voici la décomposition de l'argument de l'article en utilisant des analogies simples :

1. Le Grand Mythe : « Non-paramétrique signifie sans règles »

Le Mythe : Les manuels ont enseigné aux chercheurs que le test de Wilcoxon est « non-paramétrique », ce qui semble signifier « qu'il n'a pas de règles » ou « qu'il fonctionne avec n'importe quel type de données ». Les gens pensaient : « Si mes données ne sont pas parfaitement lisses et en forme de cloche, j'utiliserai simplement Wilcoxon car c'est l'option 'tout-terrain'. »

La Réalité : L'article révèle que Wilcoxon n'est pas un tout-terrain. Il possède une règle très stricte et cachée : la Symétrie.

L'Analogie : Imaginez une balançoire. Le test de Wilcoxon ne fonctionne que si la balançoire est parfaitement équilibrée. Si le poids d'un côté est légèrement plus lourd que l'autre (asymétrie), le test se brise.
Le Problème : Dans le monde réel des moteurs de recherche (données en RI), les données ne sont presque jamais parfaitement équilibrées. Elles sont déséquilibrées. En utilisant Wilcoxon sur des données déséquilibrées, les chercheurs tentent essentiellement d'équilibrer une balançoire qui est déjà penchée. Le résultat ? Le test hurle « Il y a une différence ! » même lorsqu'il n'y en a aucune.

2. Le Malentendu : « Le test T nécessite des données parfaites »

Le Malentendu : On disait aux gens que le test t de Student standard (le test « normal ») ne fonctionne que si les données forment une courbe en cloche parfaite et lisse. Comme les scores des moteurs de recherche sont souvent irréguliers ou discrets, les gens pensaient : « Oh, le test t échouera, donc je dois utiliser Wilcoxon. »

La Réalité : Le test t est en réalité beaucoup plus robuste que les gens ne le pensent.

L'Analogie : Considérez le test t comme un camion lourd. Il a été conçu pour rouler sur des autoroutes lisses (courbes en cloche parfaites), mais grâce à un principe appelé le « Théorème Central Limite », il peut en fait gérer des routes cahoteuses, rocailleuses et irrégulières sans problème. Tant que vous avez suffisamment de points de données (comme rouler sur une distance suffisamment longue), le camion lisse les bosses.
La Découverte : L'article montre que même lorsque les données sont étranges, le test t reste sur la route et donne la bonne réponse. Il ne fait pas d'accident.

3. L'Utilisation Catastrophique : Pourquoi Wilcoxon Échoue

L'article a exécuté des milliers de simulations informatiques utilisant de vraies données de moteurs de recherche pour voir ce qui se passe lorsque l'on utilise ces tests sur des données « désordonnées ».

Le Test T : Lorsque les données étaient étranges (asymétriques, à queues lourdes ou discrètes), le test t a maintenu son taux d'erreur stable à 5 %. Il était fiable.
Le Test de Wilcoxon : Lorsque les données étaient légèrement déséquilibrées (asymétriques), le test de Wilcoxon est devenu fou.
- L'Analogie : Imaginez un détecteur de fumée si sensible qu'il se déclenche lorsque vous grillez simplement une tranche de pain. Dans les simulations de l'article, à mesure que la taille de l'échantillon augmentait, le test de Wilcoxon se mettait à hurler « INCENDIE ! » (rejetant l'hypothèse nulle) presque 100 % du temps, même lorsqu'il n'y avait aucun incendie.
- Pourquoi ? Parce qu'il a cessé de tester « qui est le meilleur » pour commencer à tester « les données sont-elles déséquilibrées ? ». Puisque les données des moteurs de recherche sont presque toujours déséquilibrées, le test prétend faussement qu'un gagnant existe alors qu'il n'y en a aucun.

4. La Conclusion : Arrêtez d'utiliser l'option « Sûre »

L'auteur conclut que la croyance selon laquelle Wilcoxon est l'« alternative sûre » est un mensonge dangereux.

Le Test T est le camion robuste qui gère les cahots du monde réel.
Le Test de Wilcoxon est une maison de verre fragile qui se brise dès que le vent souffle (asymétrie).

Le Verdict : L'article exhorte la communauté de la Recherche d'Information à cesser totalement d'utiliser le test de Wilcoxon. Continuer à l'utiliser crée un faux sentiment de sécurité et amène les chercheurs à croire qu'ils ont trouvé des améliorations dans leurs moteurs de recherche alors qu'ils ont en réalité simplement trouvé du bruit statistique.

En bref : Le « plan de secours » est en réalité celui qui cause le plus d'accidents. Il est temps de le mettre à la retraite et de s'en tenir à l'outil qui fonctionne réellement : le test t.

1. Énoncé du problème

Dans l'évaluation de la Recherche d'Information (RI), les chercheurs comparent fréquemment les performances des systèmes à l'aide de tests de signification statistique. Le test $t$ de Student et le test des rangs signés de Wilcoxon sont les deux méthodes dominantes. Une croyance répandue au sein de la communauté de la RI, alimentée par les manuels et les directives, veut que le test de Wilcoxon soit une alternative « plus sûre », non paramétrique, au test $t$ lorsque les scores de métriques (par exemple, NDCG, AP) ne suivent pas une distribution normale.

L'auteur soutient que ce récit est trompeur et néfaste. Le problème central réside dans le fait que la communauté de la RI applique systématiquement le test de Wilcoxon sur la base d'une incompréhension de ses hypothèses. Alors que le test $t$ est souvent rejeté en raison d'une non-normalité perçue des scores, le test de Wilcoxon est adopté sous le faux postulat qu'il est « sans hypothèses ». En réalité, le test de Wilcoxon repose sur une hypothèse de symétrie concernant la distribution des différences appariées. L'article postule que les données de RI violent souvent cette symétrie, ce qui fait perdre au test de Wilcoxon le contrôle de son taux d'erreur de type I (faux positifs), tandis que le test $t$ reste robuste.

2. Méthodologie

L'article adopte une approche multifacette combinant une revue de littérature, une analyse théorique et une simulation empirique :

Revue systématique de la littérature : L'auteur a analysé 25 manuels de statistiques (couvrant les statistiques générales, les statistiques non paramétriques et les applications spécifiques au domaine) pour retracer les origines du mythe « Wilcoxon est plus sûr ». La revue s'est concentrée sur la manière dont ces textes définissent les méthodes non paramétriques, décrivent les hypothèses du test $t$ et présentent le test de Wilcoxon.
Analyse théorique :
- Test $t$ : L'article clarifie que le test $t$ n'exige pas que les scores bruts ( $X, Y$ ) soient normaux, mais plutôt que la moyenne de l'échantillon des différences ( $\bar{D}$ ) soit approximativement normale. Selon le théorème central limite (TCL), cette condition est remplie pour des tailles d'échantillon modérées, même si la distribution sous-jacente des différences ( $D$ ) est non normale.
- Test de Wilcoxon : L'article souligne que le test des rangs signés de Wilcoxon est un test de la médiane, qui n'est égale à la moyenne que si la distribution des différences est symétrique. Si la symétrie est violée, le test devient effectivement un test de symétrie plutôt qu'un test de différences de moyennes, conduisant à des valeurs $p$ invalides.
Simulation empirique (Monte Carlo) :
- Source de données : Des données réelles de RI ont été collectées à partir de pistes TREC (Web, Microblog, Deep Learning, Aide à la décision clinique, Médecine de précision), générant 53 703 échantillons de différences appariées.
- Modélisation de la distribution : L'auteur a simulé 100 000 échantillons sous l'hypothèse nulle ( $H_0: \mu_D = 0$ $H_{0} : μ_{D} = 0$ ) en utilisant quatre distributions non normales spécifiques pour modéliser les caractéristiques des données de RI :
  1. Asymétrie : Utilisation des distributions Normale Généralisée Asymétrique (AGN) et Tukey G-and-H (TGH).
  2. Épaisseur des queues : Utilisation des distributions Normale Généralisée Symétrique (SGN) et TGH.
  3. Discrétion : Utilisation de la loi Bêta-Binomiale Irrégulière (IBB) pour simuler des métriques comme P@k et RR@k.
  4. Multimodalité : (Brièvement discutée mais exclue de la simulation détaillée en raison de difficultés de quantification).
- Paramètres : Les simulations ont fait varier les tailles d'échantillon ( $n = 5, 50, 500, 5000$ ) et les niveaux de déviation par rapport à la normalité (de faible à « pathologiquement élevé »).
- Métrique : La métrique principale était le taux d'erreur de type I à $\alpha = 0.05$ .

3. Contributions clés

A. Déconstruction du « Mythe, Méconnaissance, Mauvaise utilisation »

Le Mythe : Les méthodes non paramétriques sont « sans hypothèses ».
- Correction : Ce n'est pas le cas. Le test de Wilcoxon suppose la symétrie de la distribution des différences. C'est une hypothèse plus forte et souvent plus facilement violée que la normalité approximative requise pour la moyenne du test $t$ .
La Méconnaissance : Le test $t$ $t$ exige des scores distribués normalement.
- Correction : Le test $t$ exige que la moyenne de l'échantillon soit normale. Grâce au TCL, cela est vrai pour les tailles d'échantillon en RI ( $n \ge 50$ ), même avec des données asymétriques ou à queues épaisses.
La Mauvaise utilisation : Utiliser Wilcoxon comme solution de repli « sûre » pour des données non normales.
- Correction : Étant donné que les données de RI sont fréquemment asymétriques, l'utilisation de Wilcoxon introduit un risque sévère d'erreur de type I gonflée, le rendant moins sûr que le test $t$ .

B. Preuves empiriques de l'échec

Les simulations ont démontré que :

Discrétion et épaisseur des queues : Le test $t$ et le test de Wilcoxon fonctionnent bien (maintenant des taux d'erreur d'environ 5 %) sous des distributions discrètes et à queues épaisses, à condition que $n$ ne soit pas trivialement petit.
Asymétrie (L'échec critique) :
- Le test $t$ reste robuste. Même sous une asymétrie pathologique, le taux d'erreur reste proche de 5 % pour $n \ge 500$ et ne s'infiltre légèrement (jusqu'à environ 10 %) que pour $n=50$ .
- Le test de Wilcoxon échoue de manière catastrophique. À mesure que la taille de l'échantillon augmente, le taux d'erreur s'envole. Sous une forte asymétrie avec $n=500$ , le test rejette l'hypothèse nulle près de 100 % du temps, même en l'absence de véritable différence. Il teste essentiellement l'asymétrie plutôt que la différence de performance.

C. Analyse des incohérences des manuels

La revue a révélé que seulement environ 50 % des manuels sondés mentionnent explicitement l'hypothèse de symétrie pour le test de Wilcoxon. Beaucoup le présentent vaguement comme un test pour « données ordinales » ou « localisation », obscurcissant l'exigence critique de symétrie. Ce manque de clarté dans la littérature fondamentale a propagé la mauvaise utilisation dans la recherche en RI.

4. Résultats

Taux d'erreur de type I :
- Symétrique / À queues épaisses / Discret : Les deux tests maintiennent des taux d'erreur nominaux ( $\approx 0.05$ ).
- Asymétrique :
  - Test $t$ : Les taux d'erreur restent proches de 0,05 pour $n \ge 500$ ; légère inflation pour $n=50$ sous une asymétrie extrême.
  - Wilcoxon : Les taux d'erreur augmentent linéairement avec l'asymétrie et la taille de l'échantillon. À $n=5000$ avec une forte asymétrie, le taux d'erreur atteint 1,0 (taux de faux positifs de 100 %).
Réalité des données de RI : L'analyse des données TREC confirme que les différences de métriques de RI sont fréquemment asymétriques (asymétrie $|\gamma| \approx 0.5$ à $3.0$), les plaçant dans la « zone de danger » pour le test de Wilcoxon.

5. Importance et recommandations

Retrait de Wilcoxon : L'article conclut que le test des rangs signés de Wilcoxon devrait être abandonné dans l'évaluation de la RI. Son utilisation est injustifiée car il est structurellement sujet à l'échec dans les conditions mêmes (asymétrie) qui caractérisent les données de RI.
Réévaluation du test $t$ : Le test $t$ est recommandé comme norme pour les comparaisons appariées en RI, car il est robuste à la non-normalité (asymétrie, kurtose, discrétion) typique des métriques de RI, à condition que les tailles d'échantillon soient raisonnables ( $n \ge 50$ ).
Changement méthodologique : L'auteur préconise de dépasser le simple test d'hypothèse par paires pour aller vers une modélisation explicite (par exemple, modèles linéaires mixtes, théorie de la généralisabilité). Ces approches peuvent mieux gérer les multiples sources de variance (sujets, collections, évaluateurs) et rendre les hypothèses transparentes, plutôt que de s'appuyer sur des tests de signification « boîte noire ».
Impact plus large : L'article met en garde contre l'importation de règles méthodologiques d'autres domaines sans examen critique. Il souligne comment les simplifications des manuels peuvent entraîner des décennies d'erreurs méthodologiques dans un domaine spécifique.

En résumé, l'article fournit un argument statistique et empirique rigoureux selon lequel l'alternative « sûre » (Wilcoxon) est en réalité le choix plus risqué en RI, et appelle à un changement immédiat vers le test $t$ ou des cadres de modélisation plus sophistiqués.