📊 statistics

Stop Using the Wilcoxon Test: Myth, Misconception and Misuse in IR Research

Dit artikel betoogt dat het wijdverbreide gebruik van de Wilcoxon-tekens rangtest in benchmarking voor informatiewinning gebaseerd is op een misleidend verhaal en methodologisch onhoudbaar is, omdat deze test de Type I-fouten vaak niet onder controle houdt en daarom moet worden verlaten ten gunste van betrouwbaardere statistische methoden.

Oorspronkelijke auteurs: Julián Urbano

Gepubliceerd 2026-04-29

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Julián Urbano

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een jurylid bent in een kookwedstrijd. Je hebt twee chefs, Chef X en Chef Y, en je vraagt hen om dezelfde 50 gerechten te bereiden. Je wilt weten: Is Chef X echt beter, of hadden ze gewoon geluk met de specifieke ingrediënten die ze kregen?

Om dit te beantwoorden, gebruiken onderzoekers op het gebied van Informatieretrieval (het vakgebied van zoekmachines) al decennia lang een specifiek wiskundig hulpmiddel dat de Wilcoxon-toets heet. Ze kregen van handboeken te horen dat dit hulpmiddel het "veilige, alternatieve plan" is om te gebruiken wanneer de data er rommelig of vreemd uitziet. Ze dachten dat het de "veiligheidsgordel" van de statistiek was.

Dit artikel betoogt dat de veiligheidsgordel eigenlijk een valstrik is. De auteur, Julián Urbano, zegt dat we de Wilcoxon-toets onmiddellijk moeten stoppen met gebruiken, omdat deze niet alleen faalt; hij liegt actief tegen ons, vooral in de wereld van zoekmachines.

Hier is de uiteenzetting van het argument uit het artikel met eenvoudige analogieën:

1. De Grote Mythe: "Niet-parametrisch betekent geen regels"

De Mythe: Handboeken leerden onderzoekers dat de Wilcoxon-toets "niet-parametrisch" is, wat klinkt alsof het betekent "het heeft geen regels" of "het werkt met elke soort data". Mensen dachten: "Als mijn data niet perfect glad en klokvormig is, gebruik ik gewoon Wilcoxon omdat het de 'vrije keuze'-optie is."

De Realiteit: Het artikel onthult dat Wilcoxon geen vrije keuze is. Het heeft een zeer strikte, verborgen regel: Symmetrie.

De Analogie: Stel je een wipplank voor. De Wilcoxon-toets werkt alleen als de wipplank perfect in evenwicht is. Als het gewicht aan de ene kant iets zwaarder is dan aan de andere (asymmetrie), breekt de toets.
Het Probleem: In de echte wereld van zoekmachines (IR-data) is de data bijna nooit perfect in evenwicht. Het is scheef. Door Wilcoxon te gebruiken op scheve data, proberen onderzoekers in feite een wipplank in evenwicht te houden die al omgekeerd is. Het resultaat? De toets schreeuwt "Er is een verschil!" zelfs als er geen verschil is.

2. De Misvatting: "De T-toets heeft perfecte data nodig"

De Misvatting: Mensen kregen te horen dat de standaard Student's t-toets (de "normale" toets) alleen werkt als de data een perfecte, gladde klokvorm heeft. Aangezien scores van zoekmachines vaak hoekig of discreet zijn, dachten mensen: "Oh, de t-toets zal falen, dus ik moet Wilcoxon gebruiken."

De Realiteit: De t-toets is eigenlijk veel taaier dan mensen denken.

De Analogie: Denk aan de t-toets als een zware vrachtwagen. Deze is ontworpen om op gladde snelwegen te rijden (perfecte klokvormen), maar dankzij een principe dat het "Centraal Limiettheorema" heet, kan hij eigenlijk prima over hobbelige, rotsachtige en hoekige wegen rijden. Zolang je genoeg datapunten hebt (alsof je lang genoeg rijdt), gladstrijkt de vrachtwagen de hobbels.
De Bevinding: Het artikel toont aan dat zelfs wanneer de data vreemd is, de t-toets op de weg blijft en het juiste antwoord geeft. Hij crasht niet.

3. De Catastrofale Misbruik: Waarom Wilcoxon Faalt

Het artikel voerde duizenden computersimulaties uit met echte zoekmachine-data om te zien wat er gebeurt wanneer je deze toetsen gebruikt op "rommelige" data.

De T-toets: Toen de data vreemd was (scheef, zware staarten of discreet), hield de t-toets zijn foutenrate stabiel op 5%. Hij was betrouwbaar.
De Wilcoxon-toets: Toen de data iets scheef was (asymmetrisch), ging de Wilcoxon-toets volledig uit de hand.
- De Analogie: Stel je een rookmelder voor die zo gevoelig is dat hij afgaat als je net een sneetje brood toast. In de simulaties van het artikel begon de Wilcoxon-toets, naarmate de steekproefgrootte groter werd, bijna 100% van de tijd "VUUR!" te schreeuwen (de nulhypothese verwerpen), zelfs als er helemaal geen vuur was.
- Waarom? Omdat het stopte met testen op "wie is beter" en begon te testen op "is de data scheef?". Aangezien zoekmachine-data bijna altijd scheef is, claimt de toets ten onrechte dat er een winnaar is terwijl er geen is.

4. De Conclusie: Stop met het Gebruik van de "Veilige" Optie

De auteur concludeert dat het geloof dat Wilcoxon het "veilige alternatief" is, een gevaarlijke leugen is.

De T-toets is de robuuste vrachtwagen die met echte wereld-hobbels om kan gaan.
De Wilcoxon-toets is een breekbaar glazen huis dat uit elkaar valt zodra de wind waait (asymmetrie).

Het Vonnis: Het artikel dringt er bij de Informatieretrieval-gemeenschap op aan de Wilcoxon-toets volledig te laten varen. Het blijven gebruiken creëert een vals gevoel van veiligheid en leidt onderzoekers tot het geloof dat ze verbeteringen in hun zoekmachines hebben gevonden, terwijl ze eigenlijk alleen statistische ruis hebben gevonden.

Kortom: Het "alternatieve plan" is eigenlijk degene die de meeste ongelukken veroorzaakt. Het is tijd om hem met pensioen te sturen en vast te houden aan het hulpmiddel dat echt werkt: de t-toets.

1. Probleemstelling

Bij de evaluatie van Informatieretrieval (IR) vergelijken onderzoekers systematisch de prestaties van systemen met behulp van statistische significantietests. De Student's $t$ -toets en de Wilcoxon getekende rangtoets zijn de twee dominante methoden. Een wijdverbreide overtuiging in de IR-gemeenschap, aangewakkerd door handboeken en richtlijnen, is dat de Wilcoxon-toets een "veiligere", niet-parametrische alternatief is voor de $t$ -toets wanneer scores van metrieken (bijv. NDCG, AP) niet normaal verdeeld zijn.

De auteur betoogt dat dit narratief misleidend en schadelijk is. Het kernprobleem is dat de IR-gemeenschap de Wilcoxon-toets routinematig verkeerd toepast op basis van een misverstand van de aannames ervan. Waar de $t$ -toets vaak wordt afgewezen vanwege een waargenomen niet-normaliteit van scores, wordt de Wilcoxon-toets aangenomen onder het valse uitgangspunt dat deze "vrij van aannames" is. In werkelijkheid rust de Wilcoxon-toets op een symmetrie-aanname met betrekking tot de verdeling van gepaarde verschillen. Het artikel stelt dat IR-data deze symmetrie vaak schendt, waardoor de Wilcoxon-toets de controle over zijn Type I-foutenrate (vals-positieven) verliest, terwijl de $t$ -toets robuust blijft.

2. Methodologie

Het artikel hanteert een veelzijdige aanpak die literatuurstudie, theoretische analyse en empirische simulatie combineert:

Systematische Literatuurstudie: De auteur analyseerde 25 statistiekhandboeken (die algemene statistiek, niet-parametrische statistiek en veldspecifieke toepassingen behandelen) om de oorsprong van de mythe "Wilcoxon is veiliger" te traceren. De studie richtte zich op hoe deze teksten niet-parametrische methoden definiëren, de aannames van de $t$ -toets beschrijven en de Wilcoxon-toets presenteren.
Theoretische Analyse:
- $t$ -toets: Het artikel verduidelijkt dat de $t$ -toets niet vereist dat de ruwe scores ( $X, Y$ ) normaal zijn, maar eerder dat het steekproefgemiddelde van de verschillen ( $\bar{D}$ ) ongeveer normaal is. Volgens de Centrale Limietstelling (CLT) wordt deze voorwaarde voldaan voor matige steekproefomvang, zelfs als de onderliggende verdeling van verschillen ( $D$ ) niet-normaal is.
- Wilcoxon-toets: Het artikel benadrukt dat de Wilcoxon getekende rangtoets een toets is van het mediaan, wat alleen gelijk is aan het gemiddelde als de verdeling van verschillen symmetrisch is. Als symmetrie wordt geschonden, wordt de toets effectief een toets op symmetrie in plaats van een toets op gemiddelde verschillen, wat leidt tot ongeldige $p$ -waarden.
Empirische Simulatie (Monte Carlo):
- Data Bron: Real-world IR-data werd verzameld uit TREC tracks (Web, Microblog, Deep Learning, Klinische Beslisondersteuning, Precisiemedicine), wat resulteerde in 53.703 paren van verschilsteekproeven.
- Verdelingsmodellering: De auteur simuleerde 100.000 steekproeven onder de nulhypothese ( $H_0: \mu_D = 0$ $H_{0} : μ_{D} = 0$ ) met behulp van vier specifieke niet-normale verdelingen om IR-datakarakteristieken te modelleren:
  1. Asymmetrie: Met behulp van Asymmetrisch Generaliseerde Normale (AGN) en Tukey G-and-H (TGH) verdelingen.
  2. Zware Staarten: Met behulp van Symmetrisch Generaliseerde Normale (SGN) en TGH.
  3. Discretiteit: Met behulp van Irreguliere Beta-Binomiaal (IBB) om metrieken zoals P@k en RR@k te simuleren.
  4. Multimodaliteit: (Kort besproken maar uitgesloten van gedetailleerde simulatie vanwege kwantificeringsmoeilijkheden).
- Parameters: Simulaties varieerden steekproefomvang ( $n = 5, 50, 500, 5000$ ) en niveaus van afwijking van normaliteit (van laag tot "pathologisch hoog").
- Maatstaf: De primaire maatstaf was de Type I-foutenrate bij $\alpha = 0.05$ .

3. Belangrijkste Bijdragen

A. Deconstructie van de "Mythe, Misvatting, Misbruik"

De Mythe: Niet-parametrische methoden zijn "vrij van aannames".
- Correctie: Dat zijn ze niet. De Wilcoxon-toets neemt symmetrie van de verdeling van verschillen aan. Dit is een sterkere en vaak makkelijker te schenden aanname dan de benodigde benaderende normaliteit voor het gemiddelde van de $t$ -toets.
De Misvatting: De $t$ $t$ -toets vereist normaal verdeelde scores.
- Correctie: De $t$ -toets vereist dat het steekproefgemiddelde normaal is. Door de CLT geldt dit voor IR-steekproefomvang ( $n \ge 50$ ) zelfs bij scheve of zwaarstaartige data.
Het Misbruik: Het gebruik van Wilcoxon als een "veilige" fallback voor niet-normale data.
- Correctie: Omdat IR-data vaak asymmetrisch is, introduceert het gebruik van Wilcoxon een ernstig risico op geïnfliceerde Type I-fouten, waardoor het minder veilig is dan de $t$ -toets.

B. Empirisch Bewijs van Falen

De simulaties toonden aan dat:

Discretiteit en Zware Staarten: Zowel de $t$ -toets als de Wilcoxon-toets goed presteren (met behoud van $\approx 5\%$ foutenrates) onder discrete en zwaarstaartige verdelingen, mits $n$ niet triviaal klein is.
Asymmetrie (Het Kritieke Falen):
- De $t$ -toets blijft robuust. Zelfs onder pathologische asymmetrie blijft de foutenrate dicht bij 5% voor $n \ge 500$ en inflatieert slechts licht (tot ~10%) voor $n=50$ .
- De Wilcoxon-toets faalt catastrofaal. Naarmate de steekproefomvang toeneemt, schiet de foutenrate omhoog. Onder sterke asymmetrie met $n=500$ verwierp de toets de nulhypothese bijna 100% van de tijd, zelfs wanneer er geen echt verschil bestond. Het test effectief op asymmetrie in plaats van op prestatieverschil.

C. Analyse van Inconsistenties in Handboeken

De studie onthulde dat slechts ongeveer 50% van de onderzochte handboeken expliciet de symmetrie-aanname voor de Wilcoxon-toets noemt. Veel presenteren deze vaag als een toets voor "ordinaal data" of "locatie", waardoor de kritieke symmetrie-eis wordt verduisterd. Dit gebrek aan duidelijkheid in fundamentele literatuur heeft het misbruik voortgeplant in IR-onderzoek.

4. Resultaten

Type I-foutenrates:
- Symmetrisch/Zwaarstaartig/Discreet: Beide toetsen handhavenen nominale foutenrates ( $\approx 0.05$ ).
- Asymmetrisch:
  - $t$ -toets: Foutenrates blijven dicht bij 0.05 voor $n \ge 500$ ; lichte inflatie voor $n=50$ onder extreme scheefheid.
  - Wilcoxon: Foutenrates nemen lineair toe met asymmetrie en steekproefomvang. Bij $n=5000$ met hoge asymmetrie bereikt de foutenrate 1.0 (100% vals-positief rate).
IR-data Realiteit: Analyse van TREC-data bevestigt dat IR-metriekverschillen vaak asymmetrisch zijn (scheefheid $|\gamma| \approx 0.5$ tot $3.0$), waardoor ze zich in de "gevaarszone" bevinden voor de Wilcoxon-toets.

5. Betekenis en Aanbevelingen

Terugtrekking van Wilcoxon: Het artikel concludeert dat de Wilcoxon getekende rangtoets moet worden verlaten in IR-evaluatie. Het gebruik ervan is ongerechtvaardigd omdat deze structureel vatbaar is voor falen onder de zeer omstandigheden (asymmetrie) die IR-data kenmerken.
Herbeoordeling van de $t$ -toets: De $t$ -toets wordt aanbevolen als standaard voor gepaarde vergelijkingen in IR, omdat deze robuust is voor de niet-normaliteit (scheefheid, kurtosis, discretiteit) die typerend is voor IR-metrieken, mits steekproefomvang redelijk is ( $n \ge 50$ ).
Methodologische Verschuiving: De auteur pleit voor het overstijgen van eenvoudige paarwijze hypothese-toetsing naar expliciete modellering (bijv. lineaire gemengde modellen, Generaliseerbaarheidstheorie). Deze benaderingen kunnen beter omgaan met meerdere bronnen van variantie (onderwerpen, collecties, beoordelaars) en maken aannames transparant, in plaats van te vertrouwen op "black box" significantietests.
Breder Impact: Het artikel waarschuwt tegen het importeren van methodologische regels uit andere velden zonder kritische toetsing. Het benadrukt hoe vereenvoudigingen in handboeken kunnen leiden tot decennia van methodologische fouten in een specifiek domein.

Kortom, het artikel levert een rigoureuze statistische en empirische argumentatie dat het "veilige" alternatief (Wilcoxon) in feite de riskantere keuze is in IR, en roept op tot een onmiddellijke verschuiving terug naar de $t$ -toets of meer geavanceerde modelleringkaders.