Stop Using the Wilcoxon Test: Myth, Misconception and Misuse in IR Research

1. Enunciazione del Problema

Nella valutazione dell'Information Retrieval (IR), i ricercatori confrontano frequentemente le prestazioni dei sistemi utilizzando test di significatività statistica. Il test t di Student e il test dei ranghi con segno di Wilcoxon sono i due metodi dominanti. Una credenza diffusa nella comunità IR, alimentata da manuali e linee guida, vuole che il test di Wilcoxon sia un'alternativa "più sicura" e non parametrica al test t quando i punteggi delle metriche (ad esempio NDCG, AP) non sono distribuiti normalmente.

L'autore sostiene che questa narrazione è fuorviante e dannosa. Il problema di fondo è che la comunità IR applica routinariamente il test di Wilcoxon basandosi su un fraintendimento delle sue assunzioni. Mentre il test t viene spesso rifiutato a causa della presunta non-normalità dei punteggi, il test di Wilcoxon viene adottato sulla falsa premessa che sia "privo di assunzioni". In realtà, il test di Wilcoxon si basa su un'assunzione di simmetria riguardante la distribuzione delle differenze appaiate. Il documento ipotizza che i dati IR violino spesso questa simmetria, causando una perdita di controllo del test di Wilcoxon sul suo tasso di errore di Tipo I (falsi positivi), mentre il test t rimane robusto.

2. Metodologia

Il documento adotta un approccio multifacciale che combina revisione della letteratura, analisi teorica e simulazione empirica:

• Revisione Sistematica della Letteratura: L'autore ha analizzato 25 manuali di statistica (che coprono statistica generale, statistica non parametrica e applicazioni specifiche di settore) per tracciare le origini del mito del "Wilcoxon più sicuro". La revisione si è concentrata su come questi testi definiscono i metodi non parametrici, descrivono le assunzioni del test t e presentano il test di Wilcoxon.
• Analisi Teorica:
  • Test t: Il documento chiarisce che il test t non richiede che i punteggi grezzi ($X, Y$) siano normali, ma piuttosto che la media campionaria delle differenze ($\bar{D}$) sia approssimativamente normale. Per il Teorema del Limite Centrale (CLT), questa condizione è soddisfatta per dimensioni campionarie moderate anche se la distribuzione sottostante delle differenze ($D$) non è normale.
  • Test di Wilcoxon: Il documento evidenzia che il test dei ranghi con segno di Wilcoxon è un test della mediana, che è uguale alla media solo se la distribuzione delle differenze è simmetrica. Se la simmetria viene violata, il test diventa effettivamente un test di simmetria piuttosto che un test delle differenze di media, portando a valori p non validi.
• Simulazione Empirica (Monte Carlo):
  • Fonte Dati: Dati IR reali sono stati raccolti da track TREC (Web, Microblog, Deep Learning, Supporto alle Decisioni Cliniche, Medicina di Precisione), producendo 53.703 campioni di differenze appaiate.
  • Modellazione della Distribuzione: L'autore ha simulato 100.000 campioni sotto l'ipotesi nulla ($H_0: \mu_D = 0$) utilizzando quattro distribuzioni non normali specifiche per modellare le caratteristiche dei dati IR:
    1. Asimmetria: Utilizzando distribuzioni Normali Generalizzate Asimmetriche (AGN) e Tukey G-and-H (TGH).
    2. Coda Pesante: Utilizzando distribuzioni Normali Generalizzate Simmetriche (SGN) e TGH.
    3. Discretezza: Utilizzando la Beta-Binomiale Irregolare (IBB) per simulare metriche come P@k e RR@k.
    4. Multimodalità: (Breve discussione ma esclusa dalla simulazione dettagliata a causa delle difficoltà di quantificazione).
  • Parametri: Le simulazioni hanno variato le dimensioni campionarie ($n = 5, 50, 500, 5000$) e i livelli di deviazione dalla normalità (da bassi a "patologicamente alti").
  • Metrica: La metrica principale è stata il tasso di errore di Tipo I a $\alpha = 0.05$.

3. Contributi Chiave

A. Decostruzione del "Mito, Fraintendimento, Abuso"

1. Il Mito: I metodi non parametrici sono "pronti di assunzioni".
   • Correzione: Non lo sono. Il test di Wilcoxon assume la simmetria della distribuzione delle differenze. Questa è un'assunzione più forte e spesso più facilmente violata rispetto alla normalità approssimata richiesta per la media del test t.
2. Il Fraintendimento: Il test t richiede punteggi distribuiti normalmente.
   • Correzione: Il test t richiede che la media campionaria sia normale. Grazie al CLT, questo vale per le dimensioni campionarie IR ($n \ge 50$) anche con dati asimmetrici o a coda pesante.
3. L'Abuso: Utilizzare Wilcoxon come fallback "sicuro" per dati non normali.
   • Correzione: Poiché i dati IR sono frequentemente asimmetrici, l'uso di Wilcoxon introduce un grave rischio di errori di Tipo I inflazionati, rendendolo meno sicuro del test t.

B. Evidenza Empirica del Fallimento

Le simulazioni hanno dimostrato che:

• Discretezza e Code Pesanti: Sia il test t che il test di Wilcoxon funzionano bene (mantenendo tassi di errore $\approx 5\%$) sotto distribuzioni discrete e a coda pesante, purché $n$ non sia trivialmente piccolo.
• Asimmetria (Il Fallimento Critico):
  • Il test t rimane robusto. Anche sotto asimmetria patologica, il tasso di errore rimane vicino al 5% per $n \ge 500$ e si inflaziona leggermente (fino a ~10%) per $n=50$.
  • Il test di Wilcoxon fallisce catastroficamente. All'aumentare della dimensione campionaria, il tasso di errore schizza alle stelle. Sotto forte asimmetria con $n=500$, il test rifiuta l'ipotesi nulla quasi il 100% delle volte, anche quando non esiste alcuna differenza reale. Effettivamente testa l'asimmetria piuttosto che la differenza di prestazioni.

C. Analisi delle Incoerenze nei Manuali

La revisione ha rivelato che solo circa il 50% dei manuali esaminati menziona esplicitamente l'assunzione di simmetria per il test di Wilcoxon. Molti lo presentano vagamente come un test per "dati ordinali" o "posizione", oscurando il requisito critico di simmetria. Questa mancanza di chiarezza nella letteratura fondamentale ha propagato l'abuso nella ricerca IR.

4. Risultati

• Tassi di Errore di Tipo I:
  • Simmetrico/Coda Pesante/Discreto: Entrambi i test mantengono tassi di errore nominali ($\approx 0.05$).
  • Asimmetrico:
    • Test t: I tassi di errore rimangono vicini a 0.05 per $n \ge 500$; leggera inflazione per $n=50$ sotto skew estremo.
    • Wilcoxon: I tassi di errore aumentano linearmente con l'asimmetria e la dimensione campionaria. A $n=5000$ con alta asimmetria, il tasso di errore raggiunge 1.0 (100% di tasso di falsi positivi).
• Realtà dei Dati IR: L'analisi dei dati TREC conferma che le differenze delle metriche IR sono frequentemente asimmetriche (skewness $|\gamma| \approx 0.5$ a $3.0$), collocandole nella "zona di pericolo" per il test di Wilcoxon.

5. Significato e Raccomandazioni

• Ritiro di Wilcoxon: Il documento conclude che il test dei ranghi con segno di Wilcoxon dovrebbe essere abbandonato nella valutazione IR. Il suo uso è ingiustificato perché è strutturalmente soggetto a fallimento nelle stesse condizioni (asimmetria) che caratterizzano i dati IR.
• Rivalutazione del Test t: Il test t è raccomandato come standard per i confronti appaiati in IR, poiché è robusto alla non-normalità (skewness, curtosi, discretezza) tipica delle metriche IR, a condizione che le dimensioni campionarie siano ragionevoli ($n \ge 50$).
• Cambiamento Metodologico: L'autore sostiene di andare oltre il semplice test di ipotesi a coppie verso la modellazione esplicita (ad esempio, modelli lineari misti, Teoria della Generalizzabilità). Questi approcci possono gestire meglio le molteplici fonti di varianza (temi, collezioni, valutatori) e rendere trasparenti le assunzioni, piuttosto che affidarsi a test di significatività "scatola nera".
• Impatto Più Ampio: Il documento mette in guardia contro l'importazione di regole metodologiche da altri campi senza scrutinio. Evidenzia come le semplificazioni dei manuali possano portare a decenni di errori metodologici in un dominio specifico.

In sintesi, il documento fornisce un argomento statistico ed empirico rigoroso secondo cui l'alternativa "sicura" (Wilcoxon) è in realtà la scelta più rischiosa in IR, e chiede un immediato ritorno al test t o a framework di modellazione più sofisticati.