📊 statistics

Wilcoxon-Mann-Whitney Test of No Group Discrimination

Questo articolo corregge il comune equivoco secondo cui il test di Wilcoxon-Mann-Whitney valuti l'uguaglianza delle distribuzioni ( $F=G$ ) o la dominanza stocastica, dimostrando invece che esso testa specificamente se l'Area Sotto la Curva (AUC) sia uguale a 0,5, fornendo al contempo la distribuzione asintotica derivata e le correzioni del bias per campioni finiti per questo statistico standardizzato.

Autori originali: Marian Grendar

Pubblicato 2026-07-22

📖 7 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Marian Grendar

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Il Grande Malinteso Statistico

Immaginate di essere un detective che cerca di risolvere un mistero: "Questi due gruppi di persone sono davvero diversi?". Nel mondo della statistica, questo è un classico problema. Avete due pile di dati — forse i punteggi di un test di due diverse scuole, o i tempi di reazione di due gruppi di atleti. Per capire se le pile siano davvero distinte, gli statistici usano da tempo uno strumento famoso chiamato test di Wilcoxon-Mann-Whitney (WMW). Pensate a questo test come a un arbitro in una gara. Non gli importa della velocità esatta di ogni corridore; invece, guarda chi è arrivato avanti rispetto a chi. Se il Gruppo A batte costantemente il Gruppo B, l'arbitro alza una bandiera e dice: "Questi gruppi sono diversi!".

Per decenni, il regolamento di questo arbitro è stato semplice ma un po' frainteso. La spiegazione standard era che il test verifica se i due gruppi provengono dalla stessa identica "distribuzione" — un modo elegante per dire: "Queste due pile di numeri si somigliano in ogni singolo aspetto?". Se non si somigliano, il test dovrebbe urlare "Diversi!". Tuttavia, questo articolo sostiene che l'arbitro stia guardando il tabellone sbagliato. L'autore, M. Grendár, suggerisce che il test non stia effettivamente controllando se le pile siano identiche; sta controllando qualcosa di molto più specifico: "Un gruppo ha una possibilità migliore di battere l'altro in un incontro uno-contro-uno casuale?". Questo è noto come "Area Sotto la Curva" o AUC. Se l'AUC è 0,5, significa che l'incontro è un lancio di moneta, e i gruppi sono indistinguibili per quanto riguarda chi vince. Se è qualsiasi altra cosa, un gruppo ha un vantaggio sistematico. Perché questo è importante? Perché se usate il vecchio regolamento quando i gruppi sono diversi in modi strani (come avere distribuzioni di dati diverse ma la stessa media), l'arbitro potrebbe confondersi e darvi la risposta sbagliata.

Il Colpo di Scena: Non si tratta di "Sembrare Uguali"

L'articolo inizia evidenziando un difetto logico nel modo in cui abbiamo usato questo test per anni. Tradizionalmente, i libri di testo dicono che il test WMW verifica l'ipotesi nulla: "I due gruppi sono identici ( $F = G$ )". Se il test trova una differenza, significa che i gruppi non sono identici. Ma l'autore dimostra che questo è troppo ampio.

Per dimostrarlo, l'autore esegue una simulazione con due gruppi di dati che sono decisamente non identici. Immaginate che un gruppo di corridori sia molto costante (corrono tutti alla stessa velocità), mentre l'altro gruppo sia caotico (alcuni corrono velocissimi, altri molto lentamente). Statisticamente, questi due gruppi sono diversi; le loro forme sono totalmente distinte. Secondo il vecchio regolamento, il test WMW dovrebbe segnalarli come diversi. Ma ecco il colpo di scena: quando l'autore ha eseguito il test 10.000 volte su questi gruppi disallineati, il risultato è stato quasi esattamente 0,5. Il test si è comportato come se i gruppi fossero identici, anche se chiaramente non lo erano.

Questo crea una contraddizione. Se il test sosteneva di controllare la "totale uguaglianza", avrebbe dovuto urlare "Diversi!" quando le forme erano così diverse. Invece, è rimasto in silenzio. L'autore conclude che il test non sta affatto controllando se i gruppi si somigliano; sta controllando una domanda molto più ristretta: "La probabilità che una persona casuale del Gruppo A batta una persona casuale del Gruppo B è uguale al 50%?". In parole dell'autore, il test sta in realtà controllando se l'AUC = 0,5.

Il Vero Obiettivo: Chi Vince l'Uno-Contro-Uno?

Quindi, cosa sta facendo realmente il test? L'articolo sostiene che il test WMW sia uno strumento di "discriminazione". Chiede: Se scegli una persona dal Gruio A e una dal Gruppo B e le fai correre, chi ha più probabilità di vincere?

Se la risposta è "È un lancio di moneta al 50/50", l'AUC è 0,5, e il test dice: "Nessuna discriminazione qui".
Se il Gruppo A vince il 60% delle volte, l'AUC è 0,6, e il test dice: "C'è un vantaggio sistematico!".

L'articolo sottolinea che l'ipotesi alternativa tradizionale (l'idea che i gruppi siano diversi) è troppo stretta. Spesso si pensa che il test funzioni solo se un gruppo è strettamente "migliore" dell'altro in linea retta (come un gruppo che corre sempre più veloce dell'altro). Ma l'autore evidenzia che il test è in realtà coerente contro qualsiasi situazione in cui l'AUC non sia 0,5. Ciò include scenari disordinati in cui i gruppi si incrociano più volte, purché ci sia un vantaggio netto per una parte. Il test è un maestro nel rilevare "chi vince l'incontro", non "chi sembra uguale".

Correggere la Matematica: Il Problema del "Bias"

Una volta stabilito che il test riguarda realmente l'AUC, l'autore si è reso conto che la matematica che abbiamo usato per calcolare la "fiducia" nei risultati era leggermente errata. Le vecchie formule assumevano che i gruppi fossero identici in ogni modo, il che portava a un piccolo ma reale errore (chiamato "bias" o distorsione) nei calcoli, specialmente quando i campioni erano piccoli.

L'articolo deriva un nuovo modo corretto per calcolare la varianza (la dispersione dei risultati).

Il Problema: La vecchia matematica non teneva conto del fatto che stiamo stimando l'AUC da un campione finito, il che introduce un minuscolo bias verso l'alto.
La Soluzione: L'autore crea una formula "corretta per il bias". Dimostra che se si sottrae un fattore di correzione specifico (che dipende dalla dimensione del campione), si ottiene un quadro molto più accurato dell'incertezza.
Il Risultato: Fornisce un nuovo modo per costruire intervalli di confidenza (l'intervallo dove probabilmente si trova la risposta vera) che funziona anche quando i dati presentano "pareggi" (quando due corridori finiscono esattamente allo stesso tempo). Questo è fondamentale perché i dati del mondo reale raramente sono perfetti; spesso presentano pareggi.

L'autore menziona anche che per gruppi molto piccoli (meno di 20 persone in totale), la matematica standard non è affatto affidabile, quindi raccomanda un metodo diverso chiamato "test di permutazione studentizzato", che è come far correre la gara ancora e ancora in una simulazione al computer per vedere cosa succede.

Il Toolkit: Un Nuovo Modo per Correre la Gara

Per assicurarsi che le persone possano effettivamente utilizzare queste nuove scoperte, l'autore ha sviluppato un pacchetto R chiamato wmwAUC. Questo software offre due modi principali per eseguire il test:

Il metodo "Exact Unbiased" (EU - Esatto Senza Distorsione): Questo è il gold standard raccomandato dall'autore. Gestisce perfettamente i pareggi e utilizza la nuova matematica corretta. È la scelta più affidabile, specialmente per i gruppi più piccoli.
Il metodo "Bias-Corrected" (BC - Corretto per il Bias): Questo è un approccio leggermente più conservativo che cerca di essere extra-cauto.

L'articolo sottolinea che, sebbene i vecchi metodi possano funzionare bene in casi semplici, possono fallire quando i dati sono disordinati o quando i gruppi sono diversi in modi insoliti (come avere varianze diverse). I nuovi metodi assicurano che quando dite "questi gruppi sono diversi", stiate effettivamente parlando di una reale differenza in chi vince gli incontri, e non di un'illusione statistica causata dall'uso della formula sbagliata.

La Conclusione

In breve, questo articolo è una correzione a un malinteso di lunga data nella statistica. Ci dice che il test di Wilcoxon-Mann-Whitney non è un rilevatore generale di "i gruppi sono identici?". È un rilevatore specifico di "chi vince l'incontro?". Spostando il nostro focus dall'uguaglianza della distribuzione all'AUC = 0,5, e correggendo la matematica per tenere conto dei piccoli campioni e dei pareggi, otteniamo un quadro molto più chiaro e onesto di se due gruppi siano davvero diversi. L'autore non si limita a indicare l'errore; fornisce le formule corrette e gli strumenti software per risolverlo, garantendo che i futuri detective ottengano il verdetto giusto.

Sintesi Tecnica: Test di Wilcoxon-Mann-Whitney sulla Assenza di Discriminazione tra Gruppi

Enunciato del Problema
L'articolo contesta la formulazione tradizionale del test di Wilcoxon-Mann-Whitney (WMW), che viene ampiamente insegnata e implementata come un test di uguaglianza distributiva ( $H_0: F = G$ ) rispetto ad alternative di dominanza stocastica o disuguaglianza generale ( $H_1: F \neq G$ ). L'autore sostiene che tale formulazione sia logicamente errata. Nello specifico, il test può non rifiutare l'ipotesi nulla anche quando le distribuzioni sottostanti $F$ e $G$ sono distinte (ad esempio, distribuzioni normali con medie identiche ma varianze diverse). In tali casi, l'ipotesi nulla tradizionale $F=G$ è falsa, eppure il test statistico si concentra sul suo valore nullo, creando una contraddizione. Il documento postula che il test WMW non testi in realtà l'uguaglianza distributiva, bensì l'assenza di una discriminazione sistematica tra coppie.

Metodologia e Quadro Teorico
L'articolo ridefinisce il test statistico WMW come l'Area Sotto la Curva empirica (eAUC), dove $\hat{A} = \frac{U}{n_1 n_2} = \widehat{P}(X < Y)$ . I contributi metodologici centrali riguardano la derivazione della corretta distribuzione asintotica e delle proprietà in campioni finiti di tale statistica sotto l'ipotesi nulla rivista.

Formulazione Corretta dell'Ipotesi:
L'articolo stabilisce che il test WMW testa effettivamente:
- Nulla: $H_0: \text{AUC} = 0.5$ (Assenza di discriminazione tra gruppi).
- Alternativa: $H_1: \text{AUC} \neq 0.5$ (Dominanza sistematica tra coppie).
  Ciò si allinea al risultato di consistenza di Van Dantzig (1951), il quale ha dimostrato che il test è consistente contro qualsiasi alternativa in cui $P(Y < X) \neq 0.5$ , indipendentemente dal fatto che sussista la dominanza stocastica.
Distribuzione Asintotica:
L'autore deriva la distribuzione asintotica della AUC empirica standardizzata sotto $H_0: \text{AUC} = A_0$ . Utilizzando la teoria delle U-statistiche e le proiezioni di Hoeffding, il documento dimostra che $\sqrt{n}(\hat{A} - A_0)$ converge a una distribuzione normale $N(0, \sigma^2)$ , dove la varianza $\sigma^2$ dipende dalle varianze delle variabili di posizionamento $G(X)$ e $F(Y)$ . Fondamentalmente, questa struttura di varianza differisce dallo stimatore di varianza tradizionale derivato sotto l'assunzione $F=G$ .
Correzione del Bias in Campioni Finiti:
L'articolo identifica un bias in campioni finiti negli stimatori di varianza ingenui delle variabili di posizionamento. Esso deriva i termini esatti di bias di ordine $O(n^{-1})$ e propone stimatori corretti per il bias ( $\hat{\zeta}^{2*}$ ) che sottraggono questi componenti esatti di bias.
Gestione dei Legami (Ties):
Riconoscendo che i dati del mondo reale contengono spesso legami, l'articolo estende la teoria a variabili discrete o continue discretizzate utilizzando un kernel di rango medio $h(x,y) = 1\{x < y\} + \frac{1}{2}1\{x=y\}$ .
- Viene derivato uno stimatore di varianza non distorto esatto per campioni finiti tramite una combinazione lineare della varianza campionaria aggregata e delle varianze delle medie di riga/colonna (Teorema 1).
- Si dimostra che la distribuzione asintotica in presenza di legami mantiene la stessa forma normale, con componenti di varianza corrette per i legami che coinvolgono le probabilità dei legami ( $\pi_X, \pi_Y$ ).
Inferenza e Implementazione:
L'articolo propone la costruzione di intervalli di confidenza per la "pseudomediana" (il parametro di spostamento $\theta$ tale che $\text{AUC}(X, Y+\theta) = 0.5$ ) invertendo il test d'ipotesi. Due metodi di inferenza specifici sono implementati nel pacchetto R wmwAUC:
- Esatto Non Distorto (EU): Utilizza lo stimatore di varianza esatto non distorto per campioni finiti (Teorema 1) e un test di permutazione studentizzato per piccoli campioni ( $n < 20$ ).
- Corretto per il Bias (BC): Applica la correzione del bias derivata per i dati continui alle componenti di varianza, anche in presenza di legami (validata empiricamente).

Risultati Chiave

Consistenza Logica: Il documento dimostra che sotto $H_0: \text{AUC} = 0.5$ , la statistica del test si comporta correttamente anche quando $F \neq G$ (ad esempio, nel caso di varianze diseguali con medie uguali), risolvendo la contraddizione per cui il test tradizionale non riesce a rifiutare un'ipotesi $F=G$ falsa.
Stima della Varianza: Gli stimatori di varianza derivati (sia asintotici che esatti per campioni finiti) si dimostrano consistenti e non distorti sotto la corretta ipotesi nulla. Il documento fornisce formule esplicite per questi stimatori, inclusi gli aggiustamenti per i legami e il bias in campioni finiti.
Performance: Le simulazioni Monte Carlo (riferite nel testo) indicano che il metodo Corretto per il Bias (BC) può perdere potenza in piccoli campioni, mentre il metodo Esatto Non Distorto (EU) mantiene la dimensione nominale e conserva la potenza. Di conseguenza, il metodo EU è raccomandato come predefinito.

Significato e Rivendicazioni
L'articolo sostiene di fornire una "risoluzione fondamentale" alla interpretazione errata del test WMW. La sua importanza primaria risiede nel:

Correzione dell'Ipotesi Nulla: Esso afferma esplicitamente che il test WMW è un test di discriminazione ( $\text{AUC} \neq 0.5$ ), non di uguaglianza distributiva ( $F=G$ ).
Generalizzazione dell'Alternativa: Stabilisce che il test è consistente contro la vasta classe di alternative in cui $P(Y < X) \neq 0.5$ , sussumendo la dominanza stocastica come un semplice caso particolare.
Implementazione Pratica: Fornendo il pacchetto R wmwAUC con inferenza esatta per campioni finiti e metodi asintotici corretti per il bias, l'articolo offre uno strumento pratico ai ricercatori per eseguire un'inferenza valida sotto il corretto quadro teorico, particolarmente in scenari che coinvolgono legami o piccoli campioni dove le approssimazioni tradizionali potrebbero fallire.

L'autore osserva che, sebbene il lavoro si concentri sull'impostazione a due campioni, problemi simili probabilmente esistono nelle estensioni a $k$ -campioni (ad esempio, Kruskal-Wallis), sebbene questi siano oltre l'attuale ambito. Il documento riconosce che Van Dantzig aveva precedentemente identificato correttamente l'ipotesi alternativa, ma l'aveva accoppiata con l'ipotesi nulla errata; questo lavoro corregge tale accoppiamento e fornisce l'intero apparato asintotico e per campioni finiti necessario per l'applicazione moderna.