Maximum-of-Differences Test for Comparing Multivariate K-Sample Distributions

1. Il Problema

Il confronto delle distribuzioni di $K$ campioni (dove $K \ge 2$) è un problema fondamentale nella scienza dei dati, con applicazioni in bioinformatica, economia, finanza e apprendimento automatico. Sebbene esistano metodi consolidati per il confronto di due campioni o per dati unidimensionali, l'estensione a dati multivariati ad alta dimensionalità ($p$ grande) e a $K > 2$ campioni presenta sfide significative.

Le limitazioni degli approcci esistenti includono:

• Test parametrici (tipo Hotelling): Si basano sull'assunzione di normalità e sulla stima di medie e matrici di covarianza, rendendoli inadatti per il confronto di distribuzioni complete (non solo medie).
• Test non parametrici classici (es. Kolmogorov-Smirnov): Spesso non performano bene con dati multivariati.
• Metodi basati su grafi: Sebbene potenti (es. test basati su alberi di copertura minima o matching), possono avere difficoltà computazionali o di stabilità quando $K$ è elevato o in contesti di regressione multivariata.
• Assenza di estensioni per la regressione: Molti metodi esistenti non gestiscono facilmente la presenza di variabili esplicative (covariate) che influenzano la distribuzione dei dati.

L'obiettivo è sviluppare un test non parametrico, valido per dati multivariati (sia a dimensione fissa che divergente), applicabile a $K$ campioni e estendibile a modelli di regressione multivariata.

2. Metodologia Proposta

Gli autori propongono due test basati sull'approccio "Maximum-of-Differences" (MOD): il test MOD originale e una versione aggiustata per la covarianza, CA-MOD.

A. Costruzione del Test MOD

Il metodo si basa su tre passaggi principali:

1. Calcolo delle distanze e connessione: Si calcolano le distanze a coppie tra tutte le osservazioni dei $K$ campioni poolati. Due osservazioni $i$ e $j$ sono definite "connesse" se la loro distanza $L_2$ è inferiore a una soglia predefinita $\tau$.
2. Probabilità "Within" e "Between": Per ogni osservazione $i$, si calcolano due probabilità:
   • $p_{in}$: La probabilità che $i$ sia connessa ad altre osservazioni dello stesso campione.
   • $p_{bet}$: La probabilità che $i$ sia connessa ad osservazioni di altri campioni.
     Sotto l'ipotesi nulla ($H_0$: tutte le distribuzioni sono uguali), la differenza tra queste probabilità dovrebbe essere zero.
3. Statistica del Test: Si definisce una statistica standardizzata per ogni osservazione basata sulla differenza quadrata tra $p_{bet}$ e $p_{in}$. Il test MOD è il massimo di queste statistiche standardizzate su tutte le osservazioni:
   $$T_\tau = \max_{1 \le i \le n} \frac{(\hat{p}_{bet, i} - \hat{p}_{in, i})^2}{\text{Var}(\hat{p}_{bet, i} - \hat{p}_{in, i})}$$

B. Distribuzione Asintotica e Test CA-MOD

Sotto $H_0$, la distribuzione asintotica di $T_\tau$ è complessa (un massimo di somme pesate di variabili normali e una distribuzione di valore estremo di Tipo I) a causa delle correlazioni tra le statistiche delle diverse osservazioni.

• Test MOD: Richiede un metodo di simulazione numerica (replicazione) per ottenere i valori critici, poiché la distribuzione analitica non è disponibile in forma chiusa.
• Test CA-MOD (Covariance-Adjusted): Per semplificare il calcolo, gli autori propongono di "profilare" (aggiustare) la struttura di covarianza delle statistiche prima di massimizzare. Si applica una trasformazione $\hat{\Sigma}^{-1/2}$ ai vettori di statistiche.
  • Il risultato è che gli elementi trasformati diventano debolmente correlati.
  • La statistica aggiustata $T^{adj}_\tau$ converge alla Distribuzione di Valore Estremo di Tipo I, permettendo il calcolo diretto dei valori critici senza simulazioni intensive.

C. Selezione del Parametro di Tuning ($\tau$)

L'analisi teorica suggerisce che la potenza del test è massimizzata quando $\tau$ è scelto in modo da massimizzare la discrepanza tra le distribuzioni sotto l'alternativa. Gli autori dimostrano che, in scenari comuni (spostamento di media o di covarianza), la scelta ottimale asintotica è la mediana delle distanze a coppie $\|X_i - X_j\|$.

D. Estensione alla Regressione Multivariata

Il metodo è esteso al contesto di regressione $X^{(k)}_i = \beta^{(k)}W^{(k)}_i + \epsilon^{(k)}_i$. Invece di confrontare direttamente le osservazioni $X$, si confrontano i residui stimati $\hat{\epsilon}$ dopo aver rimosso l'effetto delle covariate $W$. Questo permette di testare l'uguaglianza delle distribuzioni degli errori (e quindi la validità del modello di regressione) tra diversi gruppi.

3. Risultati Teorici e Sperimentali

Proprietà Teoriche

• Consistenza: Sia MOD che CA-MOD sono consistenti sotto l'ipotesi alternativa, purché la discrepanza tra le distribuzioni sia sufficientemente grande rispetto alla dimensione del campione.
• Dimensionalità: I test non impongono restrizioni sulla dimensione $p$ rispetto alla dimensione del campione $n$ (validi anche per $p > n$).
• Distribuzione: Sono state provate le distribuzioni asintotiche sotto $H_0$ e $H_1$ per entrambi i test.

Studi di Simulazione

Gli autori hanno condotto estese simulazioni Monte Carlo confrontando MOD e CA-MOD con metodi esistenti (EC, GEC, WEC, GLP, MMCM):

• Controllo della dimensione (Size): Entrambi i test controllano bene il livello di errore di Tipo I (size) in vari scenari, inclusi dati ad alta dimensionalità.
• Potenza:
  • Spostamento di Media: I test sono comparabili o leggermente inferiori ai metodi basati su grafi ottimizzati per la posizione (come WEC), ma superiori ad altri.
  • Spostamento di Covarianza e Distribuzione: CA-MOD e MOD superano significativamente tutti i metodi concorrenti (inclusi GLP e MMCM) nel rilevare differenze di covarianza e differenze generali di distribuzione.
  • Campioni Multipli ($K=6$): I metodi proposti mantengono buone prestazioni, mentre alcuni metodi concorrenti (come GLP) mostrano instabilità o distorsioni della dimensione.
• Regressione: Nei contesti di regressione, i test mantengono un buon controllo della dimensione e una potenza superiore rispetto ai metodi adattati per la regressione.

Analisi di Dati Reali

Gli autori hanno applicato i test ai rendimenti azionari del mercato cinese per verificare l'effetto "giorno della settimana" (differenze di distribuzione tra lunedì, martedì, ecc.).

• Risultato: Né il test MOD né il CA-MOD hanno rifiutato l'ipotesi nulla (p-value > 0.05), né con i rendimenti grezzi né dopo aver aggiustato per l'indice di mercato (modello CAPM).
• Conclusione: Non vi è evidenza statistica dell'esistenza dell'effetto giorno della settimana, suggerendo un'efficienza crescente del mercato azionario cinese.

4. Contributi Chiave e Significato

1. Nuovo Approccio Non Parametrico: Introduzione di un test basato sulle differenze massime tra probabilità di connessione "within" e "between", che cattura differenze complesse di distribuzione (media, varianza, forma) senza assumere una forma parametrica.
2. Scalabilità e Flessibilità: Il metodo è applicabile a dati multivariati ad alta dimensionalità ($p \gg n$) e a un numero arbitrario di campioni ($K \ge 2$), superando i limiti dei test basati su grafi tradizionali.
3. Estensione alla Regressione: È uno dei pochi metodi che permette di confrontare distribuzioni multivariate in presenza di covariate, rendendolo utile per la validazione di modelli di regressione e per l'analisi di trattamento in contesti osservazionali.
4. Soluzione Computazionale Efficiente: La versione CA-MOD risolve il problema della complessità computazionale fornendo una distribuzione asintotica nota (Valore Estremo di Tipo I), eliminando la necessità di simulazioni costose per ogni applicazione.
5. Robustezza: I test sono robusti a dati con code pesanti (fat-tailed) e non richiedono assunzioni di normalità.

In sintesi, questo lavoro fornisce un toolkit statistico potente e versatile per il confronto di distribuzioni multivariate in scenari complessi e moderni, offrendo un'alternativa superiore ai metodi esistenti quando si tratta di rilevare differenze strutturali nelle covarianze e nelle distribuzioni complete.