Neural Wasserstein Two-Sample Tests

Sintesi Tecnica: Test Neural Wasserstein per due campioni

Problematica
Il documento affronta il problema del test di omogeneità per due campioni, che mira a determinare se due campioni indipendenti provengano dalla stessa distribuzione. Questo compito diventa particolarmente complesso in contesti ad alta dimensionalità dove i test classici spesso soffrono di una sostanziale perdita di potenza. Sebbene i metodi basati su kernel (ad esempio, Maximum Mean Discrepancy, MMD) siano popolari, essi affrontano limiti intrinseci in alta dimensione, tra cui un rapido decadimento della potenza sotto alternative "fair" e la dipendenza da regimi asintotici complessi che coinvolgono sia la dimensione che la numerosità campionaria. Al contrario, mentre la distanza di Wasserstein preserva la geometria distributiva, la sua applicazione diretta è ostacolata dalla maledizione della dimensionalità, che porta a tassi di convergenza lenti. I metodi Wasserstein basati su proiezioni esistenti spesso si affidano a singole proiezioni o richiedono costose procedure di ricampionamento (permutazione/bootstrap) per calibrare i p-value.

Metodologia
Gli autori propongono il "Neural Wasserstein Test", una procedura assistita dall'apprendimento basata sulla distanza di proiezione 1-Wasserstein. La metodologia centrale sfrutta la dualità di Kantorovich–Rubinstein per esprimere la distanza di proiezione Wasserstein come un supremo su funzioni 1-Lipschitziche e direzioni di proiezione.

La procedura prevede i seguenti componenti chiave:

1. Suddivisione dei dati (Data Splitting): Per disaccoppiare la dipendenza tra stima e test, il dataset viene suddiviso in un sottoinsieme di addestramento ($D_{fit}$) e un sottoinsieme di test ($D_{test}$).
2. Stima in due fasi:
   • Fase 1 (Direzioni di proiezione): Su $D_{fit}$, il metodo apprende direzioni di proiezione discriminanti $U$ sulla varietà di Stiefel $S_{d,k}$. Per adattarsi a livelli di sparsità sconosciuti, gli autori considerano sia la stima non regolarizzata sia la stima sotto vincoli di sparsità $\ell_1$ e $\ell_0$. Questa ottimizzazione viene eseguita utilizzando un metodo di gradiente prossimale per l'ottimizzazione su varietà (ManPG).
   • Fase 2 (Funzione Witness): Utilizzando la proiezione stimata $\hat{U}$, viene appresa una funzione witness 1-Lipschitzica $f$ sui dati proiettati utilizzando reti neurali profonde (DNN) con funzioni di attivazione ReLU. L'architettura della rete è progettata per crescere con la numerosità campionaria per garantire un'adeguata capacità di approssimazione.
3. Aggregazione di tipo Max: Per evitare una sintonizzazione delicata della dimensione di proiezione $k$ e dei parametri di sparsità (forza di regolarizzazione), il metodo aggrega le statistiche su un insieme di candidati iperparametri. Viene costruito un test di tipo max prendendo il valore massimo assoluto delle statistiche standardizzate attraverso tutte le configurazioni candidate.
4. Calibrazione Pivotale: A differenza degli approcci basati su permutazione, si dimostra che il test statistic proposto possiede una distribuzione nulla limite pivotale. Nello specifico, sotto l'ipotesi nulla, la statistica aggregata converge al massimo assoluto di un vettore Gaussiano standard. Ciò consente una calibrazione asintotica senza ricampionamento.

Contributi Chiave

• Approssimazione Neurale della Distanza di Proiezione Wasserstein: Il documento introduce un framework che combina l'ottimizzazione su varietà per le direzioni di proiezione con reti neurali profonde per approssimare la funzione witness 1-Lipschitzica ottimale. Questa strategia stima efficacemente il supremo nella formula di dualità.
• Adattività Senza Sintonizzazione (Tuning-Free Adaptivity): Utilizzando un'aggregazione di tipo max su un insieme di candidati per le dimensioni di proiezione e i parametri di sparsità, il metodo si adatta a dimensioni di proiezione e livelli di sparsità sconosciuti senza richiedere la selezione esplicita dei parametri, migliorando così la potenza e riducendo la complessità metodologica.
• Validità Asintotica Indipendente dalla Distribuzione: Gli autori stabiliscono un limite di tipo Berry–Esseen per l'approssimazione Gaussiana della statistica del test. Fondamentalmente, la distribuzione nulla limite è pivotale (indipendente dalla distribuzione), dipendendo solo dalla dimensione dell'insieme dei candidati piuttosto che dalla dimensione ambiente $d$ o dalle distribuzioni della popolazione sottostante. Ciò contrasta con i test MMD studentizzati, i cui limiti dipendono da regimi divergenti di dimensione e numerosità campionaria.
• Efficienza Computazionale: La natura pivotale della statistica del test elimina la necessità di metodi di ricampionamento computazionalmente intensivi (permutazione o bootstrap), offrendo risparmi computazionali sostanziali.

Risultati

• Garanzie Teoriche: Il documento dimostra la validità e la coerenza del test proposto. Sotto l'ipotesi nulla, la statistica del test converge in distribuzione a $\max_{j} |Z_j|$ dove $Z \sim N(0, I_m)$. L'analisi della potenza dimostra che il test è consistente se il segnale (misurato dalla distanza di proiezione Wasserstein) supera una specifica soglia che dipende dalla numerosità campionaria, dalla dimensione e dalla complessità della rete.
• Studi di Simulazione: Ampie simulazioni su quattro modelli (spostamento della media, spostamento della varianza, diverse marginali e diverse distribuzioni congiunte) mostrano che il metodo proposto supera costantemente gli approcci esistenti, inclusi MMD, MMD con kernel profondi, Distanza di Energia, Kernel Fisher Discriminant Analysis (KFDA) e test standard della Proiezione Wasserstein. In particolare, il metodo proposto mantiene un'alta potenza all'aumentare della dimensione, mentre i competitor mostrano spesso un rapido decadimento della potenza.
• Applicazione su Dati Reali: Il metodo è stato applicato ai dati di metilazione del DNA provenienti da The Cancer Genome Atlas (TCGA) per distinguere tra Glioma di Grado Inferiore (LGG) e Glioblastoma Multiforme (GBM). Il test ha rilevato differenze significative tra i gruppi (p-value < 0.001), in linea con la letteratura biologica esistente, e ha rivelato pattern distinti nelle strutture di media e covarianza.

Significatività e Rivendicazioni
Il documento afferma che il Neural Wasserstein Test offre una soluzione robusta per il test a due campioni in alta dimensione, mitigando efficacemente la maledizione della dimensionalità attraverso proiezioni apprese e deep learning. La sua significatività risiede in tre aree principali:

1. Scalabilità: La distribuzione limite pivotale consente un calcolo scalabile bypassando il ricampionamento, un importante collo di bottiglia per i test di permutazione in alta dimensione.
2. Robustezza alla Dimensione: Le prestazioni del metodo non si deteriorano significativamente con l'aumentare della dimensionalità, a differenza dei metodi basati su kernel che spesso perdono potenza nei regimi ad alta dimensione.
3. Adattività: La strategia di aggregazione di tipo max rimuove la necessità di una sintonizzazione manuale dei parametri critici (dimensione di proiezione e sparsità), rendendo il metodo più pratico e meno sensibile alle specifiche dell'utente.

Gli autori riconoscono che, sebbene la suddivisione dei dati garantisca un'inferenza valida, essa riduce la numerosità campionaria effettiva per la stima. Essi osservano che se questa perdita sia inevitabile nei modelli ad alta dimensione rimanga una questione aperta per indagini future. Il metodo si affida alla capacità espressiva delle reti neurali per approssimare la funzione witness e alla capacità dell'ottimizzazione su varietà di trovare direzioni discriminanti, dimostrando che questi strumenti possono essere integrati con successo in rigorosi framework di test statistici.