Two-Sample Homogeneity Test via Entropic Optimal Transport

Sintesi Tecnica: Test di Omogeneità a Due Campioni tramite Trasporto Ottimo Entropico

Enunciato del Problema
Il paper affronta il problema statistico fondamentale del test di omogeneità a due campioni in contesti multivariati ($d \ge 1$). Date due distribuzioni indipendenti $P$ e $Q$ sconosciute su $\mathbb{R}^d$, l'obiettivo è testare l'ipotesi nulla $H_0: P = Q$ contro l'ipotesi alternativa $H_1: P \neq Q$. Mentre i test univariati beneficiano di un ordinamento canonico (ad esempio, le funzioni quantile), i test multivariati mancano di un ordine naturale, rendendo difficile la costruzione di rappresentazioni distribuzionali che preservino la struttura geometrica. I metodi esistenti, come le distanze di energia, il Maximum Mean Discrepancy (MMD) basato su kernel e le statistiche basate su grafi, tipicamente riassumono le differenze distribuzionali in un singolo valore scalare. Questa aggregazione spesso scarta informazioni a livello di mappa riguardanti il modo in cui una distribuzione è organizzata rispetto all'altra o rispetto a un riferimento comune. Inoltre, l'inferenza basata sulle distanze di Wasserstein empiriche in contesti multivariati è spesso computazionalmente costosa e soffre di asintotica non standard.

Metodologia
Gli autori propongono un test di omogeneità basato su mappe di Trasporto Ottimo Entropico (EOT) da una distribuzione di riferimento comune. La metodologia procede come segue:

1. Costruzione del Riferimento Comune: Sia $U_d$ la distribuzione uniforme sulla palla unitaria $B_d \subset \mathbb{R}^d$. Per ogni distribuzione target $P$, il metodo definisce una mappa di trasporto entropico $T_{\varepsilon, P}: B_d \to \mathbb{R}^d$. Questa mappa è la proiezione baricentrica dell'unica accoppiata entropica $\pi_{\varepsilon, P}$ tra $U_d$ e $P$, che minimizza il costo $\int \frac{1}{2}\|u-x\|^2 d\pi + \varepsilon \text{KL}(\pi \| U_d \otimes P)$.
2. Stima Empirica: Dati i campioni $X_1, \dots, X_n \sim P$ e $Y_1, \dots, Y_m \sim Q$, le mappe di popolazione sono stimate dalle loro controparti empiriche $\hat{T}_{\varepsilon, n}$ e $\hat{T}_{\varepsilon, m}$, dove la distribuzione sorgente rimane la fissa $U_d$ (approssimata numericamente da un campione di riferimento) e il target è sostituito dalle misure empiriche $P_n$ e $Q_m$.
3. Statistica del Test: La statistica del test $T_{n,m}$ è la distanza quadratica $L^2$ scalata tra le due mappe empiriche sul dominio di riferimento:
   $$T_{n,m} = \frac{nm}{n+m} \int_{B_d} \| \hat{T}_{\varepsilon, n}(u) - \hat{T}_{\varepsilon, m}(u) \|^2 dU_d(u).$$
4. Calibrazione: Poiché la distribuzione nulla di $T_{n,m}$ dipende dalla struttura di covarianza sconosciuta del processo gaussiano limite (non-pivotale), gli autori propongono un bootstrap a moltiplicatori pesati. Questa procedura ri-pesa separatamente le misure target empiriche mantenendo fissa la sorgente, generando una distribuzione condizionata per approssimare i valori critici.

Contributi Chiave
Il paper stabilisce le fondamenta teoriche e pratiche per questo framework di test basato su mappe:

• Identificabilità: Sotto ipotesi di supporto compatto e regolarizzazione fissa, gli autori dimostrano che la mappa EOT di popolazione determina univocamente la distribuzione sottostante. Nello specifico, $T_{\varepsilon, P} = T_{\varepsilon, Q}$ $U_d$-quasi ovunque se e solo se $P = Q$. Ciò garantisce che la discrepanza di popolazione svanisca precisamente sotto l'ipotesi nulla.
• Teoria Asintotica:
  • Limite della Nulla: Viene derivato un teorema del limite centrale funzionale (FCLT) per la differenza della mappa empirica sotto $H_0$. La statistica converge a una forma quadratica gaussiana $\sum \omega_k Z_k^2$, dove $\omega_k$ sono gli autovalori dell'operatore di covarianza del campo gaussiano limite.
  • Consistenza: Il test è dimostrato essere consistente contro alternative fisse ($P \neq Q$), con la statistica che diverge all'infinito.
  • Potenza Locale: La potenza asintotica sotto contro-ipotesi locali contigue è caratterizzata, mostrando che il test è sensibile alle differenze nelle direzioni tangenti delle distribuzioni.
• Validità del Bootstrap: La validità del bootstrap a moltiplicatori pesati è stabilita, dimostrando che la distribuzione condizionata della statistica del bootstrap stima coerentemente la distribuzione limite della nulla.
• Capacità Diagnostica: A differenza dei test di discrepanza scalari, il metodo fornisce un campo vettoriale stimato ($\hat{T}_{\varepsilon, n} - \hat{T}_{\varepsilon, m}$) che visualizza la direzione e la natura delle differenze distribuzionali (ad esempio, traslazione, espansione radiale, taglio).

Risultati
Estesi esperimenti numerici e un'applicazione su dati reali supportano i risultati teorici:

• Calibrazione a Campione Finito: Il bootstrap a moltiplicatori pesati fornisce un controllo affidabile della dimensione attraverso varie distribuzioni nulle (Gaussiana, Student-t, miscele Gaussiane) e dimensioni ($d=2, 5, 10$), con tassi di rifiuto empirici vicini al livello nominale (0.05).
• Potenza: Il test dimostra una potenza competitiva rispetto ai metodi esistenti (Energia, MMD, Sinkhorn divergence, k-NN, Wasserstein, OT-rank). Mostra una performance particolarmente forte sotto alternative di posizione (location alternatives), dove lo spostamento direzionale coerente tra le mappe è facilmente rilevabile. Mostra anche una potenza robusta sotto alternative di scala, correlazione e miscela, sebbene la performance vari rispetto ad altri metodi a seconda della specifica alternativa e della dimensione.
• Efficienza Computazionale: Sebbene il test della mappa EOT sia più lento di Energia o MMD, è più veloce della Sinkhorn divergence calibrata tramite permutazione. Il costo computazionale è regolabile tramite il numero di punti di riferimento $N$; valori moderati di $N$ forniscono una potenza e una dimensione stabili riducendo significativamente i tempi di esecuzione.
• Applicazione su Dati Reali: Applicato ai dati dei viaggi Citi Bike (rider membri vs. casuali), il test ha rilevato differenze significative nelle distribuzioni di partenza. La visualizzazione a livello di mappa ha rivelato che la discrepanza non era solo uno spostamento globale ma coinvolgeva variazioni spaziali complesse, con la decomposizione coordinata che mostrava contributi sia dalla longitudine che dalla latitudine.

Significato e Rivendicazioni
Il paper posiziona il test proposto della mappa EOT come un complemento competitivo e interpretabile ai test di discrepanza scalare esistenti, piuttosto che come un sostituto uniformemente dominante. La sua importanza primaria risiede in:

1. Interpretabilità Geometrica: Mantiene le informazioni direzionali e geometriche sui cambiamenti distribuzionali, permettendo ai ricercatori di diagnosticare come le distribuzioni differiscono (ad esempio, tramite la visualizzazione del campo vettoriale) piuttosto che solo se differiscono.
2. Rigore Teorico: Fornisce una rigorosa teoria del limite per le mappe EOT sotto regolarizzazione fissa, superando l'asintotica non standard spesso associata alle distanze di Wasserstein non regolarizzate.
3. Utilità Pratica: Il metodo offre un equilibrio pratico tra potenza statistica, trattabilità computazionale (tramite algoritmi Sinkhorn e bootstrap) e intuizione diagnostica, rendendolo adatto ad applicazioni dove comprendere la struttura degli spostamenti distribuzionali è importante quanto il test stesso.