Maximum Mean Discrepancy with Unequal Sample Sizes via Generalized U-Statistics

Problematica
Il test a due campioni è un problema fondamentale dell'inferenza statistica volto a determinare se due distribuzioni, $P$ e $Q$, differiscano sulla base di campioni estratti da ciascuna di esse. Sebbene i test basati sulla Massima Discrepanza Media (MMD) abbiano guadagnato popolarità per la loro flessibilità e proprietà teoriche, le tecniche esistenti spesso si basano sull'assunzione di dimensioni campionarie uguali ($n_X = n_Y$). Nella pratica, le dimensioni campionarie sono frequentemente disuguali. L'applicazione degli stimatori MMD standard in questi scenari richiede tipicamente di scartare dati preziosi (ad esempio, tramite sottocampionamento per raggiungere la dimensione del set più piccolo) per mantenere il quadro teorico delle statistiche U, il che riduce inutilmente la potenza del test. Inoltre, il comportamento asintotico degli stimatori MMD con dimensioni campionarie disuguali, in particolare al di fuori dei regimi proporzionali (dove $n_X/n_Y$ converge a una costante), è rimasto poco sviluppato.

Metodologia
Gli autori affrontano questa limitazione estendendo la teoria delle statistiche U generalizzate allo stimatore MMD.

• Statistiche U Generalizzate: Lo stimatore MMD non distorto standard ($\widehat{\text{MMD}}^2$) viene identificato come una statistica U generalizzata con $c=2$ campioni e ordine del kernel $m_1=m_2=2$. A differenza delle statistiche U standard che richiedono dimensioni campionarie uguali, le statistiche U generalizzate accomodano $n_X \neq n_Y$.
• Scaling e Asintotica: Il documento deriva le distribuzioni asintotiche dello stimatore MMD sia sotto l'ipotesi nulla ($P=Q$) che sotto l'alternativa ($P \neq Q$). Uno spostamento metodologico critico è l'identificazione di $\min(n_X, n_Y)$ come il corretto fattore di scaling per la convergenza, anziché la somma $n_X + n_Y$ utilizzata nei precedenti risultati del regime proporzionale. Ciò permette alla teoria di reggere anche in regimi non proporzionali (ad esempio, $n_Y = n_X^2$).
• Caratterizzazione della Varianza: Gli autori forniscono una nuova, più pulita caratterizzazione della varianza dello stimatore MMD con dimensioni campionarie disuguali. Ciò comporta la decomposizione della varianza in termini che coinvolgono gli embedding medi ($\mu_P, \mu_Q$) e gli operatori di covarianza ($C_P, C_Q$) delle distribuzioni.
• Analisi della Degenerazione: Il documento analizza rigorosamente la "degenerazione" dello stimatore. Chiarisce che, sebbene uno zero MMD implichi un estimatore degenero, il contrario non è sempre vero: un estimatore degenero può esistere con MMD non nullo sotto specifiche condizioni (ad esempio, supporti disgiunti con determinati kernel), sebbene ciò sia impossibile in contesti comuni (ad esempio, supporti sovrapposti con kernel continui).
• Ottimizzazione della Potenza: Sfruttando la normalità asintotica derivata per i casi non degeneri, gli autori propongono un criterio per ottimizzare la selezione del kernel. Essi massimizzano il rapporto segnale-rumore ($\text{MMD}^2 / \sigma$) utilizzando stimatori plug-in per la varianza $\sigma^2$, permettendo così la selezione di kernel che massimizzano la potenza del test per specifici rapporti di dimensione campionaria.

Contributi Chiave

1. Estensione Teorica: Il documento estende la teoria asintotica di MMD a dimensioni campionarie disuguali applicando le statistiche U generalizzate, eliminando la necessità di scartare dati.
2. Corretto Fattore di Scaling: Stabilisce che $\min(n_X, n_Y)$ è il fattore di scaling appropriato per la convergenza sia nei regimi proporzionali che in quelli non proporzionali, correggendo le assunzioni precedenti che facevano affidamento su $n_X + n_Y$.
3. Intuizioni su Varianza e Degenerazione: Gli autori forniscono formule esplicite della varianza per dimensioni campionarie disuguali e offrono una comprensione raffinata della degenerazione dello stimatore. Dimostrano che, mentre lo zero MMD implica la degenerazione, la degenerazione non implica necessariamente lo zero MMD, una sfumatura spesso trascurata in letteratura. Dimostrano inoltre che, sotto condizioni comuni (Setting B: kernel real-analitici, supporti sovrapposti), la degenerazione avviene se e solo se $\mu_P = \mu_Q$.
4. Framework di Ottimizzazione: Il documento deriva un metodo pratico per ottimizzare i parametri del kernel massimizzando un rapporto segnale-rumore stimato, che si mostra convergere uniformemente all'ottimo della popolazione.
5. Validazione Empirica: Gli esperimenti su CIFAR-10 e CIFAR-10.1 dimostrano che l'utilizzo di tutti i dati disponibili tramite il proposto stimatore $\widehat{\text{MMD}}^2$ e l'ottimizzazione basata sulla varianza produce una potenza del test significativamente superiore rispetto ai metodi che sottocampionano per ottenere dimensioni uguali (Ratio/Equal).

Risultati

• Distribuzioni Asintotiche: Sotto l'ipotesi nulla ($MMD=0$), lo stimatore scalato $\min(n_X, n_Y)\widehat{\text{MMD}}^2$ converge a una miscela infinita di distribuzioni chi-quadrato centrate. Sotto l'alternativa ($MMD > 0$), se l'estimatore è non degenere, $\sqrt{\min(n_X, n_Y)}(\widehat{\text{MMD}}^2 - \text{MMD}^2)$ converge a una distribuzione normale.
• Riduzione della Varianza: L'analisi teorica mostra che la varianza del generalizzato stimatore $\widehat{\text{MMD}}^2$ è strettamente inferiore rispetto allo stimatore della statistica U standard $\widehat{\text{MMD}}^2_U$ quando le dimensioni campionarie sono disuguali, e può essere inferiore di un fattore fino a due quando una dimensione campionaria è asintoticamente dominante.
• Performance Sperimentale: Negli esperimenti per distinguere CIFAR-10 da CIFAR-10.1 con diversi rapporti di dimensione campionaria ($r$), il proposto metodo "Ratio/Ratio" (RR), che utilizza tutti i dati e ottimizza il rapporto segnale-rumore, ha costantemente superato il baseline "Ratio/Equal" (RE). All'aumentare del disbilanciamento ($r=8$), la potenza del metodo RR si è avvicinata a 1.0, mentre il metodo RE si è stabilizzato intorno a 0.82.

Significatività
Il documento sostiene di aver risolto un limite di lunga data nel test a due campioni basato su MMD, fornendo un framework teoricamente rigoroso per dimensioni campionarie disuguali. Preservando tutti i dati disponibili, il metodo proposto migliora l'accuratezza del test e l'applicabilità in contesti realistici dove la raccolta dei dati è spesso asimmetrica. L'unificazione del framework assicura che il nuovo approccio si riduca ai metodi esistenti quando le dimensioni campionarie sono uguali, mantenendo la coerenza teorica pur estendendo l'utilità. Il lavoro corregge anche i malintesi riguardanti la relazione tra i valori MMD e la degenerazione dell'estimatore, fornendo una base più robusta per la selezione del kernel e la progettazione del test.