A Nonparametric Goodness-of-Fit Test for High-Dimensional Generalized Gaussian Distributions via Nearest-Neighbor Graphs

Titolo

Test di bontà di adattamento non parametrico per distribuzioni Gaussiane Generalizzate Multivariate ad alta dimensionalità tramite Grafi dei Vicini più Vicini

1. Il Problema

La distribuzione Gaussiana Multivariata (MGGD) è fondamentale per l'inferenza statistica classica, ma i dati reali in contesti moderni (elaborazione di segnali, imaging, finanza) spesso presentano comportamenti radiali non Gaussiani, caratterizzati da code pesanti o picchi acuti. Per modellare questi fenomeni, si utilizza la Distribuzione Gaussiana Generalizzata Multivariata (MGGD), che introduce un parametro di forma $\beta$ per controllare la decadenza delle code.

Tuttavia, la validazione di questi modelli (test di bontà di adattamento) diventa estremamente difficile quando la dimensionalità $m$ è comparabile o superiore alla dimensione del campione $n$ ($m \gtrsim n$). In questi regimi:

• Le stime classiche della matrice di covarianza diventano singolari o instabili.
• I test basati su forme quadratiche (es. distanze di Mahalanobis) falliscono a causa dell'inversione della covarianza.
• I test di normalità standard non sono adatti perché l'ipotesi nulla è composta (i parametri $\mu, \Sigma, \beta$ sono sconosciuti e stimati), rendendo difficile calcolare la distribuzione asintotica corretta.

2. Metodologia

Gli autori propongono un nuovo test di bontà di adattamento non parametrico, affine-invariante e basato sulla topologia dei grafi. Il metodo si articola nei seguenti passaggi:

1. Standardizzazione Robusta:

   • Si stimano i parametri di posizione ($\hat{\mu}$) e dispersione ($\hat{\Sigma}$) utilizzando stimatori robusti adatti ad alta dimensionalità (es. stimatore di Tyler regolarizzato) per evitare la singolarità della matrice di covarianza.
   • Si stimano i parametri di forma ($\hat{\beta}$) tramite un approccio basato sui momenti.
   • I dati osservati vengono trasformati in un campione standardizzato $Z_i = \hat{\Sigma}^{-1/2}(X_i - \hat{\mu})$.

2. Costruzione del Campione di Riferimento:

   • Si genera un campione di riferimento indipendente $Y$ dalla distribuzione MGGD standardizzata stimata: $Y_i \sim \text{MGGD}(0, I_m, \hat{\beta})$.

3. Statistica del Test (Conteggio degli Archi Incrociati):

   • Si uniscono i dati standardizzati $Z$ e il riferimento $Y$ in un unico insieme $S$.
   • Si costruisce un grafo dei Vicini più Vicini (NN) su $S$.
   • La statistica del test $T_n$ è il numero di archi diretti che partono da un punto del riferimento $Y$ e puntano a un altro punto dello stesso riferimento $Y$ (archi "intra-gruppo").
   • Logica geometrica: Se il modello è corretto, i punti di $Z$ e $Y$ dovrebbero essere mescolati indistinguibilmente nel grafo (ipotesi di scambiabilità dei label), portando a un conteggio atteso vicino a $n/2$. Se il modello è errato (es. $\beta$ sbagliato), le differenze nel comportamento radiale causano una separazione geometrica ("shell separation") ad alta dimensionalità, portando a un conteggio significativamente diverso da $n/2$.

4. Calibrazione tramite Bootstrap Parametrico Adattato:

   • Poiché l'ipotesi nulla è composta, la distribuzione asintotica della statistica dipende dai parametri stimati.
   • Si utilizza un bootstrap parametrico in cui, per ogni replica, i parametri vengono ristimati dai dati simulati. Questo passo è cruciale per propagare l'incertezza dei parametri "di disturbo" e garantire un controllo corretto del livello di significatività (size) anche in campioni finiti.

3. Contributi Chiave

• Validità in Alta Dimensionalità: Il metodo è definito e valido quando $m \ge n$, evitando l'inversione di matrici instabili e la stima densità esplicita.
• Approccio Geometrico: Sfrutta il fenomeno della concentrazione della misura nelle distribuzioni ellittiche ad alta dimensionalità (i punti si concentrano su "gusci" sottili). Le discrepanze nel parametro di forma $\beta$ si traducono in separazioni radiali misurabili tramite la topologia NN.
• Calibrazione Robusta: L'uso del bootstrap con ristima dei parametri risolve il problema della validità asintotica per ipotesi nulle composte, un limite comune nei test di adattamento esistenti.
• Invarianza Affine: Il test è invariante rispetto a trasformazioni lineari dei dati, una proprietà essenziale per l'analisi multivariata.

4. Risultati

Gli autori hanno validato il metodo attraverso studi di simulazione e un'applicazione su dati reali:

• Controllo dell'Errore di Tipo I: In scenari dove i dati sono generati effettivamente da una MGGD (anche con $\beta$ sconosciuto), il test mantiene tassi di rifiuto vicini al livello nominale (es. 5%), anche quando $m > n$. Al contrario, test di normalità classici falliscono completamente (rifiuto quasi certo).
• Potenza del Test: Il test dimostra un'elevata potenza nel rilevare deviazioni rispetto a distribuzioni alternative a code pesanti (es. distribuzione $t$ di Student multivariata). La potenza aumenta significativamente all'aumentare della dimensionalità $m$, grazie alla maggiore separabilità geometrica dei gusci radiali.
• Confronto con Competitors: Il metodo proposto supera i test basati sulla distanza di energia (Energy Distance) e i test di normalità basati su grafici (Chen-Xia) in termini di potenza e controllo del livello, specialmente per dati non Gaussiani ma ellittici.
• Applicazione Reale: Applicando il test al dataset "Crohn's Disease Adverse Events" (9 variabili, 117 pazienti), il test ha rifiutato con forza l'ipotesi di normalità multivariata ($p < 0.001$). L'analisi ha mostrato che il modello MGGD fornisce un adattamento (AIC/BIC) significativamente migliore rispetto alla distribuzione normale o alla $t$-Student, confermando la presenza di code pesanti nei dati clinici.

5. Significato e Implicazioni

Questo lavoro colma un vuoto metodologico critico nell'analisi statistica moderna. Fornisce uno strumento pratico e teoricamente solido per validare modelli MGGD in contesti ad alta dimensionalità, dove i metodi classici falliscono.

• Impatto Scientifico: Dimostra che la geometria dei grafi NN, combinata con la concentrazione della misura, può essere sfruttata per costruire test di adattamento robusti senza ricorrere a stime di densità complesse.
• Applicabilità Pratica: È particolarmente rilevante per campi come l'elaborazione di segnali radar/sonar, l'imaging medico e la finanza quantitativa, dove i dati sono spesso ad alta dimensionalità, non Gaussiani e soggetti a outlier.
• Futuro: Il framework apre la strada a estensioni per gestire dati contaminati e a ottimizzazioni computazionali per dataset di dimensioni massicce tramite ricerca approssimata dei vicini più vicini.

In sintesi, il paper offre una soluzione elegante e robusta al problema della validazione del modello in regimi statistici moderni, spostando il focus dalla stima parametrica precisa alla geometria intrinseca dei dati.