Projection Diagnostics for Directional Asymmetry and Tail-Ratio Departure in Multivariate Data

Sintesi Tecnica: Diagnostica per Proiezione per l'Asimmetria Direzionale e la Deviazione del Rapporto delle Code in Dati Multivariati

Enunciato del Problema
I metodi esistenti per valutare la non-normalità multivariata, come la skewness e la curtosi basate sui momenti di Mardia o i test omnibus (ad es. Henze–Zirkler, Doornik–Hansen, distanza di energia), affrontano due limitazioni primarie. In primo luogo, spesso confondono diverse fonti di non-gaussianità; un rifiuto della normalità non distingue se la deviazione sia guidata da un'asimmetria direzionale (skewness), da un'inflazione delle code (code pesanti) o da una combinazione di entrambe. In secondo luogo, gli approcci basati sui momenti si affidano a terzo e quarto momento, che possono essere instabili o indefiniti in contesti a code pesanti e sono sensibili agli effetti di campioni finiti in alta dimensionalità. Inoltre, i competitor basati sulla proiezione, come il test di Malkovich–Afifi, pur affrontando la direzionalità, rimangono basati sui momenti e computazionalmente intensivi. Gli autori propongono la necessità di un framework diagnostico che separi la skewness direzionale dalla deviazione del rapporto delle code utilizzando misure robuste basate sui quantili per guidare le successive scelte di modellazione (ad es., la selezione tra modelli simmetrici, asimmetrici, con deviazione delle code o combinati).

Metodologia
La procedura proposta riduce il problema diagnostico multivariato a una collezione di proiezioni monodimensionali. Sia $X_1, \dots, X_n$ un insieme di osservazioni $p$-dimensionali. Il metodo opera su proiezioni centrate $Y_i(u) = u^\top(X_i - \hat{\theta})$ lungo un insieme di direzioni $U_m = \{u_1, \dots, u_m\}$ campionate dalla sfera unitaria $S^{p-1}$. L'insieme delle direzioni combina direzioni casuali (campionate uniformemente) e direzioni di coordinata per garantire una copertura ampia e sensibilità a deviazioni sparse o marginali.

Si computano due riassunti basati sui quantili sulle direzioni ricercate:

1. Skewness Direzionale ($\hat{S}U_{m, A_S}$): Una misura dell'asimmetria valutata su un insieme finito di livelli quantilici $A_S \subset (0, 0.5)$. Gli autori utilizzano una statistica di tipo Bowley e la skewness quantilica generalizzata:
   $$\hat{\gamma}_a(u) = \frac{\hat{Q}_{1-a}(u) + \hat{Q}_a(u) - 2\hat{Q}_{0.50}(u)}{\hat{Q}_{1-a}(u) - \hat{Q}_a(u)}$$
   La statistica di riepilogo è il valore assoluto massimo su direzioni e livelli quantilici: $\hat{S}U_{m, A_S} = \max_{u \in U_m} \max_{a \in A_S} |\hat{\gamma}_a(u)|$.

2. Rapporto delle Code Direzionale ($\hat{T}U_m$): Una misura dello spessore delle code rispetto a un benchmark (ad es., Gaussiana). Essa confronta la larghezza di un intervallo centrale esterno con l'intervallo interquartile:
   $$\hat{\tau}_q(u) = \frac{\hat{Q}_{1-q}(u) - \hat{Q}_q(u)}{\hat{Q}_{0.75}(u) - \hat{Q}_{0.25}(u)}$$
   Il riepilogo è la massima deviazione da un valore di riferimento $\tau^0_q$: $\hat{T}U_m = \max_{u \in U_m} |\hat{\tau}_q(u) - \tau^0_q|$.

Calibrazione e Classificazione
Per tenere conto della dimensionalità e del numero di direzioni ricercate, le statistiche grezze vengono calibrate tramite simulazione sotto un modello di riferimento (tipicamente Gaussiano, sebbene venga discussa la calibrazione ellittica). Ciò produce p-valori per la skewness ($p_S$) e la deviazione delle code ($p_T$). Queste due dimensioni definiscono una classificazione a quattro regimi:

• Benchmark-Tail Simmetrico: Nessuna skewness o deviazione delle code significativa.
• Tail-Departed Simmetrico: Deviazione delle code significativa ma nessuna skewness.
• Skewed Benchmark-Tail: Skewness significativa ma nessuna deviazione delle code.
• Skewed Tail-Departed: Sia skewness che deviazione delle code significative.

Risultati Teorici
L'articolo stabilisce diverse proprietà teoriche:

• Separazione della Popolazione: Sotto simmetria centrale, la skewness direzionale svanisce in tutte le direzioni. Sotto ellitticità, il rapporto delle code indipendente dalla scala è costante in tutte le direzioni non degenerate.
• Rilevabilità: I teoremi dimostrano che un insieme finito di direzioni casuali può rilevare deviazioni localizzate se il segnale persiste in un vicinato sferico, con la probabilità di rilevamento controllata dal numero di proiezioni e dalla massa della calotta sferica.
• Controllo del Campione Finito: Sono derivati limiti uniformi per i diagnostici quantilici empirici sulle direzioni ricercate, mostrando una convergenza al tasso di $\sqrt{\log(m)/n}$. Fondamentalmente, questi limiti non richiedono l'esistenza di terzo o quarto momento.
• Consistenza: Un classificatore a soglia basato sui due riepiloghi è mostrato essere consistente sotto regimi separati (dove le statistiche della popolazione sono distanti dallo zero).
• Alternative Sparse: Un'analisi di rango uno illustra come, mentre le direzioni casuali forniscono una copertura ampia, possono essere inefficienti per segnali sparsi. L'integrazione con le direzioni di coordinata assicura la sensibilità a deviazioni sparse e allineate alle coordinate.

Risultati della Simulazione
Esperimenti Monte Carlo valutano il metodo attraverso distribuzioni Gaussiane, Student-$t$, skew-normal, skew-$t$ e normali contaminate.

• Separazione: La componente di skewness rifiuta correttamente i modelli skew-normal e skew-$t$ mantenendo la dimensione nominale per i modelli simmetrici (inclusi Student-$t$ e normali contaminate a code pesanti). Viceversa, la componente delle code rifiuta i modelli Student-$t$, skew-$t$ e normali contaminate, rimanendo stabile per i dati Gaussiani e skew-normal.
• Dimensionalità: In contesti di skewness densa, la potenza diminuisce in alta dimensionalità con piccoli campioni a causa della difficoltà di allineare le proiezioni casuali con il segnale. Tuttavia, l'inclusione delle direzioni di coordinata migliora significativamente la potenza per la skewness sparsa.
• Confronto: Il metodo proposto mostra un comportamento di rifiuto comparabile ai test omnibus standard (Mardia, Henze–Zirkler, ecc.), ma offre una interpretabilità superiore scomponendo la fonte della non-normalità. È anche computazionalmente più efficiente dei test di curtosi tramite ricerca di proiezione.

Applicazione su Dati Reali
Il metodo viene applicato a dati multivariati sulla qualità dell'aria (10 inquinanti) da cinque città indiane.

• Risultati: L'analisi del campione completo classifica tutte le città come "skewed tail-departed", suggerendo la necessità di modelli a code pesanti asimmetrici (ad es. skew-$t$).
• Dinamiche Temporali: L'analisi di sottoperiodi rivela uno spostamento. I dati pre-2020 per alcune città (Mumbai, Kolkata, Bangalore) erano classificati come "skewed benchmark" (asimmetrici ma non a code pesanti), mentre i dati post-2020 per tutte le città sono passati a "skewed tail-departed". Ciò evidenzia la capacità del diagnostico di guidare specifiche scelte di modellazione (ad es., se le code pesanti siano necessarie) che i test omnibus ignorerebbero.

Significato e Rivendicazioni
Gli autori posizionano questo lavoro non come una dominanza uniforme in termini di potenza di rifiuto grezza rispetto ai test esistenti, ma come un diagnostico robusto e interpretabile per la decomposizione. Il contributo primario è la separazione della non-gaussianità multivariata in due componenti distinte e interpretabili: l'asimmetria direzionale e il rapporto delle code. Utilizzando funzionali basati sui quantili, il metodo evita l'instabilità dei momenti di ordine superiore nei contesti a code pesanti. Il framework è progettato come uno strumento di screening per informare la scelta dei successivi modelli parametrici (simmetrici vs asimmetrici, a code leggere vs pesanti), affrontando una lacuna lasciata dai test di normalità omnibus che si limitano a rifiutare l'ipotesi nulla senza caratterizzare la natura della deviazione. L'articolo conclude notando i limiti riguardanti la dipendenza temporale e il potenziale per future estensioni che coinvolgano direzioni adattive ai dati (PCA/ICA) e dati funzionali.