Wasserstein Spatial Depth

1. Il Problema

L'analisi statistica moderna si confronta sempre più con dati complessi che non possono essere adeguatamente modellati come vettori in uno spazio euclideo. Un caso particolare di crescente importanza è l'analisi di dati distribuzionali (o dati a valori di distribuzione), dove le osservazioni sono esse stesse distribuzioni di probabilità o misure.

Il problema centrale affrontato dal paper è l'adattamento degli strumenti statistici classici a questi dati. Lo spazio delle distribuzioni su $\mathbb{R}^d$ (con $d > 1$), equipaggiato con la distanza di Wasserstein ($W_2$), non è uno spazio vettoriale lineare, ma possiede una struttura geometrica complessa simile a quella di una varietà Riemanniana (spazio metrico geodetico).
Le difficoltà principali sono:

• Mancanza di linearità: Gli strumenti statistici tradizionali (come la media o la regressione lineare) non si applicano direttamente.
• Limiti delle profondità statistiche esistenti: Le misure di profondità statistica (statistical depth) standard, progettate per spazi euclidei o spazi di Hilbert, non catturano la struttura geodetica intrinseca dello spazio di Wasserstein. Inoltre, l'estensione di metodi come la profondità di Tukey o di Monge-Kantorovich a questo spazio è computazionalmente proibitiva (complessità esponenziale) o teoricamente inadeguata.
• Necessità di ordinamento: Senza una nozione di "profondità" o "centro", è impossibile definire concetti fondamentali come mediana, outlier, o costruire test di ipotesi non parametrici per popolazioni di distribuzioni.

2. Metodologia

Gli autori propongono una nuova misura chiamata Wasserstein Spatial Depth (WSD), ispirata alla Spatial Depth euclidea ma adattata alla geometria dello spazio di Wasserstein.

Definizione Concettuale:
Nello spazio euclideo, la profondità spaziale di un punto $x$ rispetto a una distribuzione $P$ è definita come $1 - \|E[\frac{X-x}{\|X-x\|}]\|$.
Nello spazio di Wasserstein, gli autori generalizzano questo concetto utilizzando le geodetiche. Dato che lo spazio delle misure è uno spazio metrico geodetico, la "direzione" da una distribuzione $Q$ verso un'altra $P$ è data dal campo vettoriale di velocità della geodetica che le collega.

Definizione Formale:
Sia $Q$ una distribuzione assolutamente continua e $P$ una distribuzione di probabilità sullo spazio di Wasserstein (una "distribuzione di distribuzioni"). La WSD è definita come:
$$WSD(Q; P) := 1 - \left( \int \left\| E_{P \sim P} \left[ \frac{x - T_{Q,P}(x)}{W_2(P, Q)} \right] \right\|^2 dQ(x) \right)^{1/2}$$
Dove:

• $T_{Q,P}$ è la mappa di trasporto ottimo da $Q$ a $P$.
• $W_2(P, Q)$ è la distanza di Wasserstein.
• Il termine all'interno dell'aspettativa rappresenta il vettore di velocità normalizzato della geodetica che parte da $Q$ verso $P$.

Stima Empirica:
Il paper propone stimatori per due scenari di campionamento:

1. Campionamento a una fase: Le distribuzioni $P_1, \dots, P_n$ sono osservate direttamente.
2. Campionamento a due fasi: Si osservano solo campioni di dati $X_{i,j}$ estratti da distribuzioni latenti $P_i$. In questo caso, le distribuzioni $P_i$ sono stimate tramite le loro distribuzioni empiriche.

3. Contributi Chiave

Il lavoro introduce e analizza rigorosamente la WSD con i seguenti contributi principali:

• Proprietà Teoriche: Dimostrano che la WSD soddisfa gli assiomi fondamentali delle profondità statistiche:
  • Valori in [0, 1]: La profondità è normalizzata.
  • Invarianza: È invariante rispetto a trasformazioni isometriche e, crucialmente, rispetto alle geodetiche (geodesic invariance).
  • Massimalità al centro: Raggiunge il valore massimo (1) nel punto mediano geometrico (barycenter) della distribuzione $P$.
  • Decadimento all'infinito: Tende a zero quando la distribuzione si allontana dal centro.
  • Continuità: La funzione è continua rispetto alla topologia di Wasserstein.
• Robustezza: Caratterizzano il breakdown point (il punto di rottura) delle regioni di profondità empiriche e l'influenza funzionale (influence function), dimostrando che la WSD è robusta agli outlier.
• Stima e Asintotica: Stabiliscono la consistenza degli stimatori empirici e la normalità asintotica sotto entrambi i modelli di campionamento (uno e due fasi).
• Test a Due Campioni: Sviluppano un test non parametrico basato su permutazioni per confrontare due popolazioni di distribuzioni ($H_0: P = Q$), fornendo garanzie teoriche sul controllo dell'errore di Tipo I e sulla potenza asintotica.
• Confronto Critico: Dimostrano che altre profondità adattate (come la profondità di Tukey, Lens depth o Metric Spatial Depth) falliscono nel catturare l'ordinamento corretto o sono computazionalmente intrattabili nello spazio di Wasserstein.

4. Risultati

I risultati sono validati attraverso simulazioni numeriche estese e un'applicazione su dati reali:

• Simulazioni di Coerenza: Le stime empiriche della WSD convergono rapidamente ai valori teorici, confermando la consistenza degli stimatori.
• Rilevamento di Outlier: In scenari con distribuzioni "esotiche" (outlier) mescolate a una popolazione regolare, la WSD riesce a identificare chiaramente le distribuzioni anomale assegnando loro valori di profondità molto bassi.
  • Confronto: Metodi basati sull'embedding in spazi di Hilbert (come la profondità funzionale su RKHS) o altre profondità metriche falliscono nel distinguere gli outlier, trattandoli come parte della nuvola centrale a causa della distorsione della geometria durante l'embedding.
• Test a Due Campioni: Il test basato sulla WSD mostra una potenza superiore o comparabile rispetto ai test basati sui profili di distanza (Distance Profiles), specialmente in scenari con variazioni di covarianza o strutture complesse, mantenendo un controllo rigoroso del livello di significatività.
• Applicazione Reale (Clima): Il metodo è stato applicato a un dataset di temperature giornaliere europee (1874-2023) da 40 stazioni meteorologiche. Ogni anno è modellato come una distribuzione su $\mathbb{R}^{12}$ (12 mesi).
  • La WSD ha identificato anni "anormali" (es. 1879, 1929, 1940, 2018) con profondità molto basse.
  • Questi anni corrispondono storicamente a eventi climatici estremi (inverni gelidi, ondate di calore, siccità), validando l'efficacia pratica del metodo nel rilevare cambiamenti climatici anomali su scala globale.

5. Significato e Impatto

Il lavoro di Bachoc, González-Sanz, Loubes e Yao rappresenta un avanzamento significativo nell'analisi statistica di dati complessi:

1. Ponte Teorico: Colma il divario tra la teoria delle profondità statistiche e la geometria degli spazi di Wasserstein, fornendo uno strumento rigoroso per l'ordinamento di distribuzioni.
2. Superiorità Metodologica: Dimostra che ignorare la struttura geodetica (tramite embedding lineari) porta a perdita di informazione e risultati fuorvianti. La WSD sfrutta la geometria intrinseca per una rappresentazione più fedele.
3. Applicabilità Pratica: Offre strumenti pratici (stima, test di ipotesi, rilevamento outlier) che sono computazionalmente fattibili (complessità polinomiale) e robusti, rendendo l'analisi di dati distribuzionali accessibile per campi come l'IA, l'ecologia, la climatologia e le scienze sociali.
4. Fondamento per Futuri Sviluppi: Apre la strada a nuove metodologie inferenziali (regressione, clustering, PCA) basate sull'ordinamento delle distribuzioni nello spazio di Wasserstein, superando i limiti degli approcci attuali.

In sintesi, la Wasserstein Spatial Depth è presentata come la misura di profondità corretta e necessaria per l'analisi moderna di dati distribuzionali, combinando proprietà teoriche solide con efficacia empirica dimostrata.