Central subspace data depth

Questo articolo introduce un nuovo quadro teorico per le "central subspace data depths", generalizzando la profondità statistica dei dati per ordinare le osservazioni rispetto a un sottospazio invece che a un singolo punto, garantendo che il valore massimo di profondità coincida con il centro di simmetria del sottospazio e dimostrando la convergenza asintotica delle stime campionarie con applicazioni pratiche nel rilevamento delle frodi.

L'essenziale

Ecco una spiegazione semplice e creativa del paper "Central subspace data depth" (Profondità dei dati nel sottospazio centrale), pensata per chiunque, anche senza un background matematico.

Il Problema: Quando il "Centro" non è un punto, ma una strada

Immagina di avere un mucchio di biglie colorate sparse su un tavolo. Se le biglie sono tutte raggruppate in un unico ammasso rotondo, trovare il "centro" è facile: è il punto esatto nel mezzo. In statistica, questo si chiama profondità dei dati. Più sei vicino al centro, più sei "profondo" (importante); più sei ai bordi, più sei "superficiale" (un possibile errore o un valore strano).

Ma cosa succede se le tue biglie non formano una palla, ma sono disposte lungo una strada dritta?
Immagina di guardare i dati sul commercio internazionale dell'Unione Europea: da una parte c'è il peso della merce, dall'altra il valore dichiarato. Spesso, questi dati non formano una nuvola rotonda, ma seguono una linea retta precisa (più peso = più valore).

Se provi a trovare il "centro" come se fosse un singolo punto (come un ago che punta al centro della nuvola), commetti un errore. Stai cercando di centrare una strada con un punto. È come cercare di trovare il centro di un corridoio guardando solo una sedia posta nel mezzo: perdi la struttura reale della stanza.

La Soluzione: Il "Centro" diventa una Strada

Gli autori di questo studio, Giacomo Francisci e Claudio Agostinelli, hanno detto: "E se invece di cercare un punto, cercassimo una linea (o un piano, o una superficie) come nuovo centro?".

Hanno inventato un nuovo modo di misurare la "profondità" dei dati, chiamandolo Profondità nel Sottospazio Centrale.

Ecco come funziona con un'analogia:

1. L'approccio vecchio (Punto): Immagina di lanciare un sasso in un lago. Le onde si espandono in cerchi perfetti. Il centro è dove hai lanciato il sasso. Se i dati sono una nuvola rotonda, questo funziona benissimo.
2. L'approccio nuovo (Strada): Immagina di lanciare un sasso in un fiume che scorre dritto. Le onde non sono cerchi, ma si allungano lungo la corrente. Il "centro" non è più un punto, ma l'asse centrale del fiume.
   • Il nuovo metodo cerca prima di capire: "Qual è la direzione in cui i dati sono più allineati?" (come trovare l'asse del fiume).
   • Poi, invece di misurare la distanza da un punto, misura la distanza da questa linea centrale.

Perché è utile? (La caccia alle frodi)

L'esempio pratico usato nel paper è la caccia alle frodi doganali.

Immagina che i doganieri controllino i camion che entrano in Europa. Ogni camion ha un peso e un valore dichiarato.

• La regola normale: Se un camion pesa 10 tonnellate, dovrebbe valere circa 100.000 euro. Se pesa 20 tonnellate, dovrebbe valere 200.000 euro. I dati "onesti" formano una linea dritta.
• Il trucco: Un truffatore potrebbe dichiarare un peso altissimo ma un valore bassissimo per pagare meno tasse.

Con il vecchio metodo (Punto):
Il computer guarda tutti i camion e cerca il "camion medio". Se un camion è lontano dal centro della nuvola, viene segnalato. Ma se la nuvola è allungata, il computer potrebbe confondersi e non vedere le frodi che sono "lontane" dalla linea, ma comunque allineate con la direzione sbagliata.

Con il nuovo metodo (Strada):
Il computer disegna la "strada" ideale dove dovrebbero stare i camion onesti.

• Se un camion è sulla strada, anche se è in fondo alla fila, è considerato "normale" (alta profondità).
• Se un camion è lontano dalla strada (anche se è vicino al centro della nuvola generale), viene subito segnalato come sospetto.

È come se avessimo un righello invisibile che segue la direzione naturale dei dati. Chiunque non si allinei con il righello, anche se sembra "vicino" agli altri, viene visto come un'anomalia.

In sintesi: Cosa ci dicono gli autori?

1. Non tutto è rotondo: Spesso i dati del mondo reale (come prezzi, pesi, altezze) non sono sfere perfette, ma hanno forme allungate, come strisce o piani.
2. Cambia il centro: Invece di cercare un singolo "punto medio", dobbiamo cercare una "linea media" o una "superficie media".
3. Trova gli intrusi: Questo metodo è potentissimo per trovare le frodi o gli errori perché distingue meglio chi è "fuori posto" rispetto alla struttura naturale dei dati.

L'analogia finale:
Immagina di dover ordinare una folla di persone.

• Il metodo vecchio dice: "Tutti quelli che non sono esattamente al centro della piazza sono strani".
• Il metodo nuovo dice: "Guarda come si muovono le persone. C'è una fila che si sta formando. Chiunque non stia in quella fila, anche se è vicino ad altri, è fuori posto".

Questo approccio permette di vedere cose che prima erano invisibili, rendendo l'analisi dei dati più intelligente e adattabile alla realtà complessa del mondo.

Sommario tecnico

Ecco una sintesi tecnica dettagliata del paper "Central subspace data depth" di Giacomo Francisci e Claudio Agostinelli, redatta in italiano.

1. Il Problema

L'analisi dei dati multivariati si avvale spesso della profondità dei dati statistici (statistical data depth), una funzione che ordina le osservazioni dal centro verso l'esterno, permettendo di definire regioni centrali, misure di posizione robuste e identificare valori anomali (outlier).
Tuttavia, la maggior parte delle definizioni classiche di profondità (es. profondità di Tukey, simpliciale) assume che il "centro" della distribuzione sia un punto (sottospazio di dimensione zero). In molte applicazioni reali, la struttura dei dati non è centrata su un singolo punto, ma su un sottospazio lineare di dimensione $p > 0$.
Un esempio emblematico citato è quello dei dati doganali dell'Unione Europea (POD - Product, Origin, Destination): i prezzi e i pesi delle merci importate tendono a seguire una struttura lineare (una retta) piuttosto che un punto centrale. In questi contesti, cercare un punto centrale è inefficace; è necessario identificare un "centro" che sia una linea (o un piano, ecc.) e ordinare i dati in base alla loro distanza da tale sottospazio.

2. Metodologia

Gli autori propongono un quadro generale per costruire profondità dei dati che massimizzano il valore su un sottospazio centrale di dimensione $p$ ($0 \le p \le m-1$), invece che su un punto.

A. Definizione di Profondità del Sottospazio Centrale

Il metodo si basa su due concetti chiave:

1. Immersione Profonda (Deeply Immersion): Si definisce un sottospazio ortogonale $S_q$ (di dimensione $q = m-p$) come quello in cui la proiezione dei dati mostra la minima dispersione. La dispersione è misurata integrando una funzione di profondità statistica classica (es. profondità di mezzo spazio o simpliciale) su tutto lo spazio.
2. Sottospazio Centrale ($S_p$): È il sottospazio ortogonale a $S_q$ che minimizza la dispersione. Se la distribuzione è simmetrica rispetto a un sottospazio, la profondità è massimizzata su tale sottospazio.

La profondità del sottospazio centrale $d_S(S_{B_q}(y), F)$ per un sottospazio affine definito da $y \in \mathbb{R}^q$ è definita come:
$$d_S(S_{B_q}(y), F) = d(y, F_{B_q})$$
dove $d$ è una profondità statistica classica applicata alla distribuzione proiettata $F_{B_q}$ sul sottospazio ortogonale $S_q$.

B. Proprietà e Simmetria

Il paper estende le nozioni di simmetria (sferica, ellittica, centrale, ecc.) dal punto al sottospazio. Viene introdotta la simmetria debole rispetto a un sottospazio: una variabile casuale $X$ è simmetrica rispetto a $S_p$ se la sua proiezione su $S_q$ è simmetrica in $\mathbb{R}^q$.
La nuova profondità soddisfa proprietà fondamentali:

• Invarianza: Invarianza rispetto a traslazioni, scalatura, rotazioni e riflessioni (ma non a trasformazioni affini generali, a differenza delle profondità classiche).
• Massimalità: Raggiunge il massimo sul sottospazio centrale.
• Monotonia: Decresce allontanandosi dal sottospazio centrale.

C. Selezione della Dimensione Ottimale

Un aspetto cruciale è la scelta della dimensione $p$ del sottospazio centrale. Gli autori propongono un algoritmo ricorsivo basato su test di uniformità sferica (Test di Rayleigh):

1. Si parte assumendo $p=1$ (quindi $q=m-1$).
2. Si calcola la direzione ottimale di proiezione minimizzando la dispersione.
3. Si verifica se la distribuzione proiettata sul sottospazio residuo è sfericamente simmetrica (uniforme sulla sfera).
4. Se l'ipotesi nulla di simmetria sferica è accettata, la dimensione $p$ è ottimale. Altrimenti, si incrementa $p$ e si ripete il processo.

3. Contributi Chiave

1. Generalizzazione della Profondità: Estensione formale del concetto di profondità dai punti ai sottospazi, permettendo di modellare strutture lineari o planari nei dati.
2. Collegamento con PCA: Viene dimostrato che, per distribuzioni ellitticamente simmetriche, la procedura di minimizzazione della dispersione basata sulla profondità è equivalente all'analisi delle componenti principali (PCA). Tuttavia, a differenza della PCA, il metodo proposto è non parametrico e funziona anche per distribuzioni con forme arbitrarie o varianze infinite (es. distribuzioni t di Student con $\nu \le 2$).
3. Proprietà Asintotiche: Vengono fornite dimostrazioni teoriche sulla convergenza quasi certa delle versioni campionarie della profondità e della misura di dispersione, nonché condizioni di finitezza e continuità.
4. Applicazione alla Frode Doganale: Dimostrazione pratica dell'utilità del metodo nel rilevare dichiarazioni fraudolente (sottostima dei prezzi) in dati commerciali reali.

4. Risultati

• Simulazioni: Gli esperimenti su dati simulati (distribuzioni normali, miste, con componenti uniformi) mostrano che l'algoritmo di selezione della dimensione identifica correttamente la struttura sottostante (es. $p=1$ per dati allineati su una retta) e che la profondità del sottospazio centrale ordina i dati in modo più significativo rispetto alla profondità classica quando la struttura è lineare.
• Analisi dei Dati Reali (POD):
  • Applicando il metodo ai dati doganali (POD 33, POD 19, ecc.), si osserva che i dati giacciono lungo rette.
  • La profondità del sottospazio centrale identifica chiaramente una "linea mediana" (il sottospazio centrale).
  • Gli outlier (punti rossi e blu nelle figure) vengono identificati come deviazioni estreme da questa linea centrale. Questo permette di individuare potenziali frodi (es. prezzi dichiarati anormalmente bassi per un dato peso) che potrebbero essere nascosti o mal interpretati con un'analisi basata su un punto centrale.
• Confronto con PCA: Nell'analisi del dataset Iris, il metodo basato sulla massimizzazione della dispersione (o minimizzazione della dispersione residua) ha prodotto un clustering gerarchico con un tasso di errore inferiore (143/150 corretti) rispetto alla prima componente PCA (135/150 corretti), dimostrando una migliore capacità di separazione delle classi.

5. Significato e Impatto

Il lavoro di Francisci e Agostinelli offre un potente strumento statistico per l'analisi esplorativa di dati multivariati strutturati.

• Flessibilità: Supera i limiti della PCA e delle profondità classiche che falliscono quando il "centro" non è un punto ma una varietà lineare.
• Robustezza: Essendo basato su profondità statistiche, è robusto agli outlier e non richiede l'esistenza di momenti di ordine superiore (come la varianza), rendendolo adatto a dati con code pesanti.
• Applicabilità Pratica: L'applicazione alla rilevazione di frodi doganali dimostra il valore operativo del metodo per le autorità fiscali e doganali, permettendo di focalizzare le indagini su anomalie strutturali rispetto a una linea di tendenza naturale, piuttosto che rispetto a una media globale.

In sintesi, il paper introduce una nuova classe di profondità che adatta la geometria dello spazio di riferimento alla struttura intrinseca dei dati, mantenendo le proprietà desiderabili di robustezza e interpretabilità statistica.