Projection depth for functional data: Practical issues, computation and applications

1. Problema e Contesto

L'analisi statistica dei dati funzionali (osservazioni che sono curve o funzioni continue) presenta sfide uniche a causa della loro complessità strutturale e della loro natura infinita-dimensionale. Un concetto fondamentale nell'analisi dei dati multivariati è la profondità statistica (statistical depth), che misura il grado di "centralità" di un punto rispetto a una distribuzione, permettendo di ordinare i dati dal più centrale al più estremo (outlier).

Sebbene esistano diverse estensioni della profondità ai dati funzionali (come la profondità integrata, a banda, o sferica), molte di queste faticano a catturare efficacemente le caratteristiche di forma (shape features) delle curve. Spesso, le profondità tradizionali si basano su deviazioni verticali punto-punto e falliscono nel distinguere curve che, pur essendo centrali nella loro posizione, presentano forme anomale. Inoltre, l'estensione della profondità di proiezione (Projection Depth) classica allo spazio di Hilbert infinito-dimensionale porta a un problema di degenerazione: la massima outlyingness può essere infinita quasi ovunque, rendendo la profondità non definita o statisticamente inutile.

2. Metodologia: Profondità di Proiezione Regularizzata (RPD)

Il paper si concentra sull'analisi pratica e computazionale della Regularized Projection Depth (RPD), recentemente proposta teoricamente da Bočinec et al. (2026).

• Definizione Teorica: La RPD risolve il problema della degenerazione introducendo una regolarizzazione. Invece di considerare tutte le direzioni di proiezione, si restringe l'insieme delle direzioni $V_\beta$ a quelle in cui la deviazione assoluta mediana (MAD) della proiezione dei dati è superiore a una soglia $\beta > 0$.
  $$D_\beta(x; P_X) = \inf_{v \in V_\beta} (1 + O_v(x; P_X))^{-1}$$
  dove $O_v$ è l'outlyingness di Stahel-Donoho lungo la direzione $v$.
• Selezione del Parametro di Regolarizzazione ($\beta$): Un contributo chiave del lavoro è la proposta di selezionare $\beta$ non come un valore fisso, ma come una quantile ($u$-quantile) della distribuzione delle MAD delle proiezioni casuali. Questo approccio:
  • Garantisce che l'insieme delle direzioni non sia vuoto.
  • Permette un'adattabilità ai dati: valori piccoli di $u$ (es. 0.001) corrispondono a una regolarizzazione debole, enfatizzando le caratteristiche di forma; valori più grandi aumentano la robustezza.
  • Preserva le proprietà teoriche di non-degenerazione e consistenza.
• Algoritmo Computazionale: Poiché calcolare l'infimo su un insieme infinito di direzioni è impossibile, gli autori propongono un algoritmo di approssimazione stocastica basato su proiezioni casuali.
  1. Si campionano $L$ direzioni casuali per stimare la soglia $\beta$.
  2. Si campionano $M$ direzioni condizionate all'insieme regolarizzato per calcolare la profondità.
  3. La convergenza dell'approssimazione è garantita teoricamente e numericamente, mostrando che la convergenza è più rapida per gli outlier rispetto ai punti centrali.

3. Contributi Chiave

1. Analisi Teorica del Parametro Adattivo: Dimostrazione che l'uso di un parametro $\beta$ basato su un quantile mantiene le proprietà desiderabili della RPD (invarianza ortogonale in spazi discreti, consistenza, e punto di rottura elevato).
2. Implementazione Efficiente: Sviluppo di un pacchetto software in R (basato su C++ tramite RcppArmadillo) che rende la RPD computazionalmente fattibile per dataset funzionali di dimensioni moderate.
3. Valutazione Estensiva delle Applicazioni: Il paper non si limita alla teoria, ma valida la RPD in quattro compiti statistici fondamentali, confrontandola con metodi esistenti (RHD, FD, MBD, ID, SD).

4. Risultati Sperimentali

Gli studi di simulazione su dati sintetici e scenari di contaminazione mostrano che la RPD supera sistematicamente le altre profondità, specialmente quando le differenze tra i gruppi o gli outlier sono legati alla forma della curva e non solo alla posizione o all'ampiezza.

• Rilevamento di Outlier (Outlier Detection):
  • La RPD eccelle nel rilevare outlier di forma (es. curve con frequenze diverse o forme centrali anomale) che le altre profondità (come FD o MBD) non riescono a identificare, trattandole erroneamente come centrali.
  • Per il rilevamento di outlier, si raccomanda l'uso di un parametro di regolarizzazione molto piccolo ($u = 0.001$).
• Classificazione Supervisionata:
  • Nei modelli con differenze di forma (es. salti centrali o differenze dimensionali), la RPD permette una separazione quasi perfetta tra le classi, anche con classificatori lineari semplici basati sulla trasformazione DD (Depth-Depth).
  • Le altre profondità mostrano tassi di errore significativamente più alti in questi scenari complessi.
• Test di Ipotesi:
  • I test basati su RPD (test di Kruskal-Wallis) mantengono correttamente il livello di significatività nominale (dimensione del test corretta), mentre molti altri test basati su profondità funzionali tendono a essere sovradimensionati (falsi positivi).
  • La RPD mostra un'elevata potenza nel rilevare differenze strutturali tra distribuzioni.
• Stima Robusta della Posizione:
  • La mediana indotta dalla RPD è altamente robusta. In scenari di contaminazione con grandi spostamenti o cambiamenti di varianza, la RPD mantiene prestazioni stabili grazie all'uso della MAD (che è robusta) invece della varianza classica.
  • Per la stima della posizione robusta, si raccomanda un parametro di regolarizzazione più alto (es. $u = 0.1$ o $0.5$) per ridurre la sensibilità agli outlier e stabilizzare la stima.

5. Significato e Conclusioni

Questo lavoro colma il divario tra la teoria della profondità di proiezione regolarizzata e la sua applicazione pratica. Dimostra che la RPD è uno strumento superiore per l'analisi dei dati funzionali quando le caratteristiche geometriche e di forma sono cruciali.

• Vantaggio Principale: La capacità di distinguere tra "centralità" e "forma", superando i limiti delle profondità basate su deviazioni verticali.
• Impatto Pratico: Fornisce una metodologia robusta e computazionalmente efficiente per compiti critici come il rilevamento di anomalie, la classificazione e il test di ipotesi in contesti funzionali complessi.
• Raccomandazione: L'articolo sottolinea l'importanza di scegliere il parametro di regolarizzazione $u$ in base all'obiettivo specifico: valori bassi per l'identificazione di anomalie di forma, valori più alti per la stima robusta della posizione.

In sintesi, la RPD rappresenta un avanzamento significativo nell'analisi dei dati funzionali, offrendo una soluzione robusta e adattiva ai problemi di ordinamento e classificazione di curve complesse.