Sparse outlier-robust PCA for multi-source data

1. Il Problema

L'analisi delle componenti principali (PCA) è uno strumento statistico fondamentale per la riduzione della dimensionalità e l'estrazione di caratteristiche. Tuttavia, le metodologie PCA tradizionali e quelle sparse esistenti presentano due limitazioni principali quando applicate a contesti moderni:

1. Dati Multi-Sorgente: Molti dataset scientifici sono composti da più dataset correlati (es. serie temporali divise per anni, dati spaziali per regioni, gruppi demografici). Applicare la PCA globalmente su tutti i dati ignora le specificità locali, mentre applicarla separatamente a ogni gruppo ignora le connessioni strutturali globali.
2. Robustezza agli Outlier: I dati reali contengono spesso valori anomali (outlier) che distorcono le stime della varianza e delle direzioni di massima variabilità. Le PCA standard sono estremamente sensibili a questi outlier.
3. Interpretabilità: In dataset ad alta dimensionalità, i carichi (loadings) della PCA standard coinvolgono tutte le variabili, rendendo difficile l'interpretazione. È necessaria una sparsità strutturata che permetta di selezionare sia pattern globali (variabili importanti per tutte le sorgenti) che pattern locali (variabili importanti solo per specifiche sorgenti).

Non esisteva, al momento della pubblicazione, un metodo che unisse simultaneamente: (i) l'analisi congiunta di più sorgenti, (ii) la selezione di caratteristiche con sparsità strutturata (globale e locale), e (iii) la robustezza agli outlier.

2. Metodologia Proposta

Gli autori propongono una nuova metodologia di PCA Robusta e Sparsa per Dati Multi-Sorgente. L'approccio si articola nei seguenti punti chiave:

A. Formulazione del Problema di Ottimizzazione

Il metodo formula un problema di ottimizzazione per trovare i carichi delle componenti principali ($V^k$) che massimizzano la varianza spiegata congiuntamente su $N$ sorgenti, introducendo penalità per la sparsità.
La funzione obiettivo minimizza:
$$-\sum_{i=1}^N v'_{\cdot i} \hat{\Sigma}_i v_{\cdot i} + \eta \gamma \sum_{j=1}^p \sum_{i=1}^N |v_{ji}| + \eta(1-\gamma)\sqrt{N} \sum_{j=1}^p ||v_{j\cdot}||_2$$
Dove:

• $v_{\cdot i}$ rappresenta i carichi per la sorgente $i$.
• $\hat{\Sigma}_i$ è la matrice di covarianza robusta per la sorgente $i$.
• $\eta \ge 0$ controlla il grado complessivo di sparsità.
• $\gamma \in [0, 1]$ bilancia la sparsità:
  • $\gamma = 1$: Sparsità puramente elementare (locale), selezionando variabili diverse per ogni sorgente.
  • $\gamma = 0$: Sparsità puramente di gruppo (globale), selezionando le stesse variabili per tutte le sorgenti.
  • Valori intermedi permettono pattern strutturati misti.

B. Stima Robusta delle Covarianze (ssMRCD)

Per garantire la robustezza agli outlier, il metodo utilizza un approccio "plug-in" basato sullo stimatore ssMRCD (spatially smoothed Minimum Regularized Covariance Determinant).

• Lo ssMRCD calcola matrici di covarianza per ogni sorgente selezionando un sottoinsieme di osservazioni "pulite" (minimizzando il determinante della covarianza).
• Introduce una lisciatura (smoothing) tra le sorgenti correlate tramite una matrice di pesi $W$ e un parametro $\lambda$. Questo permette di sfruttare le informazioni globali per stabilizzare le stime locali, specialmente in presenza di pochi dati o rumore.

C. Algoritmo di Risoluzione (ADMM)

Poiché il problema di ottimizzazione è non convesso e presenta vincoli di ortogonalità complessi, gli autori sviluppano un algoritmo efficiente basato sul Metodo dei Moltiplicatori di Direzione Alternata (ADMM).

• Il problema viene scomposto in sottoproblemi risolvibili iterativamente.
• Vengono implementate strategie avanzate per garantire la convergenza, tra cui:
  • Scelta intelligente dei valori iniziali (basata su soluzioni estreme di sparsità).
  • Vincoli aggiuntivi per evitare l'oscillazione tra soluzioni opposte.
  • Minimizzazione inesatta (early termination) per accelerare i calcoli senza perdere accuratezza.

D. Selezione degli Iperparametri

Vengono proposti criteri specifici per selezionare:

• $\gamma$ e $\eta$: Ottimizzando il compromesso tra varianza spiegata e sparsità (misurata tramite TPO - Trade-Off Product).
• $\lambda$ (per ssMRCD): Minimizzando la norma dei residui del modello.
• Numero di componenti: Basato sulla variazione cumulativa percentuale (CPV), garantendo almeno l'80% della varianza globale spiegata.

3. Risultati Principali

Simulazioni

Gli autori hanno condotto estese simulazioni per valutare le prestazioni del metodo:

• Riconoscimento dei Pattern di Sparsità: Il metodo riesce a recuperare accuratamente sia le strutture di sparsità globali che quelle locali, superando le approcci standard.
• Robustezza: In presenza di outlier (fino al 20% dei dati contaminati), il metodo proposto (ssMRCD + PCA sparsa) supera significativamente la PCA classica e la ROSPCA (Robust Sparse PCA) esistente.
• Contaminazione Locale: Anche quando gli outlier sono presenti solo in una singola sorgente, il metodo proposto mantiene prestazioni stabili grazie alla lisciatura tra le sorgenti, mentre i metodi non robusti o non lisciati falliscono nella sorgente contaminata.

Applicazioni Reali

1. Analisi Meteorologica (Hohe Warte, Vienna):
   • Dataset: 64 anni di dati giornalieri (1960-2023) con 13 variabili meteorologiche.
   • Risultato: La prima componente identifica la precipitazione come fattore globale dominante. La terza componente rivela un trend temporale (cambiamento climatico) nelle variabili di temperatura e visibilità, un pattern che sarebbe rimasto nascosto con una PCA globale standard.
2. Analisi Geochimica delle Piante (Progetto NEXT):
   • Dataset: Concentrazioni di 19 elementi in diverse specie vegetali e organi (corteccia, aghi, rami).
   • Obiettivo: Distinguere tra rocce calciosilicatiche e mafiche per l'esplorazione mineraria.
   • Risultato: Il metodo ha identificato combinazioni specifiche di pianta-organo (es. corteccia di pino) e direzioni di variazione che discriminano efficacemente i tipi di rocce, dimostrando l'utilità della sparsità strutturata per isolare i segnali geologici rilevanti dal rumore di fondo.

4. Contributi Chiave

1. Novità Metodologica: Prima proposta di PCA che integra simultaneamente sparsità strutturata (globale/locale) e robustezza agli outlier in un contesto multi-sorgente.
2. Integrazione ssMRCD: Adattamento dello stimatore ssMRCD come componente "plug-in" per gestire la dipendenza tra le matrici di covarianza di gruppi correlati.
3. Algoritmo Efficiente: Sviluppo di una soluzione ADMM robusta e scalabile, con strategie di inizializzazione e convergenza specifiche per problemi non convessi con vincoli di ortogonalità multi-sorgente.
4. Interpretabilità: Capacità di distinguere chiaramente quali variabili guidano la varianza a livello globale rispetto a quelle specifiche di singoli gruppi, migliorando l'interpretazione dei risultati in scenari complessi.

5. Significato e Impatto

Questo lavoro colma un vuoto significativo nella letteratura statistica multivariata. In un'era in cui i dati provengono sempre più da fonti multiple e interconnesse (IoT, sensori distribuiti, studi longitudinali), la capacità di analizzare congiuntamente questi dati preservando le specificità locali e resistendo agli outlier è cruciale.
Il metodo proposto offre agli analisti uno strumento potente per:

• Ridurre la dimensionalità in modo interpretabile (selezione delle variabili).
• Gestire dati "sporchi" senza perdere informazioni strutturali.
• Scoprire pattern di variabilità che variano nel tempo o nello spazio, come dimostrato nell'applicazione climatica.
  Le potenziali estensioni includono l'applicazione ad altre tecniche multivariate come l'analisi discriminante, la modellazione grafica e l'analisi di correlazione canonica.