Sintesi Tecnica: Rilevamento di Outlier Spiegabile per Dati Funzionali Multivariati

Enunciato del Problema

L'Analisi dei Dati Funzionali Multivariati (FDA) comporta l'analisi di dati rappresentati come funzioni continue attraverso molteplici variabili (ad esempio, serie temporali di diversi sensori). Sebbene l'Analisi delle Componenti Principali Funzionali (FPCA) sia uno strumento dominante, la stima robusta delle funzioni di media e di covarianza rimane una sfida critica, specialmente in presenza di outlier. Gli outlier possono distorcere gravemente le stime non robuste, portando a conclusioni inaffidabili. Inoltre, i metodi esistenti di rilevamento degli outlier spesso mancano di interpretabilità; identificano che un'osservazione è anomala ma non riescono a spiegare perché—specificamente, quali componenti (variabili) e in quali punti temporali si verifica la deviazione.

La letteratura attuale offre metodi robusti per dati funzionali univariati e approcci basati sulla profondità per contesti multivariati, ma esiste un vuoto nella fornitura di un quadro unificato che combini la stima robusta basata sulla distanza con spiegazioni di outlier interpretabili, specifiche per componente e tempo, per dati funzionali multivariati, in particolare sotto strutture di covarianza separabili.

Metodologia

Il quadro proposto integra tre componenti fondamentali: stima robusta della covarianza, una distanza di Mahalanobis funzionale multivariata troncata e decomposizione basata sui valori di Shapley.

1. Quadro Teorico: Struttura di Covarianza Separabile e Rappresentazione in Base

Il metodo assume che il processo stocastico multivariato $X(t)$ possieda una struttura di covarianza separabile, dove il nucleo di covarianza $K(s, t)$ si decompone in una matrice di covarianza incrociata $\Sigma_{row}$ (tra le componenti) e un nucleo temporale $\kappa(s, t)$ (all'interno delle componenti):
$$K(s, t) = \Sigma_{row} \kappa(s, t)$$
Per gestire osservazioni discrete, i dati vengono lisciati utilizzando una rappresentazione in base finita (ad esempio, B-spline). Un contributo teorico chiave è l'istituzione di un collegamento diretto tra il processo funzionale e la sua matrice di coefficienti $A$. Se $X(t) = A' \phi(t)$, il documento dimostra che, in caso di separabilità, la matrice di coefficienti $A$ segue una distribuzione matriciale con media $M_A$ e covarianze $\Sigma_{row}$ e $\Sigma_{col}$ (dove $\Sigma_{col}$ è correlata a $\kappa$). Ciò consente di calcolare la distanza di Mahalanobis funzionale come una distanza di Mahalanobis matriciale sulle matrici di coefficienti, riducendo significativamente la complessità computazionale.

2. Stima Robusta: MMCD

Per garantire la robustezza rispetto agli outlier, il quadro utilizza lo stimatore Matrix Minimum Covariance Determinant (MMCD) (Mayrhofer et al., 2025) per stimare la media e la covarianza delle matrici di coefficienti. Questo approccio è altamente robusto, efficiente e consistente per distribuzioni ellittiche matriciali. Gli stimatori MMCD ($\hat{M}_A, \hat{\Sigma}_{row}, \hat{\Sigma}_{col}$) sono utilizzati per costruire una distanza di Mahalanobis funzionale troncata robusta.

3. Metrica di Distanza: Distanza di Mahalanobis Funzionale Multivariata Troncata (fMMD)

Gli autori definiscono la distanza semi-Mahalanobis funzionale multivariata troncata al quadrato (fMMD) come:
$$fMMD^2(X; M) = \sum_{k=1}^{M} \frac{1}{\pi_k} \langle X - \mu, \psi_k \rangle^2$$
dove $(\pi_k, \psi_k)$ sono le coppie di autovalori e autovettori dell'operatore di covarianza. Sotto l'assunzione di separabilità, questa distanza risulta equivalente alla distanza di Mahalanobis matriciale della matrice di coefficienti $A$. Questa equivalenza consente un calcolo efficiente utilizzando stimatori matriciali robusti.

4. Spiegabilità: Decomposizione dei Valori di Shapley

Per affrontare la natura "scatola nera" del rilevamento degli outlier, il documento generalizza i valori di Shapley (dalla teoria dei giochi cooperativi) per decomporre l'outlierità totale (fMMD) in contributi additivi.

• Specifico per coordinata: Identifica quale variabile (componente) contribuisce maggiormente all'anomalia.
• Specifico per tempo: Identifica quali intervalli temporali contribuiscono maggiormente.
• Specifico per tempo-coordinata: Decompone simultaneamente i contributi per variabile e intervallo temporale.

Crucialmente, gli autori derivano una soluzione in forma chiusa per questi contributi che riduce la complessità computazionale da esponenziale (rispetto al numero di componenti) a lineare, mantenendo al contempo le proprietà chiave dei valori di Shapley (efficienza, simmetria, monotonia).

Contributi Chiave

1. Quadro Robusto per FDA Multivariata: Il documento introduce un quadro completo per la stima robusta di media e covarianza in dati funzionali multivariati utilizzando stimatori MMCD applicati ai coefficienti di base sotto un'assunzione di covarianza separabile.
2. Collegamento Teorico tra Distribuzioni Funzionali e Matriciali: Stabilisce rigorosamente che la separabilità dell'operatore di covarianza in un processo funzionale multivariato si traduce in una struttura separabile specifica nella distribuzione della matrice di coefficienti casuale. Questo collega la robustezza funzionale con la teoria della robustezza matriciale.
3. Rilevamento di Outlier Spiegabile ed Efficiente: Il lavoro generalizza i valori di Shapley ai dati funzionali, fornendo un metodo principiato per decomporre l'outlierità funzionale multivariata in contributi specifici per tempo e componente. La derivazione di un algoritmo a complessità lineare per queste decomposizioni rappresenta un significativo avanzamento computazionale.
4. Validazione Empirica: Il metodo è validato attraverso estese simulazioni e applicazioni reali, dimostrando la sua efficacia nel rilevare vari tipi di outlier (spostamento, forma, isolati, indotti da covarianza) e la sua robustezza anche quando l'assunzione di separabilità è specificata in modo errato.

Risultati

Studi di Simulazione

Sono state condotte estese simulazioni confrontando il metodo proposto (distanza di Mahalanobis basata su MMCD) con metodi basati sulla profondità all'avanguardia (ad esempio, fSDO, fAO, fDO), grafici di magnitudine-forma e foreste di isolamento funzionali.

• Prestazioni: L'approccio basato sulla distanza robusta proposto ha costantemente superato i metodi concorrenti in termini di F-score, AUC e richiamo, in particolare per gli outlier di spostamento e forma.
• Robustezza alla Specificazione Errata: Anche quando i dati violavano l'assunzione di separabilità (processi non separabili), il metodo proposto è rimasto efficace, spesso superando gli stimatori della covarianza campionaria non regolarizzati grazie a un favorevole compromesso tra bias e varianza.
• Dati Non Gaussiani: In contesti a code pesanti (distribuzioni t), il metodo robusto ha mantenuto un alto richiamo e AUC, sebbene la precisione fosse inferiore a causa della difficoltà nel distinguere le code della distribuzione dai veri outlier.
• Interpretabilità: I valori di Shapley hanno identificato con successo le coordinate e gli intervalli temporali specifici responsabili degli outlier, superando le misure di deviazione naive e i punteggi locali basati sulla profondità in scenari di contaminazione localizzata.

Applicazioni Reali

1. Oscillazione Meridionale di El Niño (ENSO): Analisi dei dati sulla temperatura superficiale del mare (SST) da quattro regioni Niño. L'approccio multivariato ha identificato episodi ENSO più estremi rispetto all'analisi univariata. La decomposizione di Shapley ha rivelato che gli eventi El Niño erano guidati dal riscaldamento in Niño 3.4 e Niño 3, mentre gli eventi La Niña erano guidati dal raffreddamento in Niño 4 e Niño 3.
2. Saldatura a Punti per Resistenza: Applicata alle curve di resistenza dinamica dalla produzione automobilistica. Il metodo ha raggiunto un AUC di 0,95, superando altri metodi, e ha identificato con successo quali punti di saldatura e intervalli temporali erano anomali in caso di espulsione.
3. Tassi di Fertilità: Analisi delle curve di fertilità specifiche per età per 22 paesi. Il metodo robusto ha rilevato outlier mascherati da stimatori classici (ad esempio, USA, Germania) e ha fornito intuizioni interpretabili sugli spostamenti nella tempistica della fertilità attraverso diversi gruppi di età e decenni.

Significato e Affermazioni

Il documento afferma di fornire un approccio robusto e interpretabile per l'analisi di dati funzionali multivariati con strutture di covarianza separabili. Il suo significato risiede in:

• Superare il rilevamento per arrivare alla spiegazione: Integrando i valori di Shapley, il quadro non si limita a segnalare anomalie, ma le spiega in termini di componenti e punti temporali specifici, il che è cruciale per gli esperti di dominio (ad esempio, climatologi, ingegneri di produzione).
• Efficienza Computazionale: La riduzione della complessità dei valori di Shapley da esponenziale a lineare rende il metodo scalabile per dati funzionali ad alta dimensionalità.
• Robustezza: L'uso degli stimatori MMCD garantisce che il rilevamento e l'interpretazione non siano distorti dagli stessi outlier che mirano a trovare.
• Utilità Pratica: Il quadro si dimostra efficace anche quando le assunzioni del modello (separabilità, normalità) non sono perfettamente soddisfatte, rendendolo uno strumento praticabile per l'analisi di dati reali dove tali assunzioni sono spesso approssimazioni.

Gli autori concludono che, sebbene l'assunzione di separabilità semplifichi la modellazione, lo stimatore strutturato proposto agisce come un'approssimazione robusta che spesso produce diagnosi più stabili rispetto agli stimatori senza vincoli in dimensioni campionarie moderate. Si suggerisce un lavoro futuro per estendere queste tecniche di stima robusta a strutture di covarianza non separabili.