Cellwise Outliers

Titolo: Outlier Cellulari: Una Nuova Paradigma nella Statistica Robusta

1. Il Problema: Dalla Contaminazione Casistica a quella Cellulare

Tradizionalmente, nella statistica e nel machine learning, un "outlier" o "anomalia" è definito come un caso (una riga intera nel dataset) che si comporta diversamente dalla maggior parte dei dati. Questo modello, noto come contaminazione casistica (o rowwise), assume che un'osservazione sia o completamente pulita o completamente contaminata.

Tuttavia, con l'aumento della dimensionalità dei dati, questo approccio diventa insufficiente. Il paper introduce il concetto di outlier cellulari (cellwise outliers): valori individuali errati sparsi all'interno della matrice dei dati.

• Il Paradosso Dimensionale: Anche una piccola proporzione di celle contaminata può corrompere la maggior parte dei casi (righe). Ad esempio, se la probabilità di una cella essere un outlier è $\epsilon_{cell}$ e la dimensionalità è $d$, la probabilità che un caso contenga almeno un outlier è $1 - (1-\epsilon_{cell})^d$. Per $d=70$ e $\epsilon_{cell}=0.05$, oltre il 97% dei casi risulterebbe contaminato, rendendo inefficaci i metodi robusti tradizionali che eliminano o soppesano interi casi.
• Modello di Contaminazione Mista: Nella realtà, i dati possono presentare contemporaneamente outlier cellulari, outlier casistici e valori mancanti. Il paper formalizza questo attraverso un modello misto che combina le tre fonti di contaminazione.

2. Metodologia e Sfide Teoriche

L'articolo evidenzia che la robustezza agli outlier cellulari richiede un cambio di paradigma rispetto alla statistica robusta classica.

Rottura delle Proprietà di Equivarianza:
Un risultato fondamentale è che le proprietà di equivarianza affina (dove gli stimatori si trasformano naturalmente sotto trasformazioni lineari) sono incompatibili con una alta breakdown value (valore di rottura) in presenza di contaminazione cellulare.

• Teorema di Rottura: Gli stimatori che soddisfano proprietà naturali come "se tutti i punti giacciono in un sottospazio affine, anche lo stimatore vi giace" hanno un valore di rottura cellulare limitato a circa $1/d$. Questo significa che in alta dimensionalità, anche un singolo outlier per colonna può distruggere lo stimatore.
• Soluzione: È necessario abbandonare alcune forme di equivarianza (come l'equivarianza ortogonale) per ottenere robustezza. La strategia passa dall'analizzare i casi interi all'analizzare le singole celle, spesso trattando i valori sospetti come mancanti o assegnando loro pesi.

Algoritmi e Tecniche Principali:
Il paper descrive diverse metodologie sviluppate negli ultimi decenni:

• Rilevamento (Detection):

  • DDC (Detect Deviating Cells): Un algoritmo che adatta regressioni lineari robuste semplici per ogni variabile basandosi sulle altre. Le celle con residui significativi vengono flaggate.
  • FastDDC: Una versione computazionalmente efficiente per dati ad alta dimensionalità.
  • Mappe di Celle (Cellmaps): Visualizzazioni che mostrano le celle residue (blu per valori inferiori all'atteso, rosso per superiori), permettendo di identificare outlier non marginalmente evidenti.

• Stima di Posizione e Covarianza:

  • TSGS (Two-Step Generalized S-estimator): Filtra le celle sospette (imputandole come mancanti) e applica poi uno stimatore S robusto per casi.
  • CellMCD: Estensione cellulare del Minimum Covariance Determinant. Minimizza la verosimiglianza di un sottoinsieme di celle pulite (non di casi interi), utilizzando un criterio di penalizzazione per il numero di celle flaggate.
  • CellRCov: Per dati ad alta dimensionalità, decompone la matrice di covarianza in una componente a rango ridotto (stimata via cellPCA) e una componente residua regolarizzata.

• Regressione:

  • CellLTS: Combina l'imputazione delle celle sospette (tramite CellMCD) con la Least Trimmed Squares (LTS) robusta. Include un meccanismo innovativo per le previsioni fuori campione: quando un nuovo vettore di regressori arriva con celle anomale, queste vengono imputate prima di calcolare la previsione, evitando che l'outlier distorca il risultato.
  • Shooting S-estimator: Utilizza l'ottimizzazione coordinata, sostituendo la regressione OLS con una regressione robusta per ogni coefficiente, aggiornando iterativamente le risposte per evitare la propagazione degli errori.

• Analisi delle Componenti Principali (PCA) e Tensori:

  • CellPCA: Minimizza un errore di approssimazione robusto applicando funzioni limitate ($\rho$) ai residui delle singole celle. Permette l'imputazione delle celle sospette prima della proiezione sul sottospazio principale.
  • ROMPCA (per Tensori): Estende CellPCA ai dati tensoriali (array multidimensionali), gestendo simultaneamente outlier cellulari, casistici e valori mancanti, utilizzando decomposizioni di Tucker o CP.

3. Risultati Chiave e Contributi

• Dimostrazione Teorica: Il paper fornisce prove matematiche rigorose sul perché l'equivarianza affina deve essere sacrificata per ottenere robustezza cellulare, definendo nuovi limiti di breakdown value.
• Prestazioni in Alta Dimensionalità: I metodi proposti (come CellMCD e CellLTS) dimostrano di funzionare efficacemente anche quando $d > n$, una situazione in cui i metodi classici falliscono.
• Gestione dei Valori Mancanti: A differenza di molti approcci robusti tradizionali, le tecniche cellulari gestiscono nativamente i dati mancanti trattandoli in modo coerente con le celle contaminate (spesso imputandole).
• Applicabilità Versatile: Le metodologie sono state validate su dataset reali in vari campi: epidemiologia, geochimica, archeologia, analisi di spettri NIR (dati octane) e video sorveglianza (dati tensoriali "Dog Walker").

4. Significato e Impatto

Il lavoro segna un'evoluzione fondamentale nella statistica robusta:

1. Cambio di Paradigma: Sposta il focus dalla pulizia dei "casi" alla pulizia delle "celle", riconoscendo che in grandi dataset è improbabile che un'intera riga sia pulita, ma è probabile che la maggior parte delle sue celle lo sia.
2. Efficienza: Evita la perdita di informazioni che si verifica quando si scartano interi casi a causa di pochi valori errati.
3. Strumenti Pratici: Molti di questi algoritmi sono implementati nel pacchetto R cellWise, rendendo queste tecniche avanzate accessibili alla comunità scientifica e ai data scientist.
4. Futuro: Il paper conclude che, sebbene siano stati fatti progressi significativi, rimangono sfide aperte per l'adattamento di altri modelli statistici, lo sviluppo di algoritmi più scalabili e la creazione di visualizzazioni intuitive per comunicare i risultati di questa complessa contaminazione.

In sintesi, il paper stabilisce che la robustezza agli outlier cellulari non è solo un'estensione dei metodi esistenti, ma richiede una riscrittura dei principi fondamentali della stima statistica, abbandonando alcune proprietà matematiche "caritatevoli" (come l'equivarianza affina) in favore di una maggiore resilienza pratica in scenari di dati reali ad alta dimensionalità.