Riassunto Tecnico: Mean Shift Density Enhancement (MSDE) per l'Anomaly Detection Non Supervisionata

1. Definizione del Problema

L'anomaly detection non supervisionata rimane una sfida critica nel machine learning, in particolare perché gli algoritmi esistenti spesso mancano di robustezza attraverso diversi tipi di anomalie e ambienti rumorosi. Come evidenziato dall'Anomaly Detection Benchmark (ADBench), nessun metodo non supervisionato singolo supera costantemente gli altri in tutti i dataset, strutture di anomalie e regimi di rumore. Gli attuali metodi si affidano tipicamente ad assunzioni statiche — come la distanza globale, la densità locale o la varianza di proiezione — che falliscono quando le anomalie si manifestano come deviazioni sottili da complessi manifold di dati o quando i dati sono corrotti dal rumore. Il problema centrale affrontato è la necessità di un framework general-purpose e robusto che non dipenda da una singola metrica predefinita, ma che si adatti alla struttura geometrica intrinseca dei dati.

2. Metodologia: Mean Shift Density Enhancement (MSDE)

MSDE è un framework non parametrico, completamente non supervisionato, che rileva le anomalie basandosi sulla loro risposta geometrica a un'evoluzione del manifold guidata iterativamente dalla densità. L'intuizione fondamentale è che i campioni normali, essendo ben supportati dalla densità locale, rimangono stabili sotto l'incremento iterativo della densità, mentre i campioni anomali subiscono grandi spostamenti cumulativi mentre vengono attratti verso i mode di densità vicini.

Il metodo opera attraverso tre componenti primarie:

2.1 Costruzione di un Grafo di Vicinato Adattivo

MSDE costruisce una struttura di vicinato locale utilizzando un grafo approssimato dei $k$-vicini più prossimi (k-NN) tramite l'algoritmo NN-Descent. Fondamentalmente, questo grafo viene ricalcolato ad ogni iterazione di mean-shift per garantire che la località sia definita rispetto alla stima attuale del manifold dei dati, piuttosto che rispetto allo spazio delle caratteristiche originali statiche.

2.2 Stima del Peso Adattivo al Manifold

A differenza dei classici metodi mean-shift che utilizzano pesi uniformi o semplici basati sulla distanza, MSDE impiega un grafo di vicinato fuzzy derivato dall'algoritmo Uniform Manifold Approximation and Projection (UMAP).

• Fuzzy Simplicial Sets: Per mini-batch di dati, MSDE calcola un insieme simpliciale fuzzy dove i pesi degli archi rappresentano il grado di appartenenza tra i punti, limitato nell'intervallo $[0, 1]$.
• Pesatura Multi-Scala: L'algoritmo esegue una ricerca binaria per identificare un raggio $\epsilon$ che soddisfi una condizione di densità di vicinato. Successivamente, valuta le densità di vicinato attraverso una sequenza di raggi decrescenti ($\epsilon, \epsilon-\Delta, \dots$).
• Pesi Empirici: Il peso finale per ogni campione è la media dei conteggi dei vicini attraverso questi moltevoli raggi. Ciò produce pesi fluidi e stabili che catturano la densità intrinseca attraverso molteplici granularità senza assunzioni parametriche esplicite.

2.3 Mean-Shift Pesato Iterativo e Scoring

MSDE esegue una procedura di mean-shift pesata sul manifold appreso:

1. Step di Aggiornamento: Ad ogni iterazione $t$, la posizione di un punto $x_i$ viene aggiornata verso una media di vicinato localmente pesata $\mu_i^{(t)}$. La dimensione del passo è normalizzata e scalata da un learning rate $\eta$.
2. Accumulo dello Spostamento: L'entità dello spostamento istantaneo $\delta_i^{(t)}$ viene registrata. Lo score di anomalia è derivato dallo spostamento cumulativo $D_i = \sum \delta_i^{(t)}$ su $T$ iterazioni (o fino alla convergenza).
3. Scoring: I punti immersi profondamente nel manifold si spostano minimamente (score basso), mentre le anomalie, essendo lontane dalle regioni dense, subiscono grandi movimenti diretti (score alto). Gli score sono normalizzati tramite una funzione sigmoide.

3. Contributi Chiave

Il paper delinea due contributi primari:

1. Un Principio Basato sullo Spostamento: Gli autori introducono lo spostamento geometrico cumulativo come un nuovo segnale di anomalia. Questo va oltre le misure statiche di densità o distanza, fornendo un meccanismo per distinguere i campioni normali e quelli anomali in base alla loro stabilità sotto l'incremento iterativo della densità.
2. Un Framework Adattivo al Manifold: Lo sviluppo di una procedura di mean-shift pesata dove l'influenza del vicinato è governata da stime di densità empiriche da un grafo fuzzy basato su UMAP. Ciò consente al metodo di adattarsi naturalmente a manifold di dati eterogenei e distribuzioni arbitrarie senza assunzioni parametriche esplicite.

4. Risultati Sperimentali

Gli autori hanno valutato MSDE sul benchmark ADBench, che comprende 46 dataset tabulari del mondo reale, quattro meccanismi realistici di generazione di anomalie (Global, Local, Cluster, Dependency) e sei livelli di rumore.

• Performance rispetto ai Baseline: MSDE è stato confrontato con 13 baseline non supervisionate consolidate (inclusi KNN, LOF, Isolation Forest, DAGMM, ecc.).
  • Generale: MSDE ha ottenuto l'AUC-ROC, l'AUC-PR e la Precision@n media più elevati in tutti i tipi di anomalie in scenari privi di rumore.
  • Robustezza: Mentre specifici baseline eccellevano in modalità specifiche (ad esempio, LOF per anomalie locali, PCA per anomalie di cluster), MSDE è stato l'unico metodo a mantenere una performance costantemente stabile attraverso tutti e quattro i tipi di anomalie.
  • Resilienza al Rumore: Sotto un crescente rumore delle feature (fino al 50% di corruzione), MSDE ha dimostrato una stabilità superiore rispetto ai metodi basati sulla ricostruzione (es. DAGMM) e agli stimatori di densità locale (es. LOF), che hanno subito un grave degrado.
• Significatività Statistica: Un test di Wilcoxon signed-rank a una coda ha confermato che i miglioramenti di MSDE rispetto a 12 dei 13 baseline erano statisticamente significativi ($p < 0.05$).
• Studi di Ablazione: Rimuovere il grafo fuzzy o lo schema di pesatura multi-raggio ha causato cali di performance, validando la necessità di entrambi i componenti per gestire strutture di manifold complesse e anomalie di dipendenza.
• Scalabilità: Sul dataset Credit Card Fraud Detection ($N \approx 284.807$), MSDE è risultato un ordine di grandezza più veloce di metodi computazionalmente intensivi come KNN e DAGMM, pur mantenendo un'accuratezza competitiva.

5. Significato e Rivendicazioni

Il paper sostiene che MSDE offra un approccio principato e consapevole del manifold per l'anomaly detection non supervisionata. La sua importanza risiede nel fornire un'alternativa robusta allo stato dell'arte attuale, che spesso richiede un tuning specifico per il tipo di anomalia o soffre di instabilità in contesti rumorosi.

Gli autori sottolineano che MSDE non si affida a una singola metrica, ma piuttosto all'entità con cui un campione deve essere modificato per conformarsi alla struttura dominante della distribuzione dei dati. Sfruttando l'instabilità geometrica delle anomalie durante l'evoluzione guidata dalla densità, MSDE ottiene una performance bilanciata attraverso diversi tipi di anomalie e livelli di rumore, rendendolo un forte candidato per l'implementazione general-purpose in scenari reali dove le caratteristiche delle anomalie sono sconosciute o variabili. Il paper conclude che lo scoring basato sullo spostamento è una strategia valida e robusta per l'anomaly detection non supervisionata.