Anomaly Detection from a Tensor Train Perspective

Riepilogo Tecnico: Rilevamento delle Anomalie da una Prospettiva Tensor Train

Enunciato del Problema
Il rilevamento delle anomalie è un compito critico in ambiti quali il monitoraggio industriale, la diagnostica medica, il rilevamento delle frodi e la cybersecurity. L'obiettivo principale è identificare i punti dati che si discostano significativamente dal comportamento normale. Sebbene i metodi statistici tradizionali, l'apprendimento automatico e l'apprendimento profondo abbiano ottenuto risultati di successo, spesso faticano con dati ad alta dimensionalità, richiedendo tipicamente tecniche di riduzione della dimensionalità come l'Analisi delle Componenti Principali (PCA). Gli autori propongono di sfruttare le Reticoli Tensoriali (TN), in particolare i Tensor Train (TT), per gestire in modo efficiente dati ad alta dimensionalità. L'ipotesi di fondo è che i dati normali condividano modelli strutturali comuni, mentre i dati anomali possiedano strutture distinte o infrequenti. Comprimendo i dati in una rappresentazione tensoriale approssimata, il metodo mira a preservare la struttura dei dati normali mentre disturba quella dei dati anomali, permettendo così di distinguerli.

Metodologia
Il documento presenta una serie di otto algoritmi basati su due strategie di compressione concettualmente diverse che utilizzano la rappresentazione Tensor Train (TT). La compressione è controllata da un parametro $\tau$ (che varia da 0 a 1), il quale determina il mantenimento dei valori singolari durante il processo TT-SVD.

1. Algoritmi di Compressione Globale:

   • Concetto: L'intero dataset è trattato come un singolo tensore di ordine elevato. L'algoritmo comprime il dataset globale, preservando le strutture dominanti condivise dalla maggior parte dei punti dati (dati normali). I dati anomali, privi di queste strutture condivise, vengono spostati in misura maggiore durante la compressione.
   • Funzioni Decisionali:
     • Auto Comparativo (ACGCTNAD): Calcola un "punteggio di auto-mantenimento" ($s_{self}$) prendendo il prodotto scalare di un punto dati originale con la sua ricostruzione compressa, normalizzato per il quadrato della norma dell'originale. Questo punteggio cattura sia l'allineamento direzionale che il mantenimento della grandezza.
     • Comparativo di Gruppo (GCGCTNAD): Confronta ogni punto dati con le versioni compresse di tutti gli altri punti dati nell'insieme, utilizzando una metrica di similarità coseno per focalizzarsi sull'allineamento geometrico piuttosto che sulla grandezza.
   • Modalità di Apprendimento: Questi metodi possono essere applicati in modalità non supervisionata (nessuna conoscenza preliminare), supervisionata (utilizzando dati di addestramento normali etichettati) o semi-supervisionata.

2. Algoritmi di Compressione Locale:

   • Concetto: Invece di comprimere l'intero dataset, questo approccio utilizza un punto dati normale rappresentativo (o un insieme) per definire una struttura TT "normale". I primi $n-1$ nodi della rappresentazione TT per un punto dati di test sono forzati a corrispondere ai nuclei (cores) dei dati di addestramento, lasciando all'ultimo nodo contenere le informazioni uniche del punto di test.
   • Allineamento Euristico: Il metodo impiega una fase di allineamento euristico in cui la base troncata dei dati di test viene allineata ai nuclei di addestramento normali.
   • Funzioni Decisionali: Similmente ai metodi globali, utilizza punteggi comparativi auto (ACLCTNAD) e comparativi di gruppo (GCLCTNAD).
   • Variante Basata su Proiezione: Gli autori propongono una variante locale matematicamente fondata basata sulla proiezione ortogonale (minimizzando l'errore dei minimi quadrati rispetto a un'interfaccia TT appresa), sebbene notino che i risultati sperimentali riportati nel documento corrispondono alla versione euristica originale.

Contributi Chiave

• Nuovo Framework: L'introduzione di algoritmi di rilevamento delle anomalie basati sulla preservazione e sul disturbo delle strutture di reti tensoriali durante la compressione.
• Suite Algoritmica: Sviluppo di quattro algoritmi principali (ACGCTNAD, GCGCTNAD, ACLCTNAD, GCLCTNAD) che coprono sia strategie di compressione globale che locale, applicabili a scenari non supervisionati, supervisionati e semi-supervisionati.
• Efficienza in Alta Dimensionalità: Dimostrazione che le rappresentazioni TT possono gestire efficacemente dati ad alta dimensionalità (ad esempio, immagini, log del traffico di rete) senza le limitazioni della riduzione tradizionale della dimensionalità.
• Validazione Empirica: Test su tre dataset distinti:
  • Dataset delle Cifre: Distinzione di una classe di cifre dalle altre.
  • Dataset dei Volti Olivetti: Distinzione delle identità facciali.
  • Dataset di Cybersecurity: Rilevamento di attacchi informatici (forza bruta, scansione, slowloris) rispetto alle richieste di rete normali.

Risultati

• Dataset delle Cifre:
  • ACGCTNAD (Globale): Ha raggiunto valori massimi di AUROC compresi tra 0,74 e 0,997. Le prestazioni hanno spesso raggiunto il picco a valori di compressione molto bassi ($\tau$), suggerendo che una compressione aggressiva rimuove le strutture anomale mentre mantiene quelle normali.
  • ACLCTNAD (Locale): Ha raggiunto un AUROC perfetto (1,0) per tutte le classi di cifre. Tuttavia, è stato notato che il metodo è 50 volte più lento rispetto al metodo globale. Inoltre, ha mostrato un "inversione dell'orientamento del punteggio" a valori di compressione bassi (AUROC che scende a 0), richiedendo l'inversione a posteriori dei punteggi, il che ne limita l'utilità non supervisionata.
• Dataset dei Volti Olivetti:
  • Il metodo globale (ACGCTNAD) ha mostrato prestazioni variabili a seconda della classe, con valori di AUROC compresi tra 0,69 e 1,0. Gli autori attribuiscono le prestazioni inferiori in alcuni casi alla piccola dimensione del campione (circa 8-9 campioni normali per classe) o alla natura specifica dei dati.
• Dataset di Cybersecurity:
  • Senza Scaler: Il metodo ACGCTNAD ha raggiunto risultati eccezionali con un AUROC di 0,98 e un'accuratezza del 97,72% a $\tau = 0,01$.
  • Con Standard Scaler: Le prestazioni sono peggiorate significativamente. Gli autori hanno osservato che l'applicazione di uno scaler standard "rovinare i risultati", probabilmente perché altera le norme strutturali sottostanti su cui la rete tensoriale si basa per il rilevamento.
  • Modalità Non Supervisionata: Quando testato senza un dataset di addestramento (utilizzando solo dati di test), il metodo ha mantenuto alte prestazioni (97,5% di accuratezza) senza scaler, ma le prestazioni sono scese al 64,7% con uno scaler.

Significato e Affermazioni
Il documento afferma che l'approccio proposto basato su reti tensoriali offre un'alternativa versatile ed efficace per il rilevamento delle anomalie, in particolare in contesti ad alta dimensionalità. Gli autori evidenziano che:

1. Preservazione della Struttura: Il potere del metodo deriva dalla capacità delle reti tensoriali di catturare e preservare le relazioni strutturali dei dati normali, scartando al contempo le strutture diffuse delle anomalie.
2. Compressione Contro-Intuitiva: Il rilevamento ottimale si verifica spesso a valori di compressione bassi (basso $\tau$), dove la rappresentazione elimina le strutture anomale ma mantiene quelle normali, un fenomeno che può sembrare contro-intuitivo rispetto agli obiettivi standard di compressione.
3. Sensibilità al Preprocessing: I risultati sottolineano che il preprocessing dei dati, in particolare la scalatura standard, può essere dannoso per questo specifico approccio, poiché può distruggere le caratteristiche strutturali che l'algoritmo è progettato per rilevare.
4. Compromessi: Sebbene i metodi locali (ACLCTNAD) possano raggiungere una separazione perfetta, sono computazionalmente costosi e si basano su allineamenti euristici. I metodi globali (ACGCTNAD) offrono un miglior equilibrio tra velocità e accuratezza, rendendoli più pratici per molte applicazioni.

Gli autori concludono che, sebbene i loro risultati siano promettenti, è necessaria una valutazione più esaustiva che includa confronti con baseline standard (PCA, Isolation Forest, Autoencoder, ecc.) e una reporting statistico rigoroso (semi casuali, deviazioni standard) per il lavoro futuro. Suggeriscono inoltre direzioni di ricerca future, tra cui l'uso di altre strutture di reti tensoriali (come PEPS), l'applicazione a dati testuali e video, e la valutazione della variante locale basata su proiezione matematicamente fondata.