VAE with Hyperspherical Coordinates: Improving Anomaly Detection from Hypervolume-Compressed Latent Space

Riepilogo Tecnico: VAE con Coordinate Ipersferiche per il Rilevamento di Anomalie

Enunciato del Problema
Gli Autoencoder Variazionali (VAE) sono ampiamente utilizzati per il rilevamento di anomalie (AD) codificando i dati in uno spazio latente a dimensionalità ridotta. L'assunzione standard è che un VAE addestrato ricostruirà bene i dati in-distribution (ID) ma fallirà sui dati out-of-distribution (OOD) o anomali. Tuttavia, negli spazi latenti ad alta dimensionalità (HD), i VAE standard soffrono del fenomeno della "concentrazione della misura". Quando i campioni sono codificati in una prior gaussiana ad alta dimensionalità, tendono a concentrarsi sugli "equatori" dell'ipersfera latente piuttosto che vicino all'origine o a una direzione specifica. Ciò risulta in un vastissimo ipervolume sparso dove i dati normali sono distribuiti uniformemente attraverso fasce equatoriali. Di conseguenza, distinguere le anomalie diventa difficile perché la distanza tra campioni normali e anomalie non esibisce la concentrazione attesa, e le "code" della distribuzione sono corte, rendendo inefficace la separazione tramite metriche di distanza standard.

Metodologia
Gli autori propongono una formulazione innovativa dello spazio latente del VAE utilizzando coordinate ipersferiche per mitigare i problemi di sparsità e volume intrinseci agli spazi cartesiani HD.

1. Trasformazione delle Coordinate: Invece di modellare la posterior latente in coordinate cartesiane ($\mu, \sigma$), il metodo trasforma queste in coordinate ipersferiche costituite da un raggio $r$ e $n-1$ coordinate angolari $\phi_k$. La trasformazione è implementata tramite uno script PyTorch vettorizzato e differenziabile per mantenere l'efficienza.
2. Compressione dell'Ipervolume: L'innovazione principale risiede nella riformulazione del termine di perdita della Divergenza di Kullback-Leibler (KLD).
   • In un VAE standard, la prior è una gaussiana standard, che implicitamente incoraggia i campioni a giacere sugli equatori dell'ipersfera a causa della geometria dei volumi ad alta dimensionalità.
   • Il metodo proposto imposta una prior specifica per le coordinate angolari ($\phi_k$) tale che la media del coseno di questi angoli sia spinta verso 1 ($a_{\mu,k} = 1$). Questo forza i campioni latenti a spostarsi lontano dagli equatori e verso una specifica direzione "polo nord" sull'ipersfera.
   • Comprimendo i campioni latenti verso una singola direzione, il metodo crea una "isola" densa e compatta di dati normali in una regione di ipervolume significativamente ridotto.
3. Funzione di Perdita: La perdita totale combina l'errore di ricostruzione (MSE) con un termine KLD modificato calcolato in coordinate ipersferiche. Il termine KLD è decomposto in perdite per le coordinate angolari ($\phi_k$) e la coordinata radiale ($r$). La perdita angolare incoraggia i campioni ad allinearsi con la direzione target, mentre la perdita radiale garantisce che i campioni giacciano su una specifica superficie ipersferica (raggio $\sqrt{n}$).
4. Punteggio delle Anomalie: Dopo l'addestramento su dati normali, le anomalie vengono rilevate codificando un campione di query e misurando la sua distanza dal cluster delle medie latenti normali. Gli autori utilizzano una semplice metrica di distanza k-Nearest Neighbors (k-NN) (con $k=3$) sulle medie latenti. Poiché i dati normali sono compressi in un'isola densa, la distanza da questa isola funge da punteggio di anomalia robusto.

Contributi Chiave

• Formulazione Ipersferica: Il documento introduce un metodo per convertire le variabili latenti del VAE da coordinate cartesiane a coordinate ipersferiche, disaccoppiando efficacemente le dimensioni e permettendo una compressione del volume mirata.
• Meccanismo di Compressione del Volume: A differenza dei metodi che comprimono solo il raggio o un singolo angolo (simili alle distribuzioni von Mises-Fisher), questo approccio comprime tutte le coordinate angolari ipersferiche. Ciò permette una riduzione molto più rapida dell'ipervolume latente, creando una rappresentazione più densa dei dati normali.
• Framework Unificato: Il metodo è applicabile sia a scenari OOD completamente incondizionati (nessuna etichetta di sottoclasse disponibile) che OOD condizionati (etichette di sottoclasse disponibili). Nel caso condizionato, il sistema di coordinate viene ri-orientato per ogni classe per formare cluster compatti per ogni specifica classe ID.
• Ablazione del vMF: Gli autori dimostrano che il loro metodo ingloba gli approcci basati su von Mises-Fisher (vMF) come caso speciale (compressione di un solo angolo) e mostrano che comprimere tutti gli angoli produce risultati superiori.

Risultati Sperimentali
Il metodo è stato valutato su dataset reali complessi e benchmark standard:

• OOD Incondizionato Completo:
  • Mars Rover Mastcam: Rilevamento di caratteristiche paesaggistiche insolite. Il metodo proposto (Comp.VAE + k-NN) ha raggiunto un AUROC di 0.764, superando VAE standard, Autoencoder e la variante vMF.
  • Galaxy Zoo: Rilevamento di galassie insolite. Il metodo ha raggiunto un AUROC di 0.789, superando nuovamente le baseline esistenti.
• OOD Condizionato:
  • CIFAR-10 vs. CIFAR-100 (Near-OOD): Il metodo ha ottenuto una riduzione significativa del Tasso di Falsi Positivi al 95% di Tasso di Vero Positivo (FPR95) rispetto ai metodi all'avanguardia, raggiungendo un FPR95 di 23.2 (vs. 50.1 per SNN e 58.3 per KNN).
  • Imagenette vs. Classi ImageNet Vicine: In un setting Near-OOD impegnativo, il metodo ha ottenuto le migliori prestazioni sia in FPR95 (78.8) che in AUROC (68.3) tra le configurazioni testate, superando la variante basata su vMF.
• Visualizzazione: Le visualizzazioni 3D dello spazio latente confermano che mentre i VAE standard distribuiscono i dati uniformemente sulla sfera (equatori), il metodo proposto comprime con successo i dati in un'isola densa e compatta, rendendo la separazione delle classi e il rilevamento delle anomalie più intuitivi.

Significato e Affermazioni
Il documento afferma che il limite principale dei VAE standard nel rilevamento di anomalie è la sparsità geometrica degli spazi latenti ad alta dimensionalità, dove i dati normali occupano le vaste regioni equatoriali dell'ipersfera. Riformulando lo spazio latente in coordinate ipersferiche e comprimendo attivamente il volume verso una direzione specifica, gli autori dimostrano che:

1. È possibile creare un'"isola densa" di dati normali, rendendo la separazione delle anomalie tramite semplici metriche di distanza (k-NN) significativamente più efficace.
2. Questo approccio migliora le prestazioni sia nei compiti di rilevamento OOD incondizionato che condizionato senza richiedere apprendimento contrastivo complesso o modifiche architetturali oltre alla trasformazione delle coordinate.
3. Il metodo fornisce una soluzione teorica e pratica alla "maledizione della dimensionalità" nei modelli generativi per il rilevamento di anomalie, offrendo risultati all'avanguardia nelle metriche FPR95 su diversi benchmark mantenendo un'implementazione relativamente semplice basata su componenti VAE standard.

Gli autori notano che, sebbene la trasformazione delle coordinate aggiunga un sovraccarico computazionale (circa il 32% più lento per epoca per 200 dimensioni), il guadagno nelle prestazioni di rilevamento giustifica il costo. Concludono che il controllo e la riduzione della sparsità del manifold latente ad alta dimensionalità sono un fattore critico per migliorare non solo il rilevamento di anomalie, ma potenzialmente anche altri compiti come la classificazione e la generazione.