VAE with Hyperspherical Coordinates: Improving Anomaly Detection from Hypervolume-Compressed Latent Space

Technische Samenvatting: VAE met Hypersferische Coördinaten voor Anomaliedetectie

Probleemstelling
Variational Autoencoders (VAE's) worden veel gebruikt voor anomaliedetectie (AD) door data te coderen in een lagerdimensionale latente ruimte. De standaardaanname is dat een getrainde VAE data uit de verdeling (in-distribution, ID) goed reconstrueert, maar faalt bij data buiten de verdeling (out-of-distribution, OOD) of bij anomalieën. In echter in hoogdimensionale (HD) latente ruimtes lijden standaard VAE's aan het verschijnsel "concentratie van maat". Wanneer samples worden gecodeerd in een hoogdimensionale Gaussische prior, hebben ze de neiging om te concentreren op de "evenaar" van de latente hypersfeer in plaats van in de buurt van de oorsprong of een specifieke richting. Dit resulteert in een enorm, spaarzaam hypervolume waar normale data uniform is verdeeld over equatoriale banden. Bijgevolg wordt het onderscheiden van anomalieën moeilijk, omdat de afstand tussen normale samples en anomalieën niet de verwachte concentratie vertoont, en de "staarten" van de verdeling kort zijn, waardoor scheiding via standaard afstandsmaten ineffectief is.

Methodologie
De auteurs stellen een nieuwe formulering van de VAE latente ruimte voor met behulp van hypersferische coördinaten om de spaarzaamheid en volumeproblemen inherent aan HD-Cartesische ruimtes te mitigeren.

1. Coördinatentransformatie: In plaats van de latente posterior in Cartesische coördinaten ($\mu, \sigma$) te modelleren, transformeert de methode deze naar hypersferische coördinaten bestaande uit een straal $r$ en $n-1$ hoekcoördinaten $\phi_k$. De transformatie wordt geïmplementeerd via een vectorisatie, differentieerbare PyTorch-script om efficiëntie te behouden.
2. Hypervolume-compressie: De kerninnovatie ligt in het herformuleren van de Kullback-Leibler-divergentie (KLD) verliesterm.
   • In een standaard VAE is de prior een standaard Gaussische verdeling, die impliciet samples aanmoedigt op de evenaar van de hypersfeer te liggen vanwege de geometrie van hoogdimensionale volumes.
   • De voorgestelde methode stelt een specifieke prior in voor de hoekcoördinaten ($\phi_k$) zodat het gemiddelde van de cosinus van deze hoeken wordt gedreven naar 1 ($a_{\mu,k} = 1$). Dit dwingt de latente samples om weg te bewegen van de evenaar en richting een specifieke "noordpool"-richting op de hypersfeer.
   • Door de latente samples te comprimeren naar een enkele richting, creëert de methode een dicht, compact "eiland" van normale data in een gebied met aanzienlijk gereduceerd hypervolume.
3. Verliesfunctie: Het totale verlies combineert de reconstructiefout (MSE) met een gewijzigde KLD-term berekend in hypersferische coördinaten. De KLD-term wordt ontbonden in verliezen voor de hoekcoördinaten ($\phi_k$) en de radiale coördinaat ($r$). Het hoekverlies moedigt de samples aan om zich te aligneren met de doelenrichting, terwijl het radiale verlies ervoor zorgt dat de samples op een specifiek hypersferisch oppervlak liggen (straal $\sqrt{n}$).
4. Anomaliescore: Na training op normale data worden anomalieën gedetecteerd door een query-sample te coderen en de afstand tot het cluster van normale latente gemiddelden te meten. De auteurs gebruiken een eenvoudige k-Nearest Neighbors (k-NN) afstandsmaat (met $k=3$) op de latente gemiddelden. Omdat de normale data is gecomprimeerd tot een dicht eiland, dient de afstand tot dit eiland als een robuuste anomaliescore.

Belangrijkste Bijdragen

• Hypersferische Formulering: Het paper introduceert een methode om VAE latente variabelen om te zetten van Cartesische naar hypersferische coördinaten, wat effectief dimensies ontkoppelt en gerichte volumecompressie mogelijk maakt.
• Volumecompressiemechanisme: In tegenstelling tot methoden die alleen de straal of een enkele hoek comprimeren (vergelijkbaar met von Mises-Fisher-verdelingen), comprimeert deze aanpak alle hypersferische hoekcoördinaten. Dit staat toe dat het latente hypervolume veel sneller wordt gereduceerd, wat resulteert in een dichter representatie van normale data.
• Gefuseerd Kader: De methode is toepasbaar op zowel volledig onvoorwaardelijke OOD (geen subklasse-labels beschikbaar) als voorwaardelijke OOD (subklasse-labels beschikbaar) scenario's. In het voorwaardelijke geval wordt het coördinatenstelsel voor elke klasse heroriënteerd om compacte clusters te vormen voor elke specifieke ID-klasse.
• Ablatie van vMF: De auteurs tonen aan dat hun methode von Mises-Fisher (vMF) gebaseerde benaderingen omvat als een speciaal geval (alleen één hoek comprimeren) en laten zien dat het comprimeren van alle hoeken superieure resultaten oplevert.

Experimentele Resultaten
De methode werd geëvalueerd op zowel complexe real-world datasets als standaard benchmarks:

• Volledig onvoorwaardelijke OOD:
  • Mars Rover Mastcam: Detectie van ongebruikelijke landschapselementen. De voorgestelde methode (Comp.VAE + k-NN) behaalde een AUROC van 0,764, wat beter presteerde dan standaard VAE's, Autoencoders en de vMF-variant.
  • Galaxy Zoo: Detectie van ongebruikelijke sterrenstelsels. De methode behaalde een AUROC van 0,789, opnieuw de bestaande baselines overtreffend.
• Voorwaardelijke OOD:
  • CIFAR-10 vs. CIFAR-100 (Near-OOD): De methode bereikte een significante reductie in de False Positive Rate bij 95% True Positive Rate (FPR95) vergeleken met state-of-the-art methoden, met een FPR95 van 23,2 (tegenover 50,1 voor SNN en 58,3 voor KNN).
  • Imagenette vs. Close ImageNet Classes: In een uitdagende near-OOD setting behaalde de methode de beste prestaties zowel in FPR95 (78,8) als AUROC (68,3) onder de geteste configuraties, de vMF-gebaseerde variant overtreffend.
• Visualisatie: 3D-visualisaties van de latente ruimte bevestigen dat terwijl standaard VAE's data uniform over de sfeer verdelen (evenaar), de voorgestelde methode data succesvol comprimeert tot een dicht, compact eiland, waardoor klassescheiding en anomaliedetectie intuïtiever worden.

Betekenis en Claims
Het paper stelt dat de primaire beperking van standaard VAE's in anomaliedetectie de geometrische spaarzaamheid van hoogdimensionale latente ruimtes is, waarbij normale data de uitgestrekte equatoriale regio's van de hypersfeer inneemt. Door de latente ruimte te herformuleren in hypersferische coördinaten en het volume actief te comprimeren naar een specifieke richting, tonen de auteurs aan dat:

1. Het mogelijk is om een "dicht eiland" van normale data te creëren, waardoor de scheiding van anomalieën via eenvoudige afstandsmaten (k-NN) aanzienlijk effectiever wordt.
2. Deze aanpak de prestaties verbetert in zowel onvoorwaardelijke als voorwaardelijke OOD-detectietaken zonder complexe contrastieve learning of architecturale wijzigingen buiten de coördinatentransformatie te vereisen.
3. De methode een theoretische en praktische oplossing biedt voor de "vloek van de dimensionaliteit" in generatieve modellen voor anomaliedetectie, met state-of-the-art resultaten op FPR95-metrics in verschillende benchmarks, terwijl een relatief eenvoudige implementatie gebaseerd op standaard VAE-componenten behouden blijft.

De auteurs merken op dat hoewel de coördinatentransformatie rekenkundige overhead toevoegt (ongeveer 32% langzamer per epoch voor 200 dimensies), de winst in detectieprestaties de kosten rechtvaardigt. Zij concluderen dat het beheersen en verminderen van de spaarzaamheid van het hoogdimensionale latente manifold een kritieke factor is voor het verbeteren van niet alleen anomaliedetectie, maar potentieel ook andere taken zoals classificatie en generatie.