VAE with Hyperspherical Coordinates: Improving Anomaly Detection from Hypervolume-Compressed Latent Space

Résumé Technique : VAE avec Coordonnées Hypersphériques pour la Détection d'Anomalies

Énoncé du Problème
Les Autoencodeurs Variationnels (VAE) sont largement utilisés pour la détection d'anomalies (AD) en encodant les données dans un espace latent de dimension inférieure. L'hypothèse standard est qu'un VAE entraîné reconstruira bien les données de la distribution interne (ID) mais échouera sur les données hors distribution (OOD) ou anormales. Cependant, dans les espaces latents de haute dimension (HD), les VAE standards souffrent du phénomène de « concentration de la mesure ». Lorsque les échantillons sont encodés dans une prior gaussienne de haute dimension, ils ont tendance à se concentrer sur les « équateurs » de l'hypersphère latente plutôt que près de l'origine ou d'une direction spécifique. Cela résulte en un vaste hypervolume sparse où les données normales sont distribuées uniformément à travers des bandes équatoriales. Par conséquent, distinguer les anomalies devient difficile car la distance entre les échantillons normaux et les anomalies ne présente pas la concentration attendue, et les « queues » de la distribution sont courtes, rendant la séparation via des métriques de distance standards inefficace.

Méthodologie
Les auteurs proposent une formulation novatrice de l'espace latent du VAE utilisant des coordonnées hypersphériques pour atténuer les problèmes de sparsité et de volume inhérents aux espaces cartésiens de haute dimension.

1. Transformation de Coordonnées : Au lieu de modéliser la posterior latente en coordonnées cartésiennes ($\mu, \sigma$), la méthode transforme celles-ci en coordonnées hypersphériques composées d'un rayon $r$ et de $n-1$ coordonnées angulaires $\phi_k$. La transformation est implémentée via un script PyTorch vectorisé et différentiable pour maintenir l'efficacité.
2. Compression de l'Hypervolume : L'innovation centrale réside dans la reformulation du terme de perte de Divergence de Kullback-Leibler (KLD).
   • Dans un VAE standard, la prior est une gaussienne standard, ce qui encourage implicitement les échantillons à se situer sur les équateurs de l'h hypersphère en raison de la géométrie des volumes de haute dimension.
   • La méthode proposée définit une prior spécifique pour les coordonnées angulaires ($\phi_k$) telle que la moyenne du cosinus de ces angles est poussée vers 1 ($a_{\mu,k} = 1$). Cela force les échantillons latents à s'éloigner des équateurs et à se diriger vers une direction spécifique de « pôle nord » sur l'hypersphère.
   • En comprimant les échantillons latents vers une seule direction, la méthode crée une « île » dense et compacte de données normales dans une région d'hypervolume considérablement réduite.
3. Fonction de Perte : La perte totale combine l'erreur de reconstruction (MSE) avec un terme KLD modifié calculé en coordonnées hypersphériques. Le terme KLD est décomposé en pertes pour les coordonnées angulaires ($\phi_k$) et la coordonnée radiale ($r$). La perte angulaire encourage les échantillons à s'aligner avec la direction cible, tandis que la perte radiale assure que les échantillons se situent sur une surface hypersphérique spécifique (rayon $\sqrt{n}$).
4. Score d'Anomalie : Après l'entraînement sur des données normales, les anomalies sont détectées en encodant un échantillon de requête et en mesurant sa distance par rapport au cluster des moyennes latentes normales. Les auteurs utilisent une métrique de distance k-Plus Proches Voisins (k-PPV) simple (avec $k=3$) sur les moyennes latentes. Étant donné que les données normales sont compressées en une île dense, la distance à cette île sert de score d'anomalie robuste.

Contributions Clés

• Formulation Hypersphérique : L'article introduit une méthode pour convertir les variables latentes du VAE des coordonnées cartésiennes aux coordonnées hypersphériques, permettant de désenchevêtrer les dimensions et de réaliser une compression de volume ciblée.
• Mécanisme de Compression de Volume : Contrairement aux méthodes qui ne compressent que le rayon ou un seul angle (similaire aux distributions de von Mises-Fisher), cette approche comprime toutes les coordonnées angulaires hypersphériques. Cela permet une réduction beaucoup plus rapide de l'hypervolume latent, créant une représentation plus dense des données normales.
• Cadre Unifié : La méthode est applicable à la fois aux scénarios OOD totalement inconditionnels (aucune étiquette de sous-classe disponible) et OOD conditionnels (étiquettes de sous-classe disponibles). Dans le cas conditionnel, le système de coordonnées est réorienté pour chaque classe afin de former des clusters compacts pour chaque classe ID spécifique.
• Ablation du vMF : Les auteurs démontrent que leur méthode englobe les approches basées sur von Mises-Fisher (vMF) comme cas particulier (compression d'un seul angle) et montrent que la compression de tous les angles produit des résultats supérieurs.

Résultats Expérimentaux
La méthode a été évaluée sur des ensembles de données réels complexes et des benchmarks standards :

• OOD Totalement Inconditionnel :
  • Mars Rover Mastcam : Détection de caractéristiques de paysage inhabituelles. La méthode proposée (Comp.VAE + k-PPV) a atteint un AUROC de 0,764, surpassant les VAE standards, les Autoencodeurs et la variante vMF.
  • Galaxy Zoo : Détection de galaxies inhabituelles. La méthode a atteint un AUROC de 0,789, surpassant à nouveau les bases de référence existantes.
• OOD Conditionnel :
  • CIFAR-10 vs. CIFAR-100 (Near-OOD) : La méthode a obtenu une réduction significative du Taux de Faux Positifs à 95 % de Taux de Vrais Positifs (FPR95) par rapport aux méthodes de l'état de l'art, atteignant un FPR95 de 23,2 (contre 50,1 pour SNN et 58,3 pour KNN).
  • Imagenette vs. Classes Imagenet Proches : Dans un cadre Near-OOD difficile, la méthode a obtenu les meilleures performances à la fois en FPR95 (78,8) et en AUROC (68,3) parmi les configurations testées, surpassant la variante basée sur vMF.
• Visualisation : Les visualisations 3D de l'espace latent confirment que tandis que les VAE standards distribuent les données uniformément sur la sphère (équateurs), la méthode proposée comprime avec succès les données en une île dense et compacte, rendant la séparation des classes et la détection d'anomalies plus intuitives.

Signification et Revendications
L'article revendique que la limitation principale des VAE standards en détection d'anomalies est la sparsité géométrique des espaces latents de haute dimension, où les données normales occupent les vastes régions équatoriales de l'hypersphère. En reformulant l'espace latent en coordonnées hypersphériques et en comprimant activement le volume vers une direction spécifique, les auteurs démontrent que :

1. Il est possible de créer une « île dense » de données normales, rendant la séparation des anomalies via des métriques de distance simples (k-PPV) significativement plus efficace.
2. Cette approche améliore les performances dans les tâches de détection OOD inconditionnelles et conditionnelles sans nécessiter d'apprentissage contrastif complexe ni de modifications architecturales au-delà de la transformation de coordonnées.
3. La méthode fournit une solution théorique et pratique au « fléau de la dimensionnalité » dans les modèles génératifs pour la détection d'anomalies, offrant des résultats de l'état de l'art sur les métriques FPR95 dans plusieurs benchmarks tout en maintenant une implémentation relativement simple basée sur des composants VAE standards.

Les auteurs notent que, bien que la transformation de coordonnées ajoute une surcharge computationnelle (environ 32 % plus lente par époque pour 200 dimensions), le gain en performance de détection justifie le coût. Ils concluent que le contrôle et la réduction de la sparsité de la variété latente de haute dimension sont un facteur critique pour améliorer non seulement la détection d'anomalies, mais potentiellement d'autres tâches telles que la classification et la génération.