Résumé Technique : Amélioration de la Densité par Décalage de Moyenne (MSDE) pour la Détection d'Anomalies Non Supervisée

1. Énoncé du Problème

La détection d'anomalies non supervisée demeure un défi critique en apprentissage automatique, particulièrement parce que les algorithmes existants manquent souvent de robustesse face à la diversité des types d'anomalies et aux environnements bruités. Comme le souligne l'ADBench (Anomaly Detection Benchmark), aucune méthode non supervisée unique ne surpasse systématiquement les autres sur l'ensemble des jeux de données, des structures d'anomalies et des régimes de bruit. Les méthodes actuelles reposent généralement sur des hypothèses statiques — telles que la distance globale, la densité locale ou la variance de projection — qui échouent lorsque les anomalies se manifestent sous forme de déviations subtiles de variétés de données complexes ou lorsque les données sont corrompues par du bruit. Le problème central adressé est le besoin d'un cadre généraliste et robuste qui ne dépend pas d'une métrique prédéfinie unique, mais qui s'adapte à la structure géométrique intrinsèque des données.

2. Méthodologie : Amélioration de la Densité par Décalage de Moyenne (MSDE)

MSDE est un cadre non paramétrique entièrement non supervisé qui détecte les anomalies en fonction de leur réponse géométrique à une évolution de variété pilotée par la densité de manière itérative. L'intuition centrale est que les échantillons normaux, étant bien soutenus par la densité locale, restent stables sous une amélioration de densité itérative, tandis que les échantillons anormaux subissent des déplacements cumulés importants lorsqu'ils sont attirés vers les modes de densité proches.

La méthode opère à travers trois composantes principales :

2.1 Construction de Graphe de Voisinage Adaptatif

MSDE construit une structure de voisinage locale en utilisant un graphe de k-plus proches voisins (k-NN) approximatif via l'algorithme NN-Descent. Crucialement, ce graphe est recalculé à chaque itération de décalage de moyenne pour garantir que la localité est définie par rapport à l'estimation actuelle de la variété des données, plutôt que par rapport à l'espace de caractéristiques statique d'origine.

2.2 Estimation de Poids Adaptative à la Variété

Contra�à les méthodes classiques de décalage de moyenne qui utilisent des poids uniformes ou basés sur la distance simple, MSDE emploie un graphe de voisinage flou dérivé de l'algorithme UMAP (Uniform Manifold Approximation and Projection).

• Ensembles Simpliciaux Flous : Pour les mini-lots de données, MSDE calcule un ensemble simplicial flou où les poids des arêtes représentent le degré d'appartenance entre les points, borné dans $[0, 1]$.
• Pondération Multi-Échelle : L'algorithme effectue une recherche binaire pour identifier un rayon $\epsilon$ satisfaisant une condition de densité de voisinage. Il évalue ensuite les densités de voisinage à travers une séquence de rayons décroissants ($\epsilon, \epsilon-\Delta, \dots$).
• Poids Empiriques : Le poids final pour chaque échantillon est la moyenne des comptes de voisins à travers ces multiples rayons. Cela produit des poids lisses et stables qui capturent la densité intrinsèque à travers plusieurs granularités sans hypothèses paramétriques explicites.

2.3 Décalage de Moyenne Pondéré Itératif et Notation

MSDE effectue une procédure de décalage de moyenne pondérée sur la variété apprise :

1. Étape de Mise à Jour : À chaque itération $t$, la position d'un point $x_i$ est mise à jour vers une moyenne de voisinage localement pondérée $\mu_i^{(t)}$. La taille du pas est normalisée et mise à l'échelle par un taux d'apprentissage $\eta$.
2. Accumulation de Déplacement : L'amplitude du mouvement instantané $\delta_i^{(t)}$ est enregistrée. Le score d'anomalie est dérivé du déplacement cumulé $D_i = \sum \delta_i^{(t)}$ sur $T$ itérations (ou jusqu'à convergence).
3. Notation : Les points ancrés profondément dans la variété se déplacent de manière minimale (score faible), tandis que les anomalies, étant éloignées des régions denses, subissent des mouvements dirigés importants (score élevé). Les scores sont normalisés via une fonction sigmoïde.

3. Principales Contributions

L'article expose deux contributions primaires :

1. Un Principe Basé sur le Déplacement : Les auteurs introduisent le décalage géométrique cumulé comme un nouveau signal d'anomalie. Cela dépasse les mesures statiques de densité ou de distance, fournissant un mécanisme pour distinguer les échantillons normaux et anormaux basés sur leur stabilité sous une amélioration de densité itérative.
2. Un Cadre Adaptatif à la Variété : Le développement d'une procédure de décalage de moyenne pondérée où l'influence du voisinage est gouvernée par des estimations de densité empiriques issues d'un graphe flou basé sur UMAP. Cela permet à la méthode de s'adapter naturellement aux variétés de données hétérogènes et aux distributions arbitraires sans hypothèses paramétriques explicites.

4. Résultats Expérimentaux

Les auteurs ont évalué MSDE sur le benchmark ADBench, comprenant 46 jeux de données tabulaires réels, quatre mécanismes de génération d'anomalies réalistes (Globale, Locale, Cluster, Dépendance) et six niveaux de bruit.

• Performance vs Baselines : MSDE a été comparé à 13 baselines non supervisées établies (incluant KNN, LOF, Isolation Forest, DAGMM, etc.).
  • Global : MSDE a obtenu l'AUC-ROC, l'AUC-PR et la Précision@n moyenne les plus élevés sur tous les types d'anomalies en configuration sans bruit.
  • Robustesse : Bien que certaines baselines excellent dans des modes spécifiques (ex: LOF pour les anomalies locales, PCA pour les anomalies de cluster), MSDE est la seule méthode à maintenir une performance stable et constante à travers les quatre types d'anomalies.
  • Résilience au Bruit : Sous un bruit de caractéristique croissant (jusqu'à 50 % de corruption), MSDE a démontré une stabilité supérieure par rapport aux méthodes basées sur la reconstruction (ex: DAGMM) et aux estimateurs de densité locale (ex: LOF), qui souffrent d'une dégradation sévère.
• Signification Statistique : Un test de Wilcoxon signé-rang unilatéral a confirmé que les améliorations de MSDE par rapport à 12 des 13 baselines étaient statistiquement significatives ($p < 0,05$).
• Études d'Ablation : Le retrait du graphe flou ou du schéma de pondération multi-rayon a entraîné des baisses de performance, validant la nécessité des deux composants pour gérer les structures de variétés complexes et les anomalies de dépendance.
• Scalabilité : Sur le jeu de données de détection de fraude de cartes de crédit ($N \approx 284\,807$), MSDE s'est avéré un ordre de grandeur plus rapide que les méthodes coûteuses en calcul comme KNN et DAGMM tout en maintenant une précision compétitive.

5. Signification et Revendications

L'article affirme que MSDE offre une approche principled et consciente de la variété pour la détection d'anomalies non supervisée. Sa signification réside dans le fait qu'il fournit une alternative robuste à l'état de l'art actuel, qui nécessite souvent un réglage spécifique au type d'anomalie ou souffre d'instabilité dans des contextes bruités.

Les auteurs soulignent que MSDE ne repose pas sur une métrique unique, mais plutôt sur la mesure dans laquelle un échantillon doit être modifié pour se conformer à la structure dominante de la distribution des données. En exploitant l'instabilité géométrique des anomalies lors de l'évolution pilotée par la densité, MSDE atteint une performance équilibrée à travers divers types d'anomalies et niveaux de bruit, ce qui en fait un candidat solide pour un déploiement généraliste dans des scénarios réels où les caractéristiques des anomalies sont inconnues ou variables. L'article conclut que la notation basée sur le déplacement est une stratégie viable et robuste pour la détection d'anomalies non supervisée.