Technische Samenvatting: Mean Shift Density Enhancement (MSDE) voor Ongesuperviseerde Anomaliedetectie

1. Probleemstelling

Ongesuperviseerde anomaliedetectie blijft een kritieke uitdaging in machine learning, met name omdat bestaande algoritmen vaak een gebrek aan robuustheid vertonen over diverse anomalietypen en ruisomgevingen heen. Zoals benadrukt door de Anomaly Detection Benchmark (ADBench), presteert geen enkele ongesuperviseerde methode consistent beter dan andere over alle datasets, anomaliestructuren en ruisregimes. Huidige methoden vertrouwen doorgaans op statische aannames — zoals globale afstand, lokale dichtheid of projectievariantie — die falen wanneer anomalieën zich manifesteren als subtiele afwijkingen van complexe datamanifolds of wanneer data wordt gecorrumpeerd door ruis. Het kernprobleem dat wordt geadresseerd is de behoefte aan een algemeen bruikbaar, robuust framework dat niet afhankelijk is van één vooraf gedefinieerde metriek, maar zich aanpast aan de intrinsieke geometrische structuur van de data.

2. Methodologie: Mean Shift Density Enhancement (MSDE)

MSDE is een volledig ongesuperviseerd, niet-parametrisch framework dat anomalieën detecteert op basis van hun geometrische respons op iteratieve, door dichtheid gedreven manifold-evolutie. De kernintuïtie is dat normale monsters, die goed ondersteund worden door lokale dichtheid, stabiel blijven onder iteratieve dichtheidsversterking, terwijl anomalieën grote cumulatieve verplaatsingen ondergaan terwijl ze worden aangetrokken naar nabijgelegen dichtheidsmodi.

De methode werkt via drie primaire componenten:

2.1 Adaptieve Nabijheidsgraafconstructie

MSDE construeert een lokale nabijheidsstructuur met behulp van een benaderde k-nearest neighbor (k-NN) graaf via het NN-Descent algoritme. Cruciaal is dat deze graaf bij elke mean-shift iteratie opnieuw wordt berekend om ervoor te zorgen dat nabijheid wordt gedefinieerd relatief aan de huidige schatting van de datamanifold, in plaats van de statische oorspronkelijke featureruimte.

2.2 Manifold-Adaptieve Wegingschatting

In tegenstelling tot klassieke mean-shift methoden die uniforme of eenvoudige afstandgebaseerde gewichten gebruiken, hanteert MSDE een fuzzy nabijheidsgraaf afgeleid van het Uniform Manifold Approximation and Projection (UMAP) algoritme.

• Fuzzy Simplicial Sets: Voor mini-batches van data berekent MSDE een fuzzy simplicial set waarbij de randgewichten de mate van lidmaatschap tussen punten vertegenwoordigen, begrensd in $[0, 1]$.
• Multi-Scale Weging: Het algoritme voert een binaire zoekopdracht uit om een straal $\epsilon$ te identificeren die voldoet aan een nabijheidsdichtheidsconditie. Vervolgens evalueert het de nabijheidsdichtheden over een sequentie van afnemende radii ($\epsilon, \epsilon-\Delta, \dots$).
• Empirische Gewichten: Het uiteindelijke gewicht voor elk monster is het gemiddelde van de buurgetallen over deze meerdere radii. Dit levert vloeiende, stabiele gewichten op die de intrinsieke dichtheid over meerdere granulariteiten vastleggen zonder expliciete parametrische aannames.

2.3 Iteratieve Gewogen Mean-Shift en Scoring

MSDE voert een gewogen mean-shift procedure uit op de geleerde manifold:

1. Update Stap: Bij elke iteratie $t$ wordt de positie van een punt $x_i$ bijgewerkt richting een lokaal gewogen nabijheidsgemiddelde $\mu_i^{(t)}$. De stapgrootte wordt genormaliseerd en geschaald door een leersnelheid $\eta$.
2. Verplaatsingsaccumulatie: De instantane bewegingsgrootte $\delta_i^{(t)}$ wordt geregistreerd. De anomaliescore wordt afgeleid van de cumulatieve verplaatsing $D_i = \sum \delta_i^{(t)}$ over $T$ iteraties (of tot convergentie).
3. Scoring: Punten die diep in de manifold zijn ingebed, verschuiven minimaal (lage score), terwijl anomalieën, zijnde ver verwijderd van dichte regio's, grote gerichte bewegingen ondergaan (hoge score). Scores worden genormaliseerd via een sigmoidfunctie.

3. Belangrijkste Bijdragen

Het artikel schetst twee primaire bijdragen:

1. Een Verplaatsingsgebaseerd Principe: De auteurs introduceren cumulatieve geometrische verschuiving als een nieuw anomaliesignaal. Dit gaat verder dan statische dichtheids- of afstandmaten, en biedt een mechanisme om normale en anomalistische monsters te onderscheiden op basis van hun stabiliteit onder iteratieve dichtheidsversterking.
2. Een Manifold-Adaptief Framework: De ontwikkeling van een gewogen mean-shift procedure waarbij de invloed van de nabijheid wordt beheerst door empirische dichtheidsschattingen van een UMAP-gebaseerde fuzzy graaf. Dit stelt de methode in staat om zich natuurlijk aan te passen aan heterogene datamanifolds en willekeurige distributies zonder expliciete parametrische aannames.

4. Experimentele Resultaten

De auteurs evalueerden MSDE op de ADBench benchmark, bestaande uit 46 real-world tabeldatasets, vier realistische anomaliegeneratiemechanismen (Global, Local, Cluster, Dependency) en zes ruisniveaus.

• Prestaties vs. Baselines: MSDE werd vergeleken met 13 gevestigde ongesuperviseerde baselines (inclusief KNN, LOF, Isolation Forest, DAGMM, etc.).
  • Algemeen: MSDE behaalde de hoogste gemiddelde AUC-ROC, AUC-PR en Precision@n over alle anomalietypen in ruisvrije settings.
  • Robuustheid: Terwijl specifieke baselines uitblonken in specifieke modi (bijv. LOF voor lokale anomalieën, PCA voor cluster-anomalieën), was MSDE de enige methode die consequent stabiele prestaties handhaafde over alle vier de anomalietypen.
  • Ruisresistentie: Onder toenemende feature-ruis (tot 50% corruptie), vertoonde MSDE een superieure stabiliteit vergeleken met reconstructiegebaseerde methoden (bijv. DAGMM) en lokale dichtheidsschatters (bijv. LOF), die ernstige degradatie ondergingen.
• Statistische Significantie: Een eenzijdige Wilcoxon signed-rank test bevestigde dat de verbeteringen van MSDE ten opzichte van 12 van de 13 baselines statistisch significant waren ($p < 0.05$).
• Ablatie-studies: Het verwijderen van de fuzzy graaf of het multi-radius wegingsschema resulteerde in prestatieverminderingen, wat de noodzaak van beide componenten voor het afhandelen van complexe manifoldstructuren en afhankelijkheidsanomalieën valideert.
• Schaalbaarheid: Op de Credit Card Fraud Detection dataset ($N \approx 284.807$) bleek MSDE een orde van grootte sneller dan computationeel intensieve methoden zoals KNN en DAGMM, terwijl het een concurrerende nauwkeurigheid behield.

5. Betekenis en Claims

Het artikel claimt dat MSDE een geprincieerd, manifold-bewust benadering biedt voor ongesuperviseerde anomaliedetectie. De betekenis ligt in het bieden van een robuust alternatief voor de huidige state-of-the-art, die vaak tuning vereist die specifiek is voor het anomalietype of lijdt onder instabiliteit in ruisgevoelige settings.

De auteurs benadrukken dat MSDE niet vertrouwt op een enkele metriek, maar op de mate waarin een monster moet worden aangepast om te conformeren aan de dominante structuur van de datadistributie. Door gebruik te maken van de geometrische instabiliteit van anomalieën tijdens dichtheidsgedreven evolutie, bereikt MSDE een gebalanceerde prestatie over diverse anomalietypen en ruisniveaus, waardoor het een sterke kandidaat is voor algemene inzetbaarheid in real-world scenario's waar anomaliekenmerken onbekend of variabel zijn. Het artikel concludeert dat verplaatsingsgebaseerde scoring een levensvatbare en robuuste strategie is voor ongesuperviseerde anomaliedetectie.