Technische Samenvatting: Waarom het rangschikken van algoritmen voor anomaliedetectie minder betrouwbaar is dan u wellicht denkt

Probleemstelling

Anomaliedetectie (AD) is een veiligheidskritisch domein binnen machine learning met toepassingen in fraudedetectie, preventie van defecten en netwerkinbraak. Ondanks een proliferatie van voorgestelde algoritmen—variërend van klassieke statistische methoden tot deep learning en foundation models—claimen veel nieuwe benaderingen state-of-the-art (SOTA) prestaties. Deze claims zijn echter vaak gebaseerd op benchmark-instellingen die niet consistent zijn over verschillende studies heen. Dit gebrek aan vergelijkbaarheid roept aanzienlijke zorgen op over de reproduceerbaarheid en betrouwbaarheid van AD-benchmarks. Het kernprobleem dat wordt geadresseerd is de instabiliteit van algoritme-rangschikkingen: of de "beste" algoritme een robuuste bevinding is of een artefact van specifieke keuzes in het experimenteel ontwerp.

Methodologie

Om de stabiliteit van AD-rangschikkingen te onderzoeken, hebben de auteurs een systematische analyse uitgevoerd met behulp van het volgende kader:

• Algoritmen: Zeven representatieve, computationeel lichte AD-algoritmen werden geselecteerd om uitgebreide herhaalde evaluaties mogelijk te maken: KNN, LOF, Isolation Forest (IFOR), HBOS, PCA, CBLOF en SEAN.
• Datasets: De studie maakte gebruik van 690 datasets uit de OddBench benchmark-suite. Om de computationele kosten te beheersen (met name voor afstandgebaseerde methoden), werden datasets beperkt tot 5.000 willekeurig gesamplede instanties.
• Ranginstabiliteitsmetriek: Een nieuwe metriek, $\sigma_{rank}$, werd geïntroduceerd om de rangschikkingsstabiliteit te kwantificeren. Deze wordt gedefinieerd als de gemiddelde standaarddeviatie van de rang van een algoritme over variërende benchmark-instellingen:
  $$\sigma_{rank} = \text{mean}_{algo} \left( \text{std}_{setting} \left( \text{Rank}(algo, setting) \right) \right)$$
  Een lage waarde duidt op stabiele rangschikkingen, terwijl een hoge waarde suggereert dat rangschikkingen sterk afhankelijk zijn van het experimenteel ontwerp.
• Bronnen van Variabiliteit: De studie isoleerde en simuleerde de impact van vier specifieke factoren door deze te variëren terwijl de andere constant werden gehouden:
  1. Datasetselectie: Het variëren van het aantal en de samenstelling van datasets (subsets van 25, 100 en 400).
  2. Evaluatiemetriek: Het vergelijken van ROC-AUC versus AUCPR.
  3. Hyperparameterselectie: Het willekeurig samplen van hyperparameterconfiguraties.
  4. Random Seed Selectie: Het variëren van de random seed voor datasampling en initialisatie.

Belangrijkste Resultaten

De analyse laat zien dat de rangschikking van algoritmen in anomaliedetectie zeer instabiel en gevoelig is voor experimentele keuzes:

• Rangschikkingsvolatiliteit: Rangschikkingen veranderen aanzienlijk over verschillende configuraties. Opmerkelijk genoeg behaalden vijf van de zeven bestudeerde algoritmen de hoogste rang in meer dan 10% van alle geëvalueerde settings. Daarentegen kwamen HBOS en CBLOF zelden als de best presterende methoden naar voren (HBOS één keer in 1.016 settings; CBLOF nooit).
• Haalbaarheid van "SOTA"-claims: De resultaten suggereren dat het relatief eenvoudig is om benchmark-settings te construeren waarbij een competitief algoritme als state-of-the-art verschijnt. In experimenten was het samplen van slechts acht willekeurige settings voldoende om een configuratie te vinden waarin een specifiek algoritme alle anderen overtrof.
• Dominante Factoren van Instabiliteit:
  • Datasetselectie en Hyperparameters: Dit zijn de primaire drijfveren van rangschikkingsonzekerheid. De keuze van hyperparameters introduceert aanzienlijke onzekerheid, een factor die de auteurs naar verluidt onderschat wordt voor klassieke methoden en nog prominenter zou zijn voor moderne deep learning-methoden met grotere hyperparameterruimtes.
  • Aantal Datasets: Het vergroten van het aantal datasets vermindert de instabiliteit, maar het effect verzadigt. De studie suggereert dat ongeveer 200 datasets vereist zijn om de totale ranginstabiliteit tot een betrouwbaar niveau te reduceren ($\sigma_{rank} \approx 0.2$).
  • Minor Factoren: De selectie van de random seed heeft een verwaarloosbare impact, en de keuze tussen veelvoorkomende evaluatiemetrieken (ROC-AUC versus AUCPR) heeft een kleiner, maar merkbaar effect vergeleken met de keuze van datasets en hyperparameters.
• Grootte van de Onzekerheid: De geobserveerde instabiliteit ($\sigma_{rank} \approx 0.34$) is aanzienlijk, gezien het feit dat het gemiddelde rangverschil tussen de beste en slechtste algoritmen in de studie slechts 1,51 posities was. Een onzekerheid van 0,34 rangen vertegenwoordigt een groot deel van de totale prestatiekloof.

Betekenis en Aanbevelingen

Het artikel betoogt dat het concept van een universeel "beste" anomaliedetectie-algoritme vaak niet robuust is en sterk afhangt van de keuzes bij de constructie van de benchmark. Bijgevolg moeten kleine verbeteringen in benchmark-rangschikkingen met voorzichtigheid worden geïnterpreteerd.

Op basis van deze bevindingen doen de auteurs de volgende aanbevelingen voor toekomstig onderzoek:

1. Schaal van Evaluatie: Toekomstige benchmarkstudies zouden ten minste 200 datasets moeten gebruiken om de stabiliteit van de rangschikking te waarborgen.
2. Hyperparametergevoeligheid: Benchmarks moeten algoritmen expliciet evalueren onder variërende hyperparameterconfiguraties, in plaats van te vertrouwen op een enkele handmatig geselecteerde instelling.
3. Rapportage van Instabiliteit: Studies zouden een instabiliteitsscore moeten opnemen (zoals de voorgestelde $\sigma_{rank}$) om de betrouwbaarheid van hun conclusies te kwantificeren.
4. Verschuiving in Focus: De onderzoekscommunity moet prioriteit geven aan robuustheid, reproduceerbaarheid en het begrijpen van de specifieke condities waaronder algoritmen goed presteren, in plaats van zich primair te richten op marginale verbeteringen in benchmark-rangschikkingen.

De auteurs concluderen dat een tastbare verbetering in anomaliedetectie pas kan worden aangenomen wanneer er grote verbeteringen worden waargenomen over een grote hoeveelheid datasets en deze invariant blijven aan ontwerpkeuzes.