Technische Samenvatting: DQS – Een Low-Budget Querystrategie voor het Verbeteren van Unsupervised Data-gedreven Anomaliedetectie-benaderingen

1. Probleemstelling

Echt unsupervised benaderingen voor tijdreeks-anomaliedetectie zijn schaars in de literatuur. Bestaande methoden lijden vaak aan slecht ingestelde drempelwaarden, wat de detectieprestaties aanzienlijk belemmert. Hoewel sommige benaderingen beweren unsupervised te zijn, vertrouwen ze frequent op gelabelde subsets voor kalibratie of hyperparameteroptimalisatie, een hulpbron die in de praktijk vaak niet beschikbaar is. Zelfs wanneer er echt unsupervised methoden bestaan (bijv. met een Temporal Variational Autoencoder, TeVAE), blijft het proces van drempelwaarde-selectie een kritieke bottleneck. Correia et al. [12] hebben een aanzienlijk prestatieverschil aangetoond tussen unsupervised thresholding en een optimale drempelwaarde, wat wijst op onbenut potentieel.

Bovendien gaat de bestaande active learning literatuur in dit domein doorgaans uit van een "perfecte oracle" (100% nauwkeurigheid van labeling), een geïdealiseerde aanname die de realiteit van menselijke fouten, vermoeidheid en de moeilijkheid van het labelen van bepaalde samples negeert. Er is een gebrek aan onderzoek naar hoe foutieve labelingspercentages de anomaliedetectieprestaties beïnvloeden wanneer active learning wordt gebruikt voor drempelwaarde-selectie.

2. Methodologie

2.1 Active Learning Framework

De voorgestelde benadering integreert active learning in een bestaande unsupervised anomaliedetectie-pipeline. Het systeem werkt in een lus bestaande uit:

• De Oracle: Een domeinexpert die ongelabelde samples labelt als nominaal of anomaal.
• Het Model: Een unsupervised anomaliedetector (specifiek TeVAE) getraind op ongelabelde data.
• De Query Strategie: Een mechanisme om te selecteren welke samples uit een kandidaat-pool naar de oracle gestuurd moeten worden voor labeling, beperkt door een query-budget $B$.
• De Feedback Strategie: Het proces van het gebruik van de nieuw gelabelde data om de beslissingsdrempel te verfijnen, waardoor de detectieprestaties worden verbeterd.

2.2 Dissimilarity-Based Query Strategy (DQS)

De kernbijdrage van dit werk is de Dissimilarity-Based Query Strategy (DQS). Dit is een non-parametrische strategie die ontworpen is om de diversiteit van gekozen samples te maximaliseren zonder voorafgaande parametrisering te vereisen.

• Mechanisme: DQS evalueert de gelijkenis tussen anomalie-scores van verschillende tijdreeksen met behulp van Dynamic Time Warping (DTW). In tegenstelling tot metrieken zoals Mean Squared Error, kan DTW omgaan met sequenties van variabele lengtes en houdt het rekening met temporele misalignement.
• Selectielogica:
  1. Initialisatie: Voor de eerste query in een ronde wordt een willekeurige sample geselecteerd uit de kandidaat-score set ($C_{as}$).
  2. Maximalisatie van Diversiteit: Voor opeenvolgende queries binnen een ronde identificeert het algoritme de kandidaat sample die het meest dissimilar is aan de meest gelijkaardige sample die al in de query set ($Q_{as}$) zit.
  3. Proces:
     • Bereken de DTW-afstand tussen alle kandidaten in $C_{as}$ en alle samples in $Q_{as}$.
     • Identificeer de kandidaat ($o$) in $C_{as}$ die de minimale afstand heeft tot een sample in $Q_{as}$ (de "meest gelijkaardige").
     • Identificeer de kandidaat ($r$) in $C_{as}$ die de maximale afstand heeft tot $o$ (de "meest dissimilar").
     • Verplaats $r$ naar $Q_{as}$.
• Drempelverfijning: Zodra het budget $B$ voor een ronde is uitgeput, worden de gelabelde samples in $Q_{as}$ gebruikt om een grid search uit te voeren voor een optimale drempelwaarde $\tau$, ter vervanging van de standaard unsupervised drempelwaarde ($\tau_{us}$).

2.3 Experimentele Opzet

• Dataset: De PATH dataset, die de dynamiek van automotive powertrains vertegenwoordigt, werd gebruikt. Deze bestaat uit multivariate tijdreeksen met niet-triviale anomalieën.
• Simulatie van Realistische Omstandigheden: De data werd gesplitst in toenemende temporele vensters (1 dag tot 28 dagen) om geleidelijke data-accumulatie na te bootsen.
• Simulatie van Mislabeling: Om robuustheid te testen, werden de ground-truth labels omgedraaid op basis van een Bernoulli-distributie met mislabelingskansen ($p_m$) van 0.1, 0.2 en 0.3.
• Baselines:
  • Unsupervised Threshold ($\tau_{us}$): Maximale fout vanuit de validatieset.
  • Hypothetical Best Threshold ($\tau_{best}$): De optimale drempelwaarde gevonden via grid search op de testset (niet observeerbaar in de praktijk).
  • Random Query Strategy (RQS): Willekeurige selectie.
  • Top-Based Query Strategy (TQS): Selectie van samples met de hoogste anomalie-scores (onzekerheidsgebaseerd in sommige literatuur).
  • Uncertainty-Based Query Strategy (UQS): Selectie van samples die het dichtst bij de huidige drempelwaarde liggen.

3. Belangrijkste Bijdragen

1. Nieuwe Query Strategie (DQS): Introductie van een non-parametrische querystrategie die DTW gebruikt om de diversiteit van samples te maximaliseren in de context van discrete-sequentie anomaliedetectie.
2. Mislabeling Analyse: Een nieuwe testmethodologie die expliciet rekening houdt met de mislabelingskansen van de oracle, waarmee een gat in de literatuur wordt gedicht waar vaak een perfecte labeling wordt verondersteld.
3. Integratie van Active Learning: Het demonstreren van een praktisch framework voor het combineren van active learning met unsupervised modellen specifiek om de drempelwaarde-selectie te verfijnen, in plaats van het hertrainen van het model zelf.

4. Resultaten

4.1 Prestaties versus Query Budget

• Kleine Budgets ($B < 10$): DQS presteerde consistent beter dan RQS, TQS en UQS over diverse tijdsplits (1 tot 28 dagen). Het bereikte F1-scores die aanzienlijk dichter bij de hypothetische beste drempelwaarde ($\tau_{best}$) lagen dan de unsupervised baseline.
• Grotere Budgets ($B = 10$): DQS bleef competitief en presteerde vaak gelijk aan of beter dan andere strategieën, hoewel TQS sterke prestaties liet zien in specifieke splits.
• Algemene Trend: Alle querystrategieën presteerden beter dan de unsupervised drempelwaarde ($\tau_{us}$) zodra de trainingssubset groot genoeg was voor het model om betekenisvolle representaties te leren.

4.2 Impact van Mislabeling

• Robuustheid: Hoewel DQS het beste presteerde in scenario's met een laag budget en zuivere labels, vertoonde TQS een hogere robuustheid wanneer geconfronteerd met hogere mislabelingspercentages ($p_m = 0.2, 0.3$).
• DQS Gevoeligheid: De prestaties van DQS verslechterden merkbaarder bij toenemende mislabelingspercentages vergeleken met TQS, met name in latere tijdsplits.
• Algemene Bevinding: Ondanks mislabeling presteerden alle active learning strategieën beter dan de puur unsupervised drempelwaarde ($\tau_{us}$). Zelfs met een foutpercentage van 30% leverden de op active learning gebaseerde drempelwaarden betere F1-scores op dan de unsupervised baseline.

5. Betekenis en Claims

De auteurs claimen dat dit werk een praktische oplossing biedt voor scenario's waar gelabelde data schaars is maar een oracle (menselijke expert) beschikbaar is voor beperkte queries. De significantie ligt in:

• Efficiëntie bij Lage Budgets: DQS is bijzonder effectief wanneer de kosten van labeling hoog zijn (klein budget), waarbij de informatiewinst per query wordt gemaximaliseerd door een diverse selectie van samples te waarborgen.
• Haalbaarheid van Active Learning: De studie valideert dat het inzetten van een active learning-gebaseerde drempelwaarde aanbevolen wordt wanneer dit mogelijk is, aangezien het consequent beter presteert dan unsupervised thresholding, zelfs in de aanwezigheid van imperfecte labeling.
• Realistische Evaluatie: Door mislabelingskansen te introduceren, biedt het artikel een realistischere beoordeling van active learning strategieën voor tijdreeks-anomaliedetectie, waarbij verder wordt gekeken dan de geïdealiseerde "perfecte oracle" aanname.

Het paper concludeert dat hoewel geen enkele strategie alle categorieën domineert (DQS blinkt uit in low-budget/clean scenario's; TQS in high-mislabeling scenario's), de integratie van active learning voor drempelwaarde-selectie een levensvatbare en superieure benadering is ten opzichte van puur unsupervised methoden. Toekomstig werk wordt gesuggereerd om zich te richten op het standaardiseren van benchmarking-procedures en het ontwikkelen van querystrategieën die een balans vinden tussen low-budget efficiëntie en robuustheid tegen mislabeling.