Benchmarking IoT Time-Series AD with Event-Level Augmentations

Dit paper introduceert een nieuwe evaluatieprotocol voor IoT-tijdreeks-anomaliedetectie dat zich richt op gebeurtenisniveau-augmentaties om realistische verstoringen te simuleren, en toont via een benchmark van 14 modellen op diverse datasets aan dat er geen universele winnaar is, maar dat modelkeuze sterk afhangt van de specifieke type verstoring en de aard van de industriële installatie.

De kern

Stel je voor dat je een enorme, complexe machine bewaakt, zoals een kerncentrale of een waterzuiveringsinstallatie. Deze machine heeft honderden sensoren die constant meten: temperatuur, druk, stroom, etc. De taak van een AI-systeem is om te zien wanneer er iets misgaat, voordat er een echt ongeluk gebeurt.

Dit artikel is als een grote, eerlijke test voor verschillende AI-systemen die dit moeten doen. De auteurs zeggen: "Tot nu toe hebben we deze systemen getest in een perfecte, schone wereld. Maar in het echte leven is het rommelig, vallen sensoren uit, en veranderen de omstandigheden. Laten we ze eens testen in de echte chaos."

Hier is de samenvatting in begrijpelijke taal, met een paar creatieve vergelijkingen:

1. Het Probleem: De "Zwembad-test" vs. De "Stromende Rivier"

Vroeger testten wetenschappers deze AI's alsof ze zwemles gaven in een stil, kristalhelder zwembad. Alles was perfect, de temperatuur was constant, en er waren geen golven. Als een AI daar goed presteerde, dachten we: "Groot! Die is perfect voor het echte werk."

Maar in het echte leven is het geen zwembad, maar een woeste rivier.

• Soms is het water modderig (ruis).
• Soms stopt een sensor met meten alsof hij verdrinkt (sensoruitval).
• Soms verandert de stroomrichting langzaam (drift).

De auteurs zeggen: "We moeten de AI's niet testen in het zwembad, maar in de rivier." Ze hebben een nieuwe testmethode bedacht die deze "rivier-omstandigheden" nabootst.

2. De Test: De "Stress-test" voor Sensoren

De auteurs hebben 14 verschillende AI-systemen (de "kandidaten") op 7 verschillende datasets getest. Ze hebben elk systeem blootgesteld aan vier soorten "stress":

• Het "Nose" (Ruis): Net als iemand die fluistert in een luid café. De AI moet het echte signaal horen tussen alle geklets.
• Het "Verdronken Sensor" (Dropout): Stel dat 10% van je sensoren plotseling stilvalt. Kan de AI nog steeds zien wat er mis is zonder die informatie?
• Het "Slijtage" (Drift): Stel dat een sensor langzaam begint te liegen, alsof een thermometer elke dag 1 graad warmer aangeeft dan hij moet. Kan de AI zien dat het een leugen is en geen echte hitte?
• Het "Verkeerde Kompas" (Shift): De tijdsindeling verspringt.

3. De Resultaten: Er is geen "Superheld"

Het belangrijkste nieuws is: Er is geen enkele AI die overal goed in is. Het hangt er helemaal van af wat voor soort "rivier" je hebt.

• De "Kaartlezers" (Grafische modellen):

  • Vergelijking: Dit zijn systemen die een kaart hebben van hoe alle sensoren met elkaar verbonden zijn (zoals een stadsplanning).
  • Wanneer ze winnen: Als sensoren uitvallen of als er een langdurig probleem is. Ze weten: "Ah, sensor A is stil, maar sensor B is gekoppeld aan A, dus ik kan het nog steeds raden."
  • Wanneer ze verliezen: Als het water heel modderig is (veel ruis), raken ze de kaart kwijt.

• De "Statistieken-Meesters" (Dichtheidsmodellen):

  • Vergelijking: Dit zijn systemen die een perfecte foto hebben van hoe een "normale dag" eruit ziet. Alles wat afwijkt, is verdacht.
  • Wanneer ze winnen: In een stabiele fabriek waar niets verandert. Ze zijn supersterk en zien elk klein foutje.
  • Wanneer ze verliezen: Als de machine langzaam veroudert (drift). Dan denken ze: "Oh, dit is niet meer normaal!" en slaan ze onterecht alarm. Ze zijn te star.

• De "Ritme-gevoeligen" (Spectrale CNN's):

  • Vergelijking: Dit zijn systemen die luisteren naar het ritme of de muziek van de machine.
  • Wanneer ze winnen: Als de machine een heel duidelijk ritme heeft (zoals een hartslag).
  • Wanneer ze verliezen: Als het ritme verandert door ruis of als sensoren uitvallen, raken ze de beat kwijt.

4. De Grote Leerles: "Check je Sensoren!"

Een van de coolste ontdekkingen is dat slechte sensoren (die "toxische" sensoren) de hele AI kunnen laten falen.

• Vergelijking: Stel je voor dat je een orkest hebt, maar één fluitist speelt continu valse tonen. Als de dirigent (de AI) daar niet naar luistert, klinkt het hele orkest slecht.
• De auteurs ontdekten dat als je die ene "verkeerde fluitist" (de slechte sensor) even uit zet, sommige AI's plotseling 50% beter presteren.
• Advies: Voordat je een AI kiest, moet je eerst je sensoren controleren. Soms is het probleem niet de AI, maar de sensor die liegt.

5. Conclusie: Pas de AI aan je Werk

De auteurs zeggen: "Kies je schoenen op basis van het terrein."

• Ga je de woeste rivier in (veel uitval, lange storingen)? Kies dan de Kaartlezer (Grafische modellen).
• Zit je in een rustige fabriek (stabiel, schoon)? Kies dan de Statistieken-Meester.
• Heb je een ritmische machine? Kies dan de Ritme-gevoelige.

Kortom: Er is geen "beste" AI voor alles. Als je een AI kiest voor een veiligheidskritieke machine (zoals een kerncentrale), moet je eerst kijken hoe je machine zich gedraagt onder stress, en dan de AI kiezen die daar het beste tegen kan. En vergeet nooit: controleer eerst of je sensoren niet stuk zijn voordat je de AI de schuld geeft!

Technische samenvatting

Titel: Benchmarking van IoT-tijdreeks-anomaliedetectie met gebeurtenisniveau-aanvullingen

Auteurs: Dmitry Zhevnenko et al. (AXXX, NSU, Innopolis University, RAS)

---

1. Het Probleem

Huidige methoden voor Anomaliedetectie (AD) in veiligheidskritieke IoT-systemen (zoals energiecentrales en industriële processen) hebben een fundamenteel tekortkoming: ze worden voornamelijk geëvalueerd op punt-niveau (point-level) op schone, gecureerde openbare datasets.

• Realiteit vs. Benchmark: In de praktijk handelen operators op gebeurtenissen (events) en niet op geïsoleerde datapunten. De kernvragen zijn: wordt een abnormale episode gedetecteerd, hoe vroeg wordt deze gemeld, en hoe robuust blijft de detector onder veranderende omstandigheden?
• Calibratieprobleem: In echte scenario's is er geen kans om het model tijdens de testfase te kalibreren (zero test-time calibration) als een sensor faalt. Echter, bestaande benchmarks optimaliseren vaak voor gemiddelde punt-scores op schone data, wat de prestaties overdrijft en leidt tot een verkeerde modelselectie voor implementatie.
• Ontbrekende Stress-testen: Veel studies negeren realistische verstoringen zoals sensoruitval (dropout), drift (lineair/logaritmisch), ruis en venster-verschuivingen.

2. Methodologie

De auteurs introduceren een implementatiegerichte, gebeurtenis-niveau evaluatieprotocol dat bestaat uit drie componenten:

1. Unified Splits & Event Aggregatie: Evaluatie op schone data met vaste beslissingsdrempels (gebaseerd op validatie) en aggregatie van scores naar gebeurtenisniveau in plaats van punt-niveau.
2. Offline-gekalibreerde Stress Suite: Een reeks augmentaties die realistische, ongekalibreerde verstoringen simuleren. De ernstniveaus worden genormaliseerd op basis van validatiestatistieken per dataset en zijn vastgesteld vóór de testfase. De augmentaties omvatten:
   • Sensor Dropout: Willekeurig uitschakelen van kanalen (0-10%).
   • Drift: Lineaire en logaritmische drift in sensorrespons.
   • Additieve Ruis: Gaussian noise toevoegen.
   • Venster/Phase Shifts: Verschuivingen in de tijdsreeks.
3. Sensor-niveau Probing: Een techniek waarbij kanalen worden gemaskeerd als "ontbrekend" (zeroing) om de invloed per kanaal te schatten. Dit ondersteunt root-cause analyse en helpt bij het identificeren van "giftige" (toxic) sensoren die de prestaties onnodig beïnvloeden.

Datasets & Modellen:

• Datasets: 7 datasets in totaal: 5 publieke CPS-datasets (SWaT, WADI, SMD, SKAB, TEP) en 2 industriële datasets (stoomturbine en kernenergie-turbogenerator).
• Modellen: 14 representatieve AD-modellen werden getest, verdeeld over vijf families:
  • Reconstructie: Autoencoders, LSTM-VAE, USAD.
  • Predictief/Hybride: Anomaly Transformer, MTAD-GAT, LSTM-NDT.
  • Spectraal/Seasonal: TimesNet.
  • Grafiek-structuur: GDN, GBAD, GTA, STGAT-MAD.
  • Dichtheid/Stroom: THOC, GANF.

3. Belangrijkste Bijdragen

1. Nieuw Protocol: Een protocol dat zero test-time calibration afdwingt en offline-gekalibreerde stress-tests en sensor-probing integreert voor robuustheid.
2. Uitgebreide Vergelijking: Een unificatie studie van 14 modellen op 7 datasets onder identieke omstandigheden, wat leidt tot een herziening van de ranglijsten afhankelijk van het bedrijfsregime.
3. Ontwerpregels: Praktische richtlijnen om inductieve biases van modellen te koppelen aan stress-profielen (bijv. grafiekmodellen voor uitval, spectrale CNN's voor periodiciteit).
4. Reproduceerbaarheid: Publicatie van alle scripts, configuraties en data voor reproduceerbare evaluaties.

4. Resultaten & Bevindingen

Er is geen universele winnaar; de prestaties van modellen fluctueren sterk afhankelijk van het type verstoring en het dataset-regime.

• Grafiek-gebaseerde modellen (Graph-structured):

  • Sterk punt: Zeer robuust bij sensoruitval (dropout) en lange gebeurtenissen.
  • Voorbeeld (SWaT): Een hybride grafiek-attention model (MTAD-GAT) zakt slechts 0,8% bij additieve ruis, terwijl een standaard grafiek-autoencoder (GBAD) 16% verliest.
  • Zwak punt: Kan gevoelig zijn voor specifieke ruispatronen.

• Dichtheid/Stroom-modellen (Density/Flow):

  • Sterk punt: Uitstekend op schone, stationaire installaties (bijv. TEP, NPP).
  • Zwak punt: Zeer fragiel bij monotone drift. Op SKAB en NPP-datasets stort een stroomgebaseerde detector (GANF) bijna volledig in bij logaritmische drift, terwijl de daling op SWaT mild is.

• Spectrale CNN's (bijv. TimesNet):

  • Sterk punt: Leidt wanneer sterke periodiciteit aanwezig is.
  • Zwak punt: Broos bij sensorverschuivingen en drift.

• Reconstructie Autoencoders:

  • Worden competitief na basis-sensorcontrole (vetting). Ze zijn vaak robuust tegen ruis maar minder effectief bij complexe dynamische breuken.

• Sensor Probing Effect:

  • Het uitschakelen van enkele "giftige" kanalen kan de F1-score drastisch verbeteren (bijv. +54% op de Turbogenerator dataset voor GBAD). Dit toont aan dat veel modellen over-reliant zijn op specifieke, defecte sensoren.

• Architectuurkeuzes:

  • Het vervangen van een geleerde DAG (in GANF) door een vaste grafiek verbetert de schone score licht (+0,5-1%), maar verhoogt de gevoeligheid voor drift met een factor acht.
  • Het vervangen van normalizing flows door een eenvoudige Gaussische schatter verlaagt de prestaties onder stress aanzienlijk (van ~0,75 naar ~0,57).

5. Significantie en Conclusie

Dit paper verschuift de focus van het creëren van "leaderboards" op schone data naar het leveren van ontwerpregels voor robuuste implementatie.

• Praktische Implicatie: De keuze van een model moet worden gebaseerd op het verwachte stress-profiel van de installatie:
  • Gebruik grafiekmodellen bij verwachte sensoruitval of lange gebeurtenissen.
  • Gebruik dichtheid/flow-modellen voor stabiele, stationaire processen (maar bewaak drift).
  • Gebruik spectrale CNN's voor processen met duidelijke periodiciteit.
  • Gebruik predictieve/hybride modellen wanneer fouten de tijdsafhankelijkheid verbreken, maar wees voorzichtig met venstergevoeligheid.
• Conclusie: Robuustheid is niet inherent aan een model, maar een resultaat van de match tussen de inductieve bias van het model en het stress-profiel van de omgeving. De auteurs benadrukken dat "snellere" vereenvoudigingen van complexe modellen (zoals het vastzetten van grafieken) vaak ten koste gaan van de robuustheid onder realistische omstandigheden.