Technische Samenvatting: JAPE – Gezamenlijke Anomalievoorspelling en Intrinsieke Verklaring in Multivariate Tijdreeksen

1. Probleemdefinitie

Anomalievoorspelling in multivariate tijdreeksen (MTS) beoogt te anticiperen op de vraag of en wanneer anomalieën zullen optreden binnen een toekomstige horizon, gebaseerd op historische observaties. In tegenstelling tot traditionele anomaliedetectie, die reageert op fouten nadat ze zich hebben gemanifesteerd, vereist anomalievoorspelling proactieve identificatie van het begin van een incident.

Het artikel identificeert drie fundamentele beperkingen in bestaande waarde-gecentreerde benaderingen (die anomalieën primair modelleren als afwijkingen in toekomstige numerieke waarden):

1. Vertraagde Detectie (L1): Zwakke anomalie-precursors, die zich vaak manifesteren als subtiele veranderingen in de onderlinge afhankelijkheden tussen variabelen in plaats van numerieke pieken, worden door modellen die geoptimaliseerd zijn voor numerieke reconstructie vaak geabsorbeerd als normale fluctuaties. Dit veroorzaakt dat waarschuwingen achterlopen op de voortgang van de fout.
2. Beperkte Anomalie-discriminatie (L2): Tijdens de propagatie van een anomalie vertonen bronvariabelen en de door hen beïnvloede variabelen vaak vergelijkbare numerieke afwijkingen. Waarde-gecentreerde methoden worstelen met het onderscheiden van de oorzaak van de bron van de gepropageerde respons, vooral wanneer de veranderingen bij de bron subtiel zijn.
3. Gebrek aan Intrinsieke Verklaarbaarheid (L3): Bestaande methoden detecteren anomalieën, maar kunnen niet van nature de specifieke betrokken variabelen identificeren. Ze vereisen aparte, post-hoc analysepipelines voor interpretatie, wat extra computationele overhead toevoegt en de diagnose van de grondoorzaak vertraagt.

2. Methodologie: Het JAPE-framework

JAPE (Joint Anomaly Prediction and Explanation) verschuift het paradigma van numerieke-afwijkingsmodellering naar afhankelijkheidsstructuur-modellering. Het wordt getraind in een setting waarbij een klein aantal anomalie-labels beschikbaar is. Het framework bestaat uit drie kerncomponenten:

2.1 Ontkoppelde Spatio-Temporele Representatie (DSTR)

Om de maskering van zwakke structurele precursors door dominante temporele patronen aan te pakken, ontkoppelt JAPE de temporele evolutie van de modellering van onderlinge variabele afhankelijkheden in twee toegewezen assen binnen een backbone-architectuur:

• Temporele As: Modelleert de evolutie van individuele variabelen onafhankelijk met behulp van kanaal-onafhankelijke temporele modellering (vergelijkbaar met PatchTST), waardoor de temporele dynamiek van elke reeks behouden blijft.
• Ruimtelijke As: Modelleert expliciet de onderlinge afhankelijkheden tussen variabelen met behulp van een Lag-bewust Directed Graph Learning mechanisme.
  • Het maakt gebruik van een leerbaar lag-aggregatiemechanisme om vertraagde representaties van variabelen te construeren, waardoor vertraagde invloeden worden gevangen.
  • Het gebruikt een directionele contrastfunctie om asymmetrische afhankelijkheidsscores te berekenen (bijv. hoe het verleden van variabele $v$ het heden van variabele $u$ voorspelt), waardoor directionaliteit wordt onderscheiden.
  • Deze as genereert een sequentie van dynamische gerichte afhankelijkheidsgrafen die in de loop van de tijd evolueren, waardoor structurele veranderingen worden behouden voordat ze numeriek zichtbaar worden.
• Toekomstgerichte Tak: Breidt de ruimtelijke afhankelijkheidsmodellering uit naar de voorspellingshorizon, waardoor toekomstige afhankelijkheidsgrafen worden geconstrueerd om een "voor-en-na" perspectief voor waarschuwingen te bieden.

2.2 Dual-View Alerting Mechanisme

Dit component fuseert twee complementaire weergaven om puntgewijze anomaliekansen te schatten:

• Numerieke Weergave: Afgeleid van de voorspelde toekomstige tijdreeksen ($\hat{X}$), die de observeerbare reacties van individuele variabelen vastleggen.
• Structurele Weergave: Afgeleid van de evoluerende afhankelijkheidsgrafen ($A$) geproduceerd door DSTR. Om de dimensies van de inputvariabelen te verwerken, worden de grafen samengevat in compacte structurele beschrijvers (13-dimensionale vectoren) die statistieken zoals grafenergie, entropie en afhankelijkheidsverschuivingen vastleggen.
• Fusie: Een cross-attention mechanisme fuseert de numerieke tokens en de structurele tokens adaptief. Dit stelt het model in staat om gebruik te maken van bron-bewuste structurele bewijslast, zelfs wanneer numerieke afwijkingen subtiel zijn, wat de anomalie-discriminatie aanzienlijk verbetert.

2.3 Native Predictive Explanation (NPE)

NPE biedt verklaringen op variabeleniveau zonder extra modellen of training:

• Mechanisme: Het hergebruikt de afhankelijkheidsgrafen die tijdens de voorspellingsfase zijn gegenereerd.
• Graph Deviation Score (GDS): Het berekent een afwijkingsscore door de voorspelde afhankelijkheidsgraaf te vergelijken met een normale referentiegraf. De score combineert:
  • Directe Afwijking: Onmiddellijke veranderingen in uitgaande en inkomende afhankelijkheden.
  • Multi-hop Afwijking: Propagatie van structurele veranderingen door afhankelijkheidsketens (tot $K$ hops).
• Output: Variabelen worden gerangschikt op basis van hun GDS. Omdat de grafen al tijdens de inferentie zijn geconstrueerd, brengt dit proces verwaarloosbare computationele kosten met zich mee en elimineert het de noodzaak voor post-hoc diagnostische pipelines.

3. Belangrijkste Bijdragen

1. DSTR Backbone: Het eerste anomalievoorspellingsframework dat de temporele evolutie expliciet ontkoppelt van afhankelijkheidsmodellering, waardoor zwakke structurele precursors behouden blijven via dynamische gerichte grafen.
2. Dual-View Alerting: Een mechanisme dat numerieke voorspellingen fuseert met dynamische afhankelijkheidsstructuren, wat robuuste detectie mogelijk maakt, zelfs wanneer de numerieke signalen zwak zijn.
3. Native Predictive Explanation (NPE): Een methode die variabelenrangschikkingen genereert tegen nul additionele kosten door gebruik te maken van de voorspelde afhankelijkheidsgrafen, wat de noodzaak voor aparte attributiemodellen wegneemt.
4. Empirische Validatie: Uitgebreide experimenten die significante verbeteringen laten zien ten opzichte van de state-of-the-art baselines.

4. Experimentele Resultaten

De auteurs evalueerden JAPE op vijf real-world benchmarks (SMD, WADI, MSL, PSM, EXATHLON) over drie voorspellingshorizonten (50, 100, 200 tijdstappen).

• Voorspellingsprestaties: JAPE behaalde een gemiddelde F1-score van 62,9% en een AUC-PR van 70,9%. Dit vertegenwoordigt een verbetering van 19,7% in F1 en een verbetering van 41,3% in AUC-PR ten opzichte van de sterkste baseline (A2P-Sup). De winst was bijzonder uitgesproken op datasets met complexe afhankelijkheidsevolutie (bijv. MSL), waar numerieke-alleen methoden er niet in slaagden zwakke precursors te vangen.
• Verklaarbaarheid: Op datasets met grondwaarheid-variabele annotaties (SMD, WADI) verbeterde JAPE de Mean Reciprocal Rank (MRR) met 26,6% vergeleken met de beste baseline, wat een superieure capaciteit aantoont om de ware anomaliebron-variabelen te identificeren.
• Efficiëntie: JAPE demonstreerde een hoge trainings-efficiëntie, waarbij de trainingstijd per epoch met wel 70,5% werd verminderd vergeleken met A2P op de SMD-dataset. De NPE-component beslaat minder dan 0,5% van de totale runtime.

5. Betekenis en Claims

Het artikel beweert dat JAPE het eerste anomalievoorspellingsframework is dat expliciet evoluerende afhankelijkheidsstructuren modelleert om gezamenlijk vroege puntgewijze waarschuwingen en natuurlijke variabele-niveau verklaringen te bereiken.

De auteurs stellen dat door anomalievoorspelling te verheffen van numerieke-afwijkingsmodellering naar afhankelijkheidsstructuur-modellering, JAPE de kernbeperkingen van bestaande methoden aanpakt:

• Het detecteert anomalieën eerder door structurele precursors waar te nemen voordat numerieke afwijkingen ontstaan.
• Het verbetert de discriminatie door bronvariabelen te onderscheiden van gepropageerde responsen via structureel bewijs.
• Het biedt intrinsieke verklaarbaarheid zonder de latentie of kosten van post-hoc analyse.

Het werk suggereert dat onderlinge relaties tussen variabelen betekenisvol structureel bewijs leveren voor systeemveranderingen, en dat het expliciet modelleren van deze evoluerende structuren essentieel is voor proactieve monitoring in complexe gedistribueerde systemen. Toekomstig werk wordt voorgesteld om deze aanpak naar grotere systemen te schalen en adaptieve graf-sparsificatie te verkennen.