VETime: Vision Enhanced Zero-Shot Time Series Anomaly Detection

VETime is een nieuw zero-shot raamwerk voor het detecteren van anomalieën in tijdreeksen dat de precisie van 1D-temporale modellen en het globale perspectief van 2D-visionmodellen verenigt door middel van reversibele afbeeldingsconversie en dynamische multimodale fusie.

De kern

Stel je voor dat je een enorme berg data hebt: een lange, ononderbroken lijn van getallen die bijvoorbeeld de temperatuur, de beurskoersen of het energieverbruik van een fabriek weergeeft. Je taak is om te vinden waar er iets misgaat. Soms is dat een plotselinge, scherpe piek (een "punt-afwijking"), en soms is het een lange periode waarin de trend langzaam maar zeker uit de bocht vliegt (een "contextuele afwijking").

Het probleem is dat de slimme computers (AI-modellen) die we nu hebben, vaak maar één kant van het verhaal goed kunnen zien:

1. De "Microscoop": Deze modellen kijken heel nauwkeurig naar elk individueel getal. Ze zijn goed in het vinden van die scherpe piekjes, maar ze zijn te kortzichtig om te zien dat de hele lijn al dagenlang verkeerd loopt.
2. De "Vogelperspectief": Andere modellen kijken naar het hele plaatje, alsof ze een foto van de lijn maken. Ze zien de grote trends, maar door de foto te maken, wordt het beeld wazig. Ze zien dat er iets mis is, maar kunnen niet precies zeggen waar (op welk tijdstip) het begon.

VETime is de nieuwe oplossing die beide werelden verenigt. Het is alsof we een superheld creëren die zowel een microscoop als een vogelperspectief tegelijkertijd kan gebruiken.

Hier is hoe VETime werkt, vertaald naar alledaagse taal:

1. Het "Tijdsreizen"-Fotoalbum (Reversible Image Conversion)

Stel je voor dat je een lange, saaie lijst met getallen hebt. Normale computermodellen kunnen hier moeilijk mee. VETime doet iets slim: het pakt die lijst en vouwt hem op tot een kleine, kleurrijke foto.

• Het gebruikt de drie kleuren van een foto (Rood, Groen, Blauw) om verschillende aspecten van de data te tonen: de algemene trend, de snelle bewegingen en de rest.
• Het belangrijkste: deze foto is omkeerbaar. Het is alsof je een origami-vogel vouwt. Je kunt de foto zien, maar als je hem weer uitvouwt, is het precies dezelfde lijst met getallen als daarvoor. Niets gaat verloren.

2. Het "Tijds-Compass" (Patch-Level Temporal Alignment)

Nu hebben we een foto, maar een computer die foto's bekijkt (zoals een ViT-model) weet niet dat de bovenkant van de foto "ochtend" is en de onderkant "avond". Voor een computer is het gewoon een plaatje.
VETime lost dit op met een Tijds-Compass. Het plakt een onzichtbaar label op elk stukje van de foto, zodat de computer precies weet: "Dit stukje hier op de foto hoort bij tijdstip 10:00 uur". Hierdoor kan de computer de foto bekijken en precies weten op welk moment in de tijd het gebeurt.

3. De "Twins" die elkaar controleren (Contrastive Learning)

Nu heeft het systeem twee ogen:

• Oog 1 (Tijd): Kijkt naar de getallenrij.
• Oog 2 (Foto): Kijkt naar het visuele patroon.

VETime laat deze twee ogen met elkaar praten. Als Oog 1 zegt "Hier is een piek" en Oog 2 zegt "Ja, ik zie hier een vreemde vlek op de foto", dan zijn ze het eens. Maar als Oog 1 zegt "Alles is normaal" en Oog 2 zegt "Nee, die vlek op de foto hoort niet thuis", dan weet het systeem: "Aha, hier is iets raars aan de hand!" Ze leren van elkaar om fouten te vinden die de ander alleen niet zou zien.

4. De "Slimme Chef" (Task-Adaptive Fusion)

Tot slot heeft VETime een Slimme Chef (een router). Deze chef beslist per situatie welke informatie het belangrijkst is:

• Moeten we een punt-afwijking vinden (een plotselinge schok)? Dan luistert de chef vooral naar het "Tijd-oog" voor de precisie.
• Moeten we een lange, rare trend vinden? Dan luistert de chef meer naar het "Foto-oog" voor het grote overzicht.
  De chef schakelt dynamisch tussen deze twee, zodat het systeem nooit vastloopt in één manier van denken.

Waarom is dit zo cool?

• Het werkt direct (Zero-Shot): Je hoeft het systeem niet eerst maandenlang te trainen op specifieke data. Het kan direct naar een nieuwe fabriek of een nieuwe beurs gaan en daar meteen fouten vinden, omdat het de "taal" van tijdreeksen al begrijpt.
• Het is snel: Andere methodes die foto's gebruiken zijn vaak traag en zwaar. VETime is zo efficiënt dat het bijna 100 keer sneller is dan de huidige concurrenten.
• Het mist niets: Of het nu een korte piek is of een lange, sluipende fout, VETime vindt het allemaal.

Kortom: VETime is als een detective die niet alleen naar de vingerafdrukken kijkt (de details), maar ook naar de foto van de hele scène (het plaatje), en die beide bewijzen slim combineert om de dader (de anomalie) te vinden, zonder dat hij eerst de hele stad hoeft te leren kennen.

Technische samenvatting

1. Het Probleem

Tijdreeks-anomaliedetectie (TSAD) vereist het identificeren van twee fundamenteel verschillende soorten afwijkingen:

1. Puntanomalies (Point Anomalies): Plotselinge, instantane numerieke afwijkingen die een fijnkorrelige, lokale precisie vereisen.
2. Contextuele anomalies (Context Anomalies): Grootschalige, langdurige onregelmatigheden in trend of periodiciteit die een globaal perspectief vereisen.

Bestaande fundamentele modellen (Foundation Models) staan voor een fundamenteel dilemma:

• 1D-temporale modellen zijn uitstekend in het lokaliseren van puntanomalies door lokale continuïteit, maar missen het macroscopische perspectief om contextuele anomalies te detecteren.
• Visuele (2D) modellen kunnen globale patronen vastleggen door tijdreeksen om te zetten in afbeeldingen, maar lijden onder een "informatieknelpunt". Door variabele lengtes naar vaste afbeeldingsmaten te mappen, gaan tijdsdetails verloren, wat leidt tot ruwe, onnauwkeurige detectie en over-detectie.

De uitdaging is om deze twee modaliteiten te combineren zonder de sterke punten van elk te verliezen, specifiek in zero-shot scenario's (waar geen trainingsdata voor de specifieke doelgroep beschikbaar is).

2. Methodologie: VETime

VETime is het eerste raamwerk dat temporale en visuele modaliteiten unificeert via fijnkorrelige visueel-temporale uitlijning en dynamische fusie. De architectuur bestaat uit vier kerncomponenten:

A. Reversible Image Conversion (Omkeerbare Afbeeldingsconversie)

Om tijdreeksen om te zetten in informatie-dichte afbeeldingen zonder details te verliezen, wordt een drie-staps proces gebruikt:

1. Multi-Channel Intensity Mapping: De ruwe tijdreeks wordt ontleed in een trendcomponent en een restant (remainder). Deze, samen met de originele reeks, worden gemapt naar de R, G en B kanalen van een RGB-afbeelding. Dit benut de RGB-structuur voor dichte informatiedraging.
2. Adaptive Folding: De 1D-sequentie wordt omgezet in een 2D-rooster via een periodieke vouwstrategie (gebaseerd op autocorrelatie). Dit behoudt de tijdsorde en voorkomt discontinuïteiten.
3. Dimension-Aware Scaling: De afbeelding wordt geschaald naar een standaardformaat (224x224) voor visuele encoders. Hierbij wordt lineaire interpolatie gebruikt voor de tijd-as (om golfvormen te behouden) en "copy-padding" voor de periode-as (om semantische vervorming te voorkomen).

B. Patch-Level Temporal Alignment (PTA)

Visuele kenmerken uit een bevroren Vision Transformer (ViT) missen expliciete tijdscoördinaten. De PTA-module lost dit op door:

• De vouwlogica om te draaien om visuele kenmerken terug te brengen naar het 1D-temporale domein.
• Het toevoegen van leerbare positiële coderingen en zelf-attentie lagen om intra- en inter-patch afhankelijkheden te modelleren.
• Dit creëert een gedeelde visueel-temporale tijdlijn die fijnkorrelige interactie mogelijk maakt.

C. Anomaly Window Contrastive Learning (AWCL)

Om de complementaire sterktes van beide modaliteiten te benutten, wordt een hybride contrastieve leermethode toegepast:

• Intra-Window Contrast: Richt zich op korte puntanomalies. Het dwingt visuele kenmerken op de anomaliepositie om dicht bij de overeenkomstige temporale kenmerken te liggen, terwijl normale tijdskenmerken binnen hetzelfde venster als negatieve voorbeelden dienen.
• Inter-Window Contrast: Richt zich op langdurige contextuele anomalies. Het vergelijkt samengevoegde (gepoolde) kenmerken van anomalie-vensters met die van normale vensters om globale discriminatie te verbeteren.

D. Task-Adaptive Multi-Modal Fusion (TMF)

Een dynamisch routeringsmechanisme integreert de temporale, visuele en anomalie-versterkte kenmerken.

• Het gebruikt een routeringsnetwerk dat dynamische gewichten toewijst aan elke "expert" (modaliteit) voor twee taken: anomaliedetectie en reconstructie.
• Reconstructie als hulpdoel: Het model moet de originele tijdreeks reconstrueren. Dit dwingt het model om rijke semantische inhoud te behouden en voorkomt overfitting op de schaarse anomalie-labels.
• Een entropie-regulatie zorgt ervoor dat het model niet afhankelijk wordt van slechts één modaliteit (expert collapse).

3. Belangrijkste Bijdragen

1. VETime Framework: Het eerste TSAD-raamwerk dat visuele en temporale kenmerken unificeert via uitlijning en dynamische fusie, waardoor zowel punt- als contextuele anomalies effectief worden gedetecteerd.
2. Nieuwe Modules: Introductie van Reversible Image Conversion en Patch-Level Temporal Alignment om informatie-rijke visuele contexten te creëren terwijl de tijdsgevoeligheid behouden blijft.
3. Contrastieve Strategie: De Anomaly Window Contrastive Learning synthetiseert complementaire perceptieve sterktes voor een uitgebreide detectie.
4. Zero-Shot Superioriteit: Uitgebreide experimenten tonen aan dat VETime state-of-the-art (SOTA) modellen overtreft in zero-shot scenario's, met een lagere rekenkosten dan bestaande visuele methoden.

4. Resultaten

De auteurs evalueerden VETime op 11 publieke datasets (univariaat en multivariaat) uit de TSB-AD benchmark.

• Prestaties: VETime behaalde in het zero-shot scenario 25 van de 44 eerste plaatsen en presteerde zelfs beter dan veel full-shot (getrainde) modellen.
• Vergelijking met Visuele Modellen: In vergelijking met visuele baselines (zoals VIT4TS en VLM4TS) is VETime ongeveer 100 keer sneller (lagere rekenkosten) en behaalt het aanzienlijk hogere nauwkeurigheidsscores (bijvoorbeeld op de YAHOO dataset).
• Ablatiestudies: Het verwijderen van de Reversible Image Conversion leidde tot een drastische daling in prestaties, wat aantoont dat de manier van afbeeldingconversie cruciaal is. Ook de dynamische fusie (TMF) bleek essentieel; simpele concatenatie presteerde slechter.
• Kwalitatieve Analyse: VETime toont scherpe pieken voor puntanomalies (vermijdt over-vervaging) en behoudt hoge scores tijdens langdurige trendafwijkingen, waarbij het de beperkingen van unimodale modellen overwint.

5. Betekenis en Conclusie

VETime adresseert een fundamentele beperking in de huidige tijdreeks-anomaliedetectie: de trade-off tussen lokale precisie en globale context. Door tijdreeksen niet alleen als data, maar ook als visuele patronen te benaderen, en deze via een strikte uitlijning te combineren, biedt het een robuuste oplossing voor zero-shot detectie.

De significance van dit werk ligt in:

• Het bieden van een praktische, schaalbare oplossing voor real-time detectie (door de lage rekenkosten).
• Het bewijzen dat multimodale fusie (tijd + visueel) superieur is aan unimodale benaderingen voor complexe, heterogene anomaliepatronen.
• Het openen van de weg voor toekomstig onderzoek dat tekstuele modaliteiten kan integreren voor nog betere interpretatie en uitleg van anomalieën.

Kortom, VETime stelt een nieuwe standaard voor in zero-shot tijdreeks-anomaliedetectie door de kracht van visuele foundation modellen te koppelen aan de precisie van temporale modellen.