Can Multimodal LLMs Perform Time Series Anomaly Detection?

Probleemstelling

Tijdreeks-anomaliedetectie (TSAD) is een fundamenteel probleem voor de betrouwbaarheid van web-systemen en online infrastructuur (bijv. monitoring van CPU-gebruik, netwerkvertraging). Hoewel Large Language Models (LLMs) veelbelovend zijn voor tijdreeksanalyse, is het potentieel van Multimodale LLMs (MLLMs) – modellen die zowel tekst als afbeeldingen kunnen verwerken – voor deze taak nog onvoldoende onderzocht.

Bestaande studies hebben twee belangrijke beperkingen:

1. Vereenvoudiging van het probleem: Ze behandelen punt-gebaseerde anomalieën vaak als een speciaal geval van reeks-gebaseerde anomalieën, of ze aggregeren punten om reeksen te benaderen. Dit laat complexe, realistische scenario's buiten beschouwing, zoals multi-granulaire anomalieën (punt, reeks, variabele) en onregelmatige tijdreeksen (met ontbrekende data).
2. Input-modaliteit: De meeste studies behandelen tijdreeksdata puur als tekst (numerieke waarden), terwijl mensen anomalieën vaak detecteren door een combinatie van visualisatie (grafieken) en tekstuele beschrijving.

De kernvraag van het onderzoek is: Kunnen multimodale LLMs tijdreeks-anomaliedetectie uitvoeren, en hoe presteren ze in vergelijking met traditionele methoden in diverse scenario's?

Methodologie

Om deze vraag te beantwoorden, stellen de auteurs twee hoofdcomponenten voor: een nieuw benchmark en een nieuw multi-agent framework.

1. VisualTimeAnomaly Benchmark

De auteurs hebben een configureerbaar benchmark ontwikkeld om de zero-shot capaciteiten van MLLMs systematisch te evalueren.

• Data-conversie: Numerieke tijdreeksdata wordt omgezet in afbeeldingen (Time Series Images - TSIs).
• Anomalie-definities: Het benchmark dekt vier granulariteiten:
  • Punt-anomalieën: Enkele afwijkende datapunten (globaal of contextueel).
  • Reeks-anomalieën: Afwijkende subreeksen (seizoensgebonden, trend, of vormveranderingen).
  • Variabele-anomalieën: Hele variabelen in multivariate reeksen die afwijken van de rest.
  • Onregelmatige anomalieën: Data met willekeurige ontbrekende steekproeven (simulatie van real-world storingen).
• Modi: Het onderzoek vergelijkt drie input-modaliteiten: tekst (numerieke reeksen), afbeelding (grafieken), en een hybride combinatie (tekst + afbeelding).
• Modellen: Er worden zowel gesloten (GPT-4o, Gemini-1.5) als open-source (LLaVA-NeXT, Qwen2-VL) MLLMs getest, vergeleken met traditionele methoden (iForest, OCSVM, TranAD, etc.).

2. TSAD-Agents Framework

Gebaseerd op de bevindingen uit de benchmark, introduceren de auteurs TSAD-Agents, een multi-agent systeem dat de sterke punten van traditionele methoden en MLLMs combineert. Het systeem bestaat uit vier agenten die samenwerken via een gedeeld dynamisch geheugen:

1. Scanning Agent: Gebruikt een "Chain-of-Scanning" (CoS) techniek om eerst te bepalen of de data regelmatig of onregelmatig is en of de anomalie een punt of een reeks is.
2. Planning Agent: Ontwikkelt een strategie op basis van de scan-resultaten. Bijvoorbeeld: gebruik traditionele methoden voor punt-anomalieën (tekst-modus) en MLLMs voor reeks-anomalieën (beeld-modus).
3. Detection Agent: Voert de daadwerkelijke detectie uit door de juiste tools aan te roepen (traditionele algoritmen of MLLMs).
4. Checking Agent: Voert zelfreflectie uit. Het plottet de voorspelling visueel, evalueert of de voorspelling te breed of te smal is, en verfijnt het resultaat om false positives/negatives te verminderen.

Belangrijkste Bevindingen en Resultaten

De studie levert drie cruciale inzichten op:

1. Complementariteit van methoden:

   • MLLMs excelleren bij grofkorrelige (coarse-grained) anomalieën (reeks- en variabele-anomalieën). Ze zijn zeer gevoelig voor kwalitatieve patronen in afbeeldingen.
   • Traditionele methoden zijn superieur bij fijnkorrelige (fine-grained) anomalieën (punt-anomalieën), waar ze nauwkeuriger zijn in het detecteren van kleine numerieke afwijkingen.
   • Resultaat: MLLMs behalen een F1-score van ~63% voor variabele-anomalieën, maar slechts ~4% voor punt-anomalieën (in zero-shot settings).

2. Robuustheid tegen onregelmatigheid:

   • MLLMs zijn uitzonderlijk robuust tegen onregelmatige tijdreeksen (met tot 25% ontbrekende data).
   • Traditionele methoden presteren slecht bij onregelmatige data omdat ze vaak imputatie (invullen van ontbrekende waarden) vereisen, wat de structuur van de data kan vervormen. MLLMs zien ontbrekende data als "lege ruimte" in een afbeelding en behouden de globale structuur (trend/vorm) beter.

3. Invloed van input-modaliteit:

   • Tekst: Benadrukt kwantitatieve variaties, maar leidt bij lange reeksen vaak tot hallucinatie (het genereren van ongefundeerde getallen) en is minder effectief voor patroonherkenning.
   • Afbeelding: Verschuift de focus naar kwalitatieve patronen. Dit vermindert hallucinaties aanzienlijk (tot 76% minder bij sommige modellen) omdat de inputlengte korter is en de visuele structuur duidelijker is.
   • Hybride: Werkt het beste voor punt-anomalieën, maar voor reeks- en variabele-anomalieën is de beeld-modus vaak superieur.

TSAD-Agents Prestaties:
Het voorgestelde framework overtreft zowel traditionele methoden als bestaande LLM-benchmarks (zoals Prompting, LLMAD, SIGLLM) consistent. Het combineert de precisie van traditionele methoden voor punten met de flexibiliteit van MLLMs voor reeksen en onregelmatige data, zonder dat menselijke voorafgaande aannames over het type anomalie nodig zijn.

Significantie en Bijdragen

• Eerste Benchmark: VisualTimeAnomaly is een van de eerste benchmarks die specifiek is ontworpen voor multimodale TSAD, inclusief onregelmatige data en multi-granulaire anomalieën.
• Inzicht in MLLM-gedrag: Het onderzoek onthult dat het converteren van tijdreeksdata van tekst naar afbeelding de aard van de analyse verandert van kwantitatief naar kwalitatief, wat hallucinaties reduceert en patroonherkenning verbetert.
• Nieuwe Architectuur: TSAD-Agents is het eerste multi-agent systeem dat MLLMs gebruikt voor automatische TSAD. Het toont aan dat het combineren van "reasoning", "planning", "tool-use" en "self-reflection" in MLLMs leidt tot een robuust en adaptief detectiesysteem.
• Praktische Toepassing: De bevindingen bieden een blauwdruk voor het bouwen van AIOps-systemen die beter kunnen omgaan met de complexiteit en imperfecties van real-world data (zoals ontbrekende sensorwaarden in IoT-systemen).

Kortom, het artikel concludeert dat multimodale LLMs zeer effectief zijn voor tijdreeks-anomaliedetectie, mits ze worden ingezet op de juiste granulariteit (vooral voor patronen en reeksen) en in combinatie met traditionele methoden voor fijne details, binnen een intelligent agentisch framework.