🤖 AI

Visual Reasoning over Time Series via Multi-Agent System

Het artikel introduceert MAS4TS, een door tools gedreven multi-agent systeem dat visuele redenering, latente reconstructie en adaptief toolgebruik integreert om state-of-the-art prestaties en sterke generalisatie over diverse tijdreeks-taken te bereiken.

Oorspronkelijke auteurs: Weilin Ruan, Yuxuan Liang

Gepubliceerd 2026-02-04

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Weilin Ruan, Yuxuan Liang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je de toekomst van een complex systeem probeert te voorspellen, zoals het weer, de aandelenmarkt of de hartslag van een patiënt. Traditioneel hebben computers geprobeerd dit te doen door berekeningen uit te voeren in een gigantisch, onzichtbaar spreadsheet. Ze kijken naar de ruwe datapunten en proberen patronen te vinden, maar ze hebben vaak moeite om het "grote plaatje" te zien, zoals een plotselinge stormfront of een vreemde piek in de data.

Het artikel introduceert MAS4TS, een nieuwe manier om deze problemen op te lossen. Denk aan MAS4TS niet als één enkele supercomputer, maar als een zeer georganiseerd team van drie specialisten die samenwerken in een kantoor. In plaats van één persoon die alles probeert te doen, verdelen zij het werk om slimmer en sneller te zijn.

Hier is hoe dit team werkt, met behulp van een eenvoudige analogie:

De Drie Specialisten (De Agents)

Stel je een team voor dat de opdracht heeft om het pad van een achtbaan te voorspellen op basis van een video van het verloop tot nu toe.

De Analist (De Data-administrateur):
- Wat zij doen: Deze agent kijkt naar de ruwe cijfers en de videobeelden. Het probeert nog niet de toekomst te raden. In plaats daarvan organiseert het simpelweg de feiten. Het berekent de gemiddelde snelheid, vindt de hoogste en laagste punten en ruimt rommelige data op (zoals ontbrekende frames).
- De Metafoor: Denk aan hen als de bibliothecaris die de boeken ordent en de belangrijkste hoofdstukken markeert voordat iemand begint met lezen.
De Redeneerder (De Intuïtieve Kunstenaar):
- Wat zij doen: Dit is het meest unieke deel van het systeem. In plaats van alleen naar cijfers te kijken, kijkt deze agent naar de visuele grafiek (de plot) van de data. Het gebruikt een speciaal "Vision-Language Model" (zoals een slimme AI die kan zien en lezen) om naar de grafiek te kijken en te zeggen: "Hé, ik zie hier een scherpe piek, en de lijn begint naar beneden te buigen."
- De Metafoor: Stel je een menselijke kunstenaar voor die naar een schets van een achtbaan kijkt. Ze zien niet alleen stippen; ze zien de vorm en de flow. Ze pikken belangrijke "ankers" uit (zoals de top van een heuvel of de bodem van een dal) en zeggen: "Het spoor moet wel door deze punten gaan." Ze vertalen deze visuele observaties naar een set regels voor de volgende persoon.
De Uitvoerder (De Gereedschapskist-monteur):
* Wat zij doen: Deze agent neemt de regels van de Redeneerder en de feiten van de Analist. Het gebruikt niet slechts één methode om het probleem op te lossen. In plaats daarvan heeft het een gereedschapskist vol met verschillende "gereedschappen" (zoals een moersleutel, een schroevendraaier of een rekenmachine). Afhankelijk van de specifieke taak kiest het de juiste keten van gereedschappen om het uiteindelijke antwoord te bouwen.
* De Metafoor: Als het probleem een lekke band is, pakt de monteur een krik en een moersleutel. Als het een kapotte motor is, pakt hij een andere set gereedschappen. De Uitvoerder weet precies welke "gereedschapsketen" te gebruiken voor voorspelling, classificatie of het herstellen van ontbrekende gegevens.

Hoe zij met elkaar communiceren

Deze drie werken niet in isolatie. Ze delen een gemeenschappelijk whiteboard (Gedeeld Geheugen).

De Analist schrijft de statistieken op het bord.
De Redeneerder tekent de visuele "ankers" op het bord.
De Uitvoerder kijkt naar het bord, kiest de juiste gereedschappen en schrijft de uiteindelijke voorspelling op.
Als de Uitvoerder een fout maakt, controleert een Verifier (een kwaliteitscontroleur) het werk aan de hand van de regels op het bord om er zeker van te zijn dat het logisch is voordat het wordt verzonden.

Waarom is dit beter?

Het artikel stelt dat eerdere methoden waren alsof je een puzzel probeerde op te lossen door alleen naar de kleur van de stukjes te kijken, terwijl je de afbeelding op de doos negeert.

Oude manier: "Ik zie een 5, dan een 6, dan een 7. Ik gok dat de volgende een 8 is." (Dit faalt als het patroon plotseling verandert).
MAS4TS-manier: "Ik zie dat de lijn omhoog gaat, maar hij raakt een muur (visueel anker). Dus, zelfs als de cijfers zeggen dat hij moet blijven stijgen, vertelt de vorm mij dat hij zal afvlakken."

Wat hebben ze bewezen?

De auteurs hebben dit team getest op vier hoofdvormen van tijdreeks-problemen:

Forecasting (Voorspelling): Toekomstige waarden voorspellen (zoals de temperatuur van morgen).
Classification (Classificatie): Data in categorieën sorteren (zoals "is dit een normale hartslag of een onregelmatige?").
Imputation (Imputatie): Ontbrekende data invullen (zoals een gat in een opname repareren).
Anomaly Detection (Afwijkingsdetectie): Opvallende uitschieters opsporen (zoals een plotselinge piek in serververkeer).

Het resultaat: Het team (MAS4TS) versloeg bijna elke andere methode die ze hebben getest. Het was nauwkeuriger, ging beter om met ontbrekende gegevens en was verrassend efficiënt omdat het geen enorme hersenen opnieuw hoefde te trainen voor elke nieuwe taak. Het wisselt simpelweg de juiste gereedschappen uit zijn gereedschapskist.

In een notendop

MAS4TS is een systeem dat menselijke visuele intuïtie (kijken naar de grafiek) combineert met precieze wiskundige instrumenten om tijdreeks-problemen op te lossen. Door de taak onder te verdelen in een team van specialisten die aantekeningen met elkaar delen en de juiste gereedschappen kiezen voor de klus, creëert het een slimmere, flexibelere en nauwkeurigere manier om data in de loop van de tijd te begrijpen.

Technische Samenvatting: Visuele Redenering over Tijdreeksen via Multi-Agent Systemen (MAS4TS)

1. Probleemstelling

Tijdreeksanalyse is fundamenteel voor domeinen zoals energie, transport en gezondheidszorg, maar huidige benaderingen kampen met twee primaire conceptuele hiaten:

Van Representatieleer naar Structurele Redenering: Bestaande methoden, inclusief deep learning-modellen en recente visueel versterkte benaderingen, opereren vaak in numerieke of latente embedding-ruimtes waar morfologische patronen impliciet blijven. Hoewel sommige methoden tijdreeksen omzetten naar afbeeldingen, gebruiken ze visuele representaties primair voor representatieleer in plaats van het inzetten van Vision-Language Models (VLM's) om directe, intuïtieve structurele redenering op plots uit te voeren (bijv. het identificeren van trends, regimeverschuivingen en structurele transities) zoals menselijke analisten dat doen.
Van Taakspecifieke Modellen naar Tool-gestuurde Executie: Huidige paradigma's behandelen forecasting, classificatie, imputatie en anomaliedetectie doorgaans als geïsoleerde problemen die taakspecifieke koppen en vaste inferentie-pipelines vereisen. Dit beperkt het vermogen van vooraf getrainde modellen om te fungeren als algemene, taakadaptieve oplossers en noodzaakt multiplicatieve schaalingskosten voor verschillende taken.

De auteurs stellen dat de bottleneck in tijdreeksintelligentie ligt in structurele redenering in plaats van representatieleer, wat een paradigmaverschuiving vereist naar het verenigen van taken via visuele redenering, terwijl adaptieve, tool-gestuurde executie mogelijk wordt gemaakt.

2. Methodologie: MAS4TS-framework

De auteurs stellen MAS4TS voor, het eerste tool-gestuurde Multi-Agent Systeem voor algemene tijdreeksanalyse. Het werkt volgens een Analyzer–Reasoner–Executor paradigma, waarbij tijdreeksanalyse wordt gedecomposeerd in complementaire rollen die worden gecoördineerd via gedeeld geheugen en gefilterde communicatie.

2.1 Multi-Agent Collaboratie

Het systeem verwerkt data via drie gespecialiseerde agenten:

Analyzer: Extraheert statistische kenmerken ( $F_{stat}$ ) en genereert een taakbewuste plot-afbeeldingsrepresentatie ( $I$ ) vanuit de ruwe data. Het produceert ook gestructureerde priors ( $P$ ), inclusief semantische beschrijvingen en statistische samenvattingen.
Reasoner: Overbrugt intuïtieve visuele patroonherkenning en precieze numerieke inferentie. Het opereert in twee opeenvolgende stadia:
1. Visuele Redenering: Gebruikt een VLM om hoogwaardige patroonherkenning uit te voeren direct op plot-afbeeldingen ( $I$ ) en gestructureerde priors ( $P$ ). De VLM produceert spaarzame maar informatieve visuele ankers ( $A$ ), gedefinieerd als tupels van kritieke tijdindices ( $t_k$ ), geschatte waarden ( $v_k$ ) en temporele gedragsindicatoren ( $\tau_k$ , bijv. stijgend/dalend/stabiel).
2. Latente Constructie: Behandelt de spaarzame ankers als conditioneringssignalen om de reconstructie van een continue latente traject in een latente ruimte te leiden. Dit wordt gemodelleerd als een continue-tijd latente staat $z(t)$ die wordt beheerst door een leerbare dynamische functie $f_\phi$ , geconditioneerd op $A$ en $P$ . Een latent ODE-solver met een eindig aantal stappen reconstrueert dichte, temporeel coherente sequenties die zowel de geobserveerde als de voorspelde horizon dekken.
3. Latente Fusie: Het gereconstrueerde latente traject wordt gefuseerd met de originele data-embedding via gated attention om een verenigde, semantisch gegronde latente representatie ( $Z$ ) te vormen.
Executor: Converteert de latente representatie naar taakspecifieke outputs via adaptief toolgebruik. Het componeert dynamisch een keten van tools uit een vooraf gedefinieerde bibliotheek (bijv. trendextrapolatie, decompositie, smoothing, statistische voorspelling) op basis van een routingbeleid $\pi_\Theta$ . Een lichtgewicht Result Verifier waarborgt de numerieke validiteit en taakconsistentie, door schendingen van door ankers geïmpliceerde grenzen te corrigeren of schema-consistentie af te dwingen.

2.2 Optimalisatie en Efficiëntie

MAS4TS maakt gebruik van een selectieve trainingsstrategie. Statische preprocessing, VLM prompting/inferentie en geselecteerde tools worden training-vrij gehouden. Optimalisatie richt zich alleen op coördinatie-kritieke componenten: embedding/communicatiefuncties, gedeelde geheugenrepresentaties en gating/routingparameters. Dit stelt het systeem in staat om krachtige foundation models te benutten zonder de computationele overhead van het finetunen ervan voor elke taak.

3. Belangrijkste Bijdragen

MAS4TS-framework: De voorstel van het eerste tool-gestuurde multi-agent systeem voor algemene tijdreeksanalyse, waarbij een Analyzer–Reasoner–Executor paradigma wordt vastgesteld voor taakadaptieve modellering.
Intuïtieve Visuele Redenering: De introductie van een methode die VLM's gebruikt om visuele ankers te extraheren uit plots en priors, waardoor deze worden getransformeerd naar numerieke restricties voor latente trajectreconstructie, waarmee de verschuiving plaatsvindt van impliciete representatieleer naar expliciete structurele redenering.
Verenigde Prestaties: Uitgebreide experimenten die superieure prestaties aantonen over forecasting, classificatie, imputatie en anomaliedetectie taken, waarbij state-of-the-art resultaten worden behaald op meerdere benchmarks terwijl sterke generalisatie en efficiënte inferentie behouden blijven.

4. Experimentele Resultaten

De auteurs evalueerden MAS4TS op 21 veelgebruikte datasets over vier taken, waarbij het werd vergeleken met meer dan 20 baselines, waaronder taakspecifieke modellen (bijv. PatchTST, iTransformer) en vooraf getrainde LM-gebaseerde methoden (bijv. TimeVLM, UniTime).

Forecasting: Op long-term forecasting benchmarks (ETT, Weather, Solar-Energy, Exchange) behaalde MAS4TS concurrerende of superieure prestaties. Op de Weather dataset behaalde het bijvoorbeeld een gemiddelde MSE van 0,232, waarmee het MAFS en TimeVLM met respectievelijk 7,9% en 11,5% versloeg. Het toonde robuustheid in het vangen van abrupte trendveranderingen op de Exchange dataset.
Classificatie: Op 8 UEA multivariate tijdreeksdatasets behaalde MAS4TS de hoogste gemiddelde nauwkeurigheid (68,25%), waarmee het iTransformer (65,16%) en DLinear (64,85%) versloeg.
Imputatie: MAS4TS behaalde state-of-the-art prestaties over alle mask-ratio's (12,5% tot 50%). Op ETTm2 met een ontbrekende ratio van 50% verminderde het de MSE met 34,8% vergeleken met de op één na beste methode (LightTS), wat de effectiviteit van anchor-geconstreerde voltooiing onder ernstige datacorruptie valideert.
Anomaliedetectie: Op vijf server- en infrastructuurmonitoring benchmarks behaalde MAS4TS de hoogste gemiddelde F1-score (84,78%), een verbetering ten opzichte van ETSformer en iTransformer. De visuele redeneringscomponent bleek bijzonder waardevol voor het vooraf lokaliseren van verdachte regio's.
Efficiëntie: Ondanks de integratie van een multi-agent workflow met foundation models, behoudt MAS4TS een compacte backbone (5,38M trainbare parameters) en extreem laag piek GPU-geheugen (0,05 GB), orden van grootte kleiner dan LM-gebaseerde baselines die vaak meer dan 100M parameters hebben en meerdere GB's aan geheugen verbruiken.

5. Betekenis en Claims

Het artikel claimt dat MAS4TS de beperkingen van bestaande tijdreeksmethoden aanpakt door diverse taken te verenigen via een gedeeld structureel redeneringsprotocol. Door structurele redenering, continue latente reconstructie en tool-geïntegreerde executie expliciet te scheiden, bereikt het systeem:

Adaptiviteit: Het vermogen om heterogene tijdreeks-workloads en taakeisen aan te pakken via adaptieve tool-orchestratie.
Interpreteerbaarheid: Het gebruik van visuele ankers en verifier-checks biedt inspecteerbare tussenliggende artefacten, waardoor het redeneerproces transparanter wordt.
Efficiëntie: De selectieve training van coördinatiecomponenten stelt het systeem in staat om de generalisatiecapaciteiten van foundation models te benutten zonder de prohibitieve kosten van volledige fine-tuning.

De auteurs concluderen dat de bottleneck van tijdreeksintelligentie in structurele redenering ligt, en dat MAS4TS een paradigmaverschuiving biedt naar het verenigen van taken door visuele redenering terwijl adaptieve tool-gestuurde executie mogelijk wordt gemaakt. Ze erkennen beperkingen met betrekking tot de afhankelijkheid van onderliggende foundation models voor robuustheid onder distributieverschuivingen en potentiële communicatie-overhead in complexe multivariate scenario's, en suggereren toekomstig werk om de tool-bibliotheek te verrijken en agent-vaardigheden te verfijnen.