Grammar of the Wave: Towards Explainable Multivariate Time Series Event Detection via Neuro-Symbolic VLM Agents

Deze paper introduceert een neuro-symbolisch VLM-agentkader dat gebruikmaakt van een Event Logic Tree (ELT) om semantische beschrijvingen van gebeurtenissen in meervariabele tijdreeksen te koppelen aan specifieke tijdsintervallen, waardoor nauwkeurige detectie en uitlegbaarheid worden bereikt met weinig tot geen trainingsdata.

De kern

Stel je voor dat je een enorme, onafgebroken filmrol bekijkt van een olieveld in de Noordzee. Op die filmrol zie je lijnen die omhoog en omlaag gaan: de druk in de grond, de hoeveelheid vloeistof, temperatuur, enzovoort. Voor een mens is het lastig om te zien waar precies een belangrijk moment plaatsvindt, zoals een lekkage of een succesvolle test, omdat er duizenden lijnen door elkaar lopen.

Vroeger probeerden computers dit te leren door duizenden voorbeelden te bekijken (zoals een kind dat duizenden foto's van een hond moet zien om een hond te herkennen). Maar in de echte wereld, zoals bij oliewells, zijn er vaak geen duizenden voorbeelden. En als de computer wel iets vindt, zegt hij vaak: "Ik denk dat het hier is," zonder te kunnen uitleggen waarom. Dat is gevaarlijk als het om veiligheid gaat.

De auteurs van dit papier hebben een slimme nieuwe manier bedacht om dit op te lossen. Ze noemen het SELA. Hier is hoe het werkt, vertaald naar alledaags taal:

1. Het Probleem: De "Gokker" vs. de "Detective"

Stel je voor dat je een computer vraagt: "Zoek de plek waar de druk plotseling stijgt en dan stabiel blijft."

• De oude manier (Inductief): Je geeft de computer 1000 voorbeelden van stijgende druk. Hij leert het patroon uit het hoofd. Maar als je hem een nieuwe situatie geeft die er net anders uitziet, raakt hij in de war. En als hij een fout maakt, kun je niet vragen: "Waarom dacht je dat?"
• De nieuwe manier (Deductief): Je geeft de computer geen voorbeelden, maar een recept of een verhaal. Je zegt: "Kijk, een 'lek' ziet er zo uit: eerst daalt de druk, en tegelijkertijd stijgt de hoeveelheid vloeistof."

2. De Oplossing: De "Logische Boom" (Event Logic Tree)

Om dit recept te begrijpen, gebruiken ze iets dat ze een Event Logic Tree (ELT) noemen.

• De Analogie: Denk aan een recept voor een taart.
  • Je hebt ingrediënten (de basis: "drukkie stijgt", "temperatuur daalt").
  • Je hebt instructies hoe je ze combineert: "Doe eerst de eieren in de kom, en dan de bloem" (volgorde), of "Meng de suiker en de boter tegelijkertijd" (synchronisatie).
• In plaats van een computer te laten gissen, bouwen ze een boomstructuur van deze instructies. De boom vertelt de computer precies welke stukjes van de film (de tijdreeks) bij welk woord in het recept horen.

3. De Teamwerkers: De "Logica-Analist" en de "Signalen-Inspecteur"

Het systeem SELA werkt met twee soorten AI-agenten die samenwerken, alsof het een detective-team is:

• De Logica-Analist (De Vertaler):
  Deze agent leest het menselijke verhaal ("De druk moet stabiel blijven terwijl de temperatuur stijgt") en zet het om in de strakke "boomstructuur" (de ELT). Hij zorgt dat de regels logisch kloppen.
• De Signalen-Inspecteur (De Onderzoeker):
  Deze agent kijkt naar de echte filmrollen (de data). Hij gebruikt de boom van de Analist als een zoektocht. Hij zoomt in op specifieke momenten, kijkt of de lijnen echt lijken op het recept, en zegt: "Aha! Op dit moment in de tijd past de druk precies bij het recept!"

4. Waarom is dit zo slim? (Het "Hallucineren"-Probleem)

Grote AI-modellen (zoals de modellen die dit artikel gebruikt) zijn vaak goed in praten, maar ze "hallucineren" soms. Ze kunnen zeggen: "Ik zie een lek," terwijl er geen lek is, gewoon omdat ze denken dat het logisch klinkt.

Met SELA gebeurt dit niet, omdat de Boom als een strenge controleur fungeert.

• De AI kan niet zomaar iets verzinnen. Hij moet eerst een stukje van de lijn vinden dat past bij "drukkie stijgt", en dan een ander stukje vinden dat past bij "temperatuur daalt", en dan controleren of die twee op hetzelfde moment gebeuren.
• Als de AI probeert te liegen, breekt de logica van de boom. De boom zegt dan: "Nee, dit klopt niet, want deze twee dingen gebeuren niet tegelijkertijd."

5. Het Resultaat: Beter dan mensen (bijna)

De auteurs hebben dit getest op echte data van oliewells.

• Mensen: Moeten urenlang naar lijnen staren en lezen wat er staat.
• Oude AI: Moet duizenden voorbeelden zien en faalt vaak als er weinig data is.
• SELA: Kijkt naar het recept, zoekt in de data, en vindt de gebeurtenissen bijna net zo goed als een menselijke expert, maar dan in een fractie van de tijd. En het belangrijkste: het kan uitleggen waarom het iets vond, door te wijzen op de takken van de boom die het heeft gebruikt.

Kortom:
In plaats van een computer te laten gissen op basis van herhaling, geven ze hem een logische bouwpakket (de boom) en laten we twee slimme agenten samenwerken om dat pakket te bouwen in de echte wereld. Het is alsof je iemand niet duizenden foto's van een auto toont om hem te leren een auto herkennen, maar je hem de blauwdruk van een auto geeft en zegt: "Zoek de wielen, zoek het chassis, en bouw het samen."

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "Grammar of the Wave: Towards Explainable Multivariate Time Series Event Detection via Neuro-Symbolic VLM Agents" in het Nederlands.

1. Probleemstelling: Kennis-gedreven Tijdsreeks-Eventdetectie (K-TSED)

Het paper introduceert een nieuw probleemkader genaamd Knowledge-Guided Time Series Event Detection (K-TSED).

• Uitdaging: Traditionele Time Series Event Detection (TSED) is vaak gebaseerd op inductieve patroonherkenning, wat grote hoeveelheden gelabelde data vereist. In hoog-risico domeinen (zoals energieproductie en gezondheidszorg) is het echter moeilijk en duur om dergelijke data te verzamelen.
• Beperkingen van bestaande methoden:
  • Statistische anomaliedetectie: Detecteert afwijkingen, maar mist semantische betekenis (bijv. het verschil tussen een "stijging" en een "daling" is niet duidelijk).
  • Supervisie: Vereist veel gelabelde data.
  • Uitlegbaarheid: Neuronale netwerken zijn vaak "black boxes". Experts vertrouwen resultaten niet zonder logisch onderbouwde bewijzen.
  • LLM/VLM hallucinaties: Bestaande Large Language Models (LLM) en Vision-Language Models (VLM) die op tijdreeksen worden toegepast, neigen tot hallucinaties wanneer ze proberen visuele signaalvormen te koppelen aan complexe semantische beschrijvingen.
• Doel: Het detecteren van gebeurtenissen in multivariate tijdreeksen op basis van een natuurlijke taalbeschrijving (bijv. "Tijdens de opbouw-fase moet het volume stabiel blijven terwijl de druk herstelt"), zonder trainingsdata, terwijl de output uitlegbaar en verifieerbaar is.

2. Methodologie: Het SELA Framework en Event Logic Trees

De auteurs stellen SELA (Time Series Event Logic Agents) voor, een neuro-symbolisch agent-systeem dat VLM's combineert met een strikte logische representatie.

A. Event Logic Tree (ELT)

De kern van de methode is de Event Logic Tree, een kennisrepresentatiekader dat ongestructureerde tekst vertaalt naar een boomstructuur. Dit lost drie eisen op: hiërarchische representatie, semantische kwantificering en topologische elasticiteit (onafhankelijkheid van exacte tijdsduur).

• Structuur:
  • Primitieven (Bladknopen): Atomaire signaalpatronen op één kanaal (bijv. "stijgende lijn" op kanaal 'Druk').
  • Composities (Interne knopen): Logische relaties tussen primitieven.
• Operatoren: Het systeem gebruikt vier kernoperatoren gebaseerd op Allen's intervalrelaties:
  • SEQ (Volgorde): B volgt op A.
  • SYNC (Synchroon): A en B gebeuren tegelijk.
  • GUARD (Bevatten): A valt binnen B.
  • OR (Disjunctie): A of B.
• Axioma's: Het systeem volgt strikte regels voor constructie, tijdscompactheid en fysieke exclusiviteit (één kanaal kan niet tegelijk twee tegenstrijdige toestanden hebben).
• Instantiatie: De boom wordt "geïnstancieerd" door specifieke tijdsintervallen en een semantische coherentie-score (0-1) toe te wijzen aan elke knoop, berekend via een fuzzy-logic benadering.

B. Het SELA Multi-Agent Systeem

SELA gebruikt twee gespecialiseerde agents die samenwerken via een gedeelde omgeving:

1. Logic Analyst Agent:
   • Leest de ongestructureerde tekstuele beschrijving.
   • Bouwt de ELT-schema op (definitie van primitieven en hun logische relaties).
   • Iteratief optimaliseren van het schema door visualisaties te observeren.
2. Signal Inspector Agent:
   • Examineert de daadwerkelijke multivariate tijdreeksdata.
   • Gebruikt actieve visualisatietools (zoomen, markers plaatsen) om lokale en globale signaalvormen te analyseren.
   • Instantieert de ELT-schema door tijdsintervallen te vinden die overeenkomen met de primitieven.
   • Refineert de grenzen en berekent de eindvertrouwensscore voor de globale gebeurtenis.

Het systeem werkt als een Markov Decision Process (MDP), waarbij agents handelingen uitvoeren (zoals "zoom in" of "submit schema") en feedback krijgen van de omgeving om hun redenering te verfijnen.

3. Belangrijkste Bijdragen

1. Nieuw Probleemkader (K-TSED): Formalisatie van tijdsreeks-eventdetectie als een deductieve taak gebaseerd op kennis (tekst) in plaats van inductief leren (data).
2. Event Logic Tree (ELT): Een nieuw kennisrepresentatiekader dat linguïstische beschrijvingen koppelt aan fysieke data via een boomstructuur met strikte logische operatoren, wat hallucinaties van VLM's beperkt.
3. SELA Framework: Een neuro-symbolisch agent-systeem dat VLM's gebruikt voor redenering en interactie met data, maar de logica en structuur dwingt via ELT.
4. KITE Dataset: De introductie van de eerste benchmark voor K-TSED, gebaseerd op real-world data uit de olie- en gasindustrie (druktesten in de Noordzee), met expert-annotaties en tekstuele beschrijvingen.

4. Resultaten

De methoden zijn getest op de KITE-easy en KITE-hard datasets, met vergelijkingen tegenover:

• Supervised baselines (CNN, Transformer, Timer, Moment, Chronos).
• Few-shot/Zero-shot LLM/VLM methoden (Numeric input, VL-Time).
• Menselijke datawetenschappers.

Kernbevindingen:

• Prestatie: SELA (met GPT-5 als onderliggend model) presteert aanzienlijk beter dan bestaande zero-shot/few-shot methoden en benadert de prestaties van menselijke experts.
  • Op de KITE-hard dataset bereikte SELA een F1-score van 79.31% (bij IoU 0.5) en 68.96% (bij IoU 0.9), vergeleken met ~44% voor de beste VLM-baselines zonder ELT.
• Rol van ELT: Een ablatiestudie toont aan dat zonder ELT ("w/o ELT") de prestaties van VLM's instorten, vooral bij complexe, wederzijds uitsluitende gebeurtenissen. Zonder de logische structuur raken de modellen vast in lokale patronen of hallucineren ze.
• Uitlegbaarheid: Het systeem produceert niet alleen een detectie, maar een volledige "instantiated tree" die als bewijs dient, waardoor menselijke experts de beslissing kunnen verifiëren.
• Efficiëntie: Het systeem vereist gemiddeld slechts 5.2 interactierondes (tokens) per instantiatie, vergelijkbaar met directe numerieke input methoden.

5. Betekenis en Conclusie

Dit paper markeert een verschuiving in de analyse van tijdreeksen van puur datagedreven naar kennis-gedreven en uitlegbaar.

• Domeinrelevantie: Het is cruciaal voor hoog-risico domeinen waar data schaars is en vertrouwen in AI-systemen essentieel is.
• Technologische vooruitgang: Het demonstreert dat het combineren van de redeneercapaciteiten van VLM's met strikte symbolische logica (ELT) een oplossing biedt voor het "hallucinatiemoment" van AI bij complexe visuele-tijdreeks taken.
• Toekomst: De KITE-dataset en het ELT-framework bieden een nieuwe basis voor onderzoek in explainable AI (XAI) voor tijdreeksen, waarbij menselijke expertise (in de vorm van taal) direct kan worden vertaald naar operationele detecties zonder uitgebreide training.

Samenvattend biedt SELA een robuust, uitlegbaar en data-efficiënt alternatief voor traditionele methoden, waarbij het de kloof tussen menselijke semantische beschrijvingen en complexe signaaldata overbrugt.