TimeSliver : Symbolic-Linear Decomposition for Explainable Time Series Classification

Dit paper introduceert TimeSliver, een nieuw interpreteerbaar deep learning-framework dat door het combineren van ruwe tijdsreeksdata met symbolische abstractie de bijdrage van elke tijdssegment aan de voorspelling lineair encodeert, waardoor het zowel de interpretatieverbetering als de voorspellende prestaties van bestaande methoden voor tijdsreeksclassificatie overtreft.

De kern

TimeSliver: De "Tijdschijf" die Zegt Waarom een Computer een Voorspelling Doet

Stel je voor dat je een slimme computer hebt die kan voorspellen of iemand ziek is, of of een machine gaat stuk, puur door naar een lange lijn van meetgegevens te kijken (zoals een hartslaglijn of trillingen van een motor). Deze computers zijn vaak heel goed in het voorspellen, maar ze zijn ook een beetje als een zwarte doos: ze geven het juiste antwoord, maar ze vertellen je niet waarom. Ze zeggen: "Ik denk dat dit een gebroken motor is," maar ze wijzen niet aan welk stukje van de lijn hen dat heeft laten denken.

Dat is het probleem waar TimeSliver voor oplost. Het is een nieuwe manier om deze computers niet alleen slim te maken, maar ook begrijpelijk.

Hier is hoe het werkt, uitgelegd met een paar simpele analogieën:

1. Het Probleem: De "Zwarte Doos" en de Verkeerde Hulpjes

Vroeger probeerden wetenschappers de beslissingen van computers te verklaren door te kijken naar de "gradiënten" (een wiskundige manier om te kijken welke knop je moet indrukken). Maar dat was als proberen de smaak van een cake te begrijpen door alleen naar het meel te kijken, terwijl je de suiker en het ei vergeten bent. Het werkte niet goed, vooral niet als je naar lange rijen data keek.

Andere methoden keken naar "aandacht" (zoals in een Transformer-model), alsof je zegt: "Kijk, de computer keek hier naar!" Maar vaak was dat een valstrik. De computer keek misschien wel naar die plek, maar dat betekende niet dat die plek belangrijk was voor het antwoord.

2. De Oplossing: TimeSliver (De "Tijdschijf")

TimeSliver is een nieuwe methode die twee dingen combineert om de waarheid te vinden:

1. De ruwe data: De echte, ruwe meetwaarden (bijvoorbeeld de trillingen van de motor).
2. De symbolische data: Een vereenvoudigde versie van die data, alsof je de ruwe lijn omzet in een reeks simpele symbolen (bijvoorbeeld: "hoog", "laag", "stabiel").

De Analogie: Het Maken van een Mozaïek
Stel je voor dat je een lange foto van een landschap hebt (de tijdreeks).

• Stap 1 (De Snippers): TimeSliver knipt deze lange foto in duizenden kleine, overlappende stukjes (zoals een puzzel).
• Stap 2 (De Beschrijving): Voor elk stukje maakt het twee versies:
  • Versie A: De echte foto (de ruwe data).
  • Versie B: Een schets of een tekening die beschrijft wat er te zien is (de symbolische data, bijvoorbeeld "hier is een berg", "hier is water").
• Stap 3 (De Mix): De computer kijkt nu naar elk stukje en zegt: "Hoe vaak komt dit specifieke patroon (de schets) voor in dit stukje van de foto, en hoe zwaar weegt dat mee voor de uiteindelijke conclusie?"

3. Het Magische Moment: De "Tijdschijf"

Hier komt de echte genialiteit. TimeSliver berekent voor elk moment in de tijd een score.

• Positieve score: "Dit stukje tijd hielp de computer om te zeggen: 'Ja, dit is een gebroken motor'."
• Negatieve score: "Dit stukje tijd hielp de computer om te zeggen: 'Nee, dit is geen gebroken motor'."

De Metapher: De Jury
Stel je een rechtszaak voor. De computer is de jury die moet beslissen of de verdachte schuldig is.

• Bij oude methoden wist je niet welk getuigenis de jury het meest overtuigde.
• Met TimeSliver krijg je een lijstje van elke getuige (elk tijdstip). Je ziet precies: "Getuige op minuut 3 was heel overtuigend voor schuld (positief)", maar "Getuige op minuut 10 was heel overtuigend voor onschuld (negatief)".

4. Waarom is dit zo goed?

De auteurs hebben TimeSliver getest op veel verschillende dingen:

• Medische data: Om te zien welke delen van een hersenscan of hartslaglijn belangrijk zijn voor een diagnose.
• Machineonderhoud: Om te zien precies wanneer een machine begon te trillen voordat hij stukging.
• Geluid: Om te herkennen welk dier in een geluidsopname zit.

Het resultaat? TimeSliver is 11% beter dan de beste oude methoden om te zeggen waarom de computer een beslissing nam. En het beste van alles: het is bijna net zo goed in het voorspellen zelf als de allerbeste, maar niet-uitlegbare modellen.

Samenvatting in één zin

TimeSliver is als een super-slimme vertaler die niet alleen het antwoord van een computer geeft, maar ook een kleurrijke kaart maakt die precies laat zien welke momenten in de tijd de computer hebben overtuigd, en welke momenten juist tegenwerkten. Het maakt de "zwarte doos" transparant en betrouwbaar.

Technische samenvatting

Probleemstelling

Dieplerningsmodellen (zoals CNNs, LSTMs en Transformers) presteren uitstekend bij tijdreeksclassificatie, maar zijn vaak "black boxes" zonder inzicht in hun besluitvormingsproces. Bestaande post-hoc verklarende methoden (zoals Grad-CAM, Integrated Gradients, SHAP) hebben aanzienlijke beperkingen:

• Ze zijn gevoelig voor de keuze van een referentiestaat (baseline).
• Ze behandelen tijdstippen vaak onafhankelijk en negeren sequentiële afhankelijkheden.
• Ze generaliseren slecht over verschillende tijdreeksdatasets.
• Methoden die gebruikmaken van zelf-attentie (attention weights) in Transformers leveren vaak onbetrouwbare (unfaithful) maatstaven voor tijdelijk belang op vanwege de niet-lineariteiten in het model.

Er is een dringende behoefte aan een model dat niet alleen hoge voorspellende nauwkeurigheid biedt, maar ook inherent interpreteerbaar is, met name voor het toewijzen van positieve en negatieve bijdragen aan specifieke tijdssegmenten in multivariate tijdreeksen.

Methodologie: TimeSliver

TimeSliver is een nieuw deep learning-framework dat ruwe tijdreeksdata combineert met een symbolische abstractie om een representatie te construeren die de oorspronkelijke temporele structuur behoudt en lineair encodeert. Het model bestaat uit drie kernmodules:

1. Module I: Latente Representatie van Tijdssegmenten

   • De invoer (univariate of multivariate) wordt opgedeeld in overlappende tijdssegmenten.
   • Een 1D-convolutie (CNN) leert een compacte, latente vectorrepresentatie ($Q$) voor elk segment. Dit vangt lokale temporele patronen in.

2. Module II: Symbolische Samenstellingsgebaseerde Representatie

   • De ruwe invoer wordt onafhankelijk per variabele gediskretiseerd in categorische "bins" (bijv. via binning-strategieën).
   • Deze symbolische waarden worden omgezet in een one-hot encoded matrix en vervolgens gepooled (gemiddeld) over de tijdssegmenten.
   • Dit resulteert in een symbolische samenstellingsmatrix ($Z$), waarbij elke rij de verdeling van symbolische patronen binnen een specifiek segment weergeeft.
   • Belangrijk: Deze symbolische aanpak zorgt voor schaal-invariantie, waardoor attributie niet wordt beïnvloed door de absolute grootte van de invoer, maar alleen door het patroon.

3. Module III: Globale Interactie en Lineaire Composities

   • De kerninnovatie is de lineaire interactie tussen de symbolische matrix $Z$ en de latente matrix $Q$.
   • Er wordt een interactiematrix $P$ berekend als $P = Z^\top Q$. Deze matrix vat de globale, lineaire relaties tussen symbolische patronen en latente features samen.
   • De grootte van $P$ is onafhankelijk van de lengte van de tijdsreeks, wat leidt tot een efficiënter model met minder trainbare parameters.
   • Voor taken die strikte temporele volgorde vereisen, kunnen positiële encodings worden toegevoegd aan Module I.

Berekening van Attributie:
Het model gebruikt een niet-parametrische functie ($f_{att}$) om op basis van de geoptimaliseerde parameters en de matrix $P$ attributiescores te berekenen. Omdat de laatste laag een lineaire projectie is, kunnen de bijdragen van elk tijdssegment ($k$) worden ontbonden in:

• Positieve attributie ($\phi^+$): Segmenten die de voorspelling naar de voorspelde klasse duwen.
• Negatieve attributie ($\phi^-$): Segmenten die de voorspelling van de klasse afduwen.
  Dit wordt gedaan door de gradientrichting te analyseren en de bijdragen te scheiden via ReLU-operaties, waarbij rekening wordt gehouden met de symbolische frequentie en de latente waarde.

Belangrijkste Bijdragen

1. Nieuw Framework: TimeSliver introduceert een "explainability-driven" deep learning architectuur die symbolische en latente representaties lineair combineert voor multivariate tijdreeksclassificatie (TSC).
2. Positieve en Negatieve Attributie: Het model levert niet alleen een "belangrijke" score, maar onderscheidt expliciet tussen tijdstippen die de voorspelling ondersteunen en diegene die deze ondermijnen.
3. Schaal-invariantie: Door gebruik te maken van symbolische discretisatie in plaats van ruwe waarden, zijn de attributies robuust tegen schaalveranderingen in de invoerdata.
4. Uitgebreide Evaluatie: Het model is getest op 7 diverse datasets (synthetisch en real-world) en 26 datasets uit de UEA-benchmark.

Resultaten

• Verklaring (Explainability):
  • Op 7 synthetische en real-world datasets (audio, slaapstadien, machinefoutdiagnose) presteerde TimeSliver 11% beter dan de beste bestaande methoden (zoals Grad-CAM, DeepLift, TimeX++) gemeten aan de hand van de AUPRC (Area Under Precision-Recall Curve) voor positieve attributie.
  • Bij het identificeren van negatief bijdragende segmenten (waar het masker van de data de voorspelling verbetert) overtrof TimeSliver de concurrenten met een gemiddelde toename van 60% in de logit-waarde ten opzichte van de beste baseline.
• Voorspellende Prestaties:
  • TimeSliver behaalde een voorspellende nauwkeurigheid die binnen 2% ligt van de state-of-the-art baselines op 26 multivariate tijdreeksclassificatietaken uit de UEA-benchmark.
  • Het model presteerde bijzonder goed op datasets met lange sequenties (>1000 tijdstippen) en elektrische biosignalen.
• Efficiëntie:
  • Het model is computationally efficient, met een GFLOP-aantal dat 5-10 keer lager is dan dat van Transformers, terwijl het vergelijkbare prestaties levert.

Betekenis en Impact

TimeSliver adresseert een cruciale lacune in het veld van tijdreeksanalyse: de balans tussen hoge voorspellende kracht en volledige transparantie.

• Vertrouwen en Compliance: Door het bieden van betrouwbare, lineaire attributiescores, maakt TimeSliver het mogelijk om modellen in hoog-risico domeinen (zoals gezondheidszorg, finance en juridische toepassingen) te vertrouwen en te auditeren.
• Wetenschappelijke Inzicht: Het vermogen om zowel positieve als negatieve factoren te identificeren helpt onderzoekers om nieuwe kennis te extraheren (bijv. welke specifieke slaapfasen of machinevibraties leiden tot een diagnose).
• Generaliseerbaarheid: De methode is niet beperkt tot univariate data en werkt effectief op complexe multivariate datasets, wat een grote stap voorwaarts is ten opzichte van eerdere symbolische methoden die vaak beperkt waren tot univariate of categorische data (zoals eiwitsequenties).

Kortom, TimeSliver biedt een robuust, schaalbaar en inherent interpreteerbaar alternatief voor de huidige "black box" benaderingen in tijdreeksclassificatie.