TSPulse: Tiny Pre-Trained Models with Disentangled Representations for Rapid Time-Series Analysis

TSPulse is een familie van ultralichte, vooraf getrainde modellen met ontkoppelde representaties die door middel van een innovatief pre-training framework en hybride masking strategie superieure zero-shot prestaties en efficiëntie biedt op diverse tijdsreeksdiagnostische taken, zelfs in vergelijking met modellen die 10 tot 100 keer groter zijn.

De kern

🌊 TSPulse: De "Zwarte Doos" die alles begrijpt zonder een supercomputer

Stel je voor dat tijdreeksdata (zoals temperatuurmetingen, beurskoersen of hartslaggegevens) een grote, rommelige bibliotheek is. In deze bibliotheek liggen boeken die op verschillende manieren geschreven zijn:

1. Tijd: De tekst zoals je hem leest (van links naar rechts).
2. Frequentie: De muziek die je hoort als je de tekst in noten omzet (de ritmes en patronen).
3. Betekenis: De samenvatting op de achterflap (wat gaat er eigenlijk gebeuren?).

De meeste bestaande AI-modellen proberen al deze informatie in één gigantisch, verward boek te proppen. Ze zijn enorm groot, traag en als je één ding wilt weten (bijvoorbeeld: "Is er een fout?"), moeten ze dat hele zware boek openen en doorzoeken. Dat werkt niet goed als je het snel wilt doen op een simpele laptop.

TSPulse is de oplossing. Het is een ultra-klein, slim model (slechts 1 miljoen parameters, heel klein vergeleken met de giganten van 100+ miljoen) dat de bibliotheek op een heel slimme manier organiseert.

🧩 Hoe werkt het? De drie losse brillen

In plaats van één grote rommelige embedding, leert TSPulse drie gescheiden (gedisentangleerde) brillen tegelijkertijd:

1. De Tijd-Bril: Kijkt naar de details. "Waar is de plotte piek?" (Handig voor het vinden van fouten).
2. De Frequentie-Bril: Kijkt naar de patronen. "Is het ritme regelmatig of chaotisch?" (Handig om te zien of iets uit de toon valt).
3. De Betekenis-Bril: Kijkt naar het grote plaatje. "Wat is de algemene sfeer?" (Handig om te zoeken naar vergelijkbare situaties, zelfs als de data wat ruw is).

De metafoor: Stel je voor dat je een auto wilt repareren.

• De oude modellen waren als een enorme, zware vrachtwagen met één gereedschapskist waar alles in gemengd zat. Je moest de hele vrachtwagen meenemen om een bout vast te draaien.
• TSPulse is als een slimme, lichte gereedschapsriem met drie losse, gespecialiseerde sleutels. Je pakt alleen de sleutel die je nodig hebt voor de klus.

🎭 De "Vermommingsspel" (Pre-training)

Om slim te worden, moet het model oefenen. Normaal gesproken laten ze AI-modellen oefenen door stukjes van een verhaal weg te halen (maskeren) en te vragen ze in te vullen.

• Het oude probleem: De meeste modellen oefenden alleen met het weghalen van grote blokken (bijv. "verwijder 8 regels tekst"). In het echte leven gaan sensoren echter vaak willekeurig stuk (soms één punt, soms een blokje). De modellen werden dus te gespecialiseerd in het invullen van grote gaten en faalden bij kleine, rare gaten.
• De TSPulse oplossing: Ze gebruiken een hybride maskering. Ze oefenen met een mix van grote gaten én kleine, willekeurige gaten.
  • Metafoor: Het is alsof je een speler traint om een raam te dichten. Oude modellen trainden alleen met grote ramen. TSPulse traint met ramen van alle maten, van een klein kiertje tot een hele gevel. Daardoor is hij klaar voor elke situatie in het echte leven.

🚀 Wat kan het allemaal?

Omdat het model zo goed is georganiseerd, kan het vier dingen fantastisch doen, zelfs zonder dat je het eerst op je eigen data moet trainen (Zero-Shot):

1. Fouten opsporen (Anomaly Detection): Het ziet direct als iets raars gebeurt, omdat de "Tijd-Bril" en "Frequentie-Bril" samenwerken. Het is 20% beter dan de beste concurrenten.
2. Ontbrekende data invullen (Imputation): Als een sensor uitvalt, vult TSPulse de gaten in alsof het niets is. Het is 50% beter dan andere modellen, zelfs bij heel rare gaten.
3. Zoeken (Similarity Search): "Zoek mij een situatie die lijkt op deze, maar dan een beetje versleten." TSPulse vindt de juiste match, zelfs als de data wat verschoven of ruwer is.
4. Classificeren: Het kan zeggen wat voor soort gebeurtenis het is (bijv. "dit is een storm, dit is een rustige dag").

⚡ Waarom is dit zo speciaal?

• Snelheid en Gewicht: Het model is zo klein dat het op een simpele CPU (de processor van je laptop) werkt, zonder dat je een dure GPU nodig hebt. Het is 10 tot 100 keer sneller dan de grote modellen.
• Efficiëntie: Het is als een sportwagen in plaats van een tank. Hij doet precies hetzelfde werk, maar verbruikt veel minder brandstof (rekenkracht).
• Flexibiliteit: Je kunt het model gebruiken voor verschillende taken door simpelweg een andere "bril" te kiezen of een klein filtertje toe te voegen.

🏁 Conclusie

TSPulse bewijst dat je niet altijd de grootste en zwaarste AI nodig hebt om slimme dingen te doen. Door de data op een slimme manier te scheiden (tijd, frequentie, betekenis) en te oefenen met realistische, willekeurige gaten, hebben de onderzoekers een lichtgewicht kampioen gecreëerd.

Het is de "zwarte doos" die eindelijk begrijpt wat er in de data zit, zonder dat je een supercomputer nodig hebt om hem aan te sturen. Perfect voor real-time toepassingen in fabrieken, ziekenhuizen of op je eigen laptop.

Technische samenvatting

1. Het Probleem

Tijdreeksanalyse (Time-Series - TS) taken, zoals anomaliedetectie, imputatie (het invullen van ontbrekende waarden), classificatie en zoekopdrachten op basis van gelijkenis, profiteren vaak van signalen die worden uitgedrukt in verschillende representatieruimten (bijv. tijdsdomein vs. frequentiedomein) en op verschillende abstractieniveaus (bijv. lokale patronen vs. globale semantiek).

Bestaande voorgeprogrammeerde (pre-trained) tijdreeksmodellen hebben echter twee belangrijke beperkingen:

1. Verstrengeling (Entanglement): Ze combineren deze heterogene signalen vaak in één enkele, grote embedding. Dit maakt het moeilijk voor downstream-taken om specifiek toegang te krijgen tot de informatie die ze nodig hebben, wat de transferability (overdraagbaarheid) en zero-shot bruikbaarheid beperkt.
2. Grootte en Complexiteit: De meeste state-of-the-art modellen zijn zeer groot (vaak 10 tot 100 keer groter dan nodig), wat real-time implementatie en inzet op CPU-only of lichtgewicht omgevingen bemoeilijkt.

2. Methodologie: TSPulse Architectuur

TSPulse introduceert een familie van ultra-lichtgewicht voorgeprogrammeerde modellen (slechts 1 miljoen parameters) die zijn ontworpen om gedesentraliseerde representaties (disentangled representations) te leren. De architectuur bestaat uit de volgende kerncomponenten:

• Dual-Space Input & Hybrid Masking:

  • Het model voert reconstructie uit in zowel het tijdsdomein als het frequentiedomein (via FFT).
  • In plaats van alleen blokmasking (hele patches maskeren), introduceert TSPulse een hybride masking-strategie. Deze combineert volledige patch-maskering met gedeeltelijke (punt-voor-punt) maskering. Dit simuleert realistischere patronen van ontbrekende data en voorkomt overfitting op vaste maskers.
  • Een uniek kenmerk is dat het maskertoken op het ruwe patch-niveau wordt gedefinieerd, waardoor flexibele maskering mogelijk is zonder informatielekken tussen domeinen.

• Gedesentraliseerde Representatie Learning:

  • Het model leert drie complementaire embedding-views tijdens het pre-training:
    1. Temporale Embeddings: Voor fijnkorrelige tijdsanalyse.
    2. Spectrale (FFT) Embeddings: Voor frequentiebewuste precisie.
    3. Semantische Embeddings: Voor hoog niveau begrip van taken (gebaseerd op "register tokens").
  • Dit wordt bereikt door een multi-output head-strategie waarbij verschillende delen van de embedding worden geoptimaliseerd met specifieke reconstructiedoelen (volledige reconstructie voor tijd/frequentie, en een "signature" head voor de semantische component).

• Lichtgewicht Backbone:

  • In plaats van zware Transformer-architecturen, gebruikt TSPulse TSMixer (een MLP-Mixer variant). Dit zorgt voor efficiënte feature-mixing binnen en tussen patches en kanalen, met een aanzienlijk lager rekenvermogen.

• Post-Hoc Fusers (Taak-specifieke aanpassing):

  • Om de verschillende views effectief te combineren voor specifieke taken, introduceert het paper lichte "fusers":
    • TSLens: Voor classificatie, selecteert en weegt deze module features uit de gedesentraliseerde embeddings in plaats van simpele pooling.
    • Multi-Head Triangulation (MHT): Voor anomaliedetectie, trianguleert deze methode afwijkingen uit de tijd-, frequentie- en voorspellings-heads om diverse soorten anomalieën te detecteren.

3. Belangrijkste Bijdragen

1. Compacte & Veerkrachtige Modellen: Een familie van pre-trained modellen van slechts 1M parameters die state-of-the-art prestaties leveren op vier diagnostische taken zonder dat er grote rekenkracht nodig is.
2. Architecturale Innovaties:
   • Gedesentraliseerde gemaskerde reconstructie over meerdere ruimtes en abstractieniveaus.
   • Effectieve post-hoc fusers (TSLens, MHT) voor taak-specialisatie.
   • Een hybride masking-schema dat de bias van bestaande methoden (die vaak alleen blokmasking gebruiken) vermindert.
3. Emergente Eigenschappen: Sensitiviteitsanalyses tonen aan dat de geleerde embeddings complementaire eigenschappen hebben. Semantische embeddings zijn zeer robuust tegen ruis, tijdsverschuivingen en ontbrekende data, terwijl temporale en spectrale embeddings essentieel zijn voor nauwkeurige reconstructie.
4. GPU-vrije Implementatie: Door de kleine omvang kunnen deze modellen efficiënt draaien op CPU's, wat ze ideaal maakt voor real-time toepassingen in industriële omgevingen.

4. Resultaten

TSPulse presteert consistent beter dan modellen die 10 tot 100 keer groter zijn, over meer dan 75 datasets:

• Anomaliedetectie (AD): +20% verbetering op de TSB-AD leaderboard (VUS-PR metric), zowel voor univariate als multivariate taken. TSPulse (zero-shot) verslaat zelfs modellen die specifiek op de doeldatasets zijn getraind.
• Zoeken op Gelijkenis (Similarity Search): +25% verbetering in het vinden van vergelijkbare patronen, zelfs onder vervormingen zoals tijdsverschuivingen en schaalveranderingen.
• Imputatie: +50% verbetering in zero-shot imputatie onder diverse patronen van ontbrekende data (hybride masking).
• Classificatie: +5% tot +16% verbetering op de UEA benchmarks voor multivariate tijdreeksclassificatie.
• Efficiëntie: TSPulse is 10-100x sneller in inferentie op CPU en vereist aanzienlijk minder geheugen dan concurrenten zoals MOMENT, Chronos of UniTS.

5. Betekenis en Impact

TSPulse zet een nieuwe standaard voor lichtgewicht tijdreeksmodellen. Het bewijst dat enorme modelgroottes niet noodzakelijk zijn voor state-of-the-art prestaties in diagnostische taken. Door het expliciet ontwarren van representaties (tijd, frequentie, semantiek) en het gebruik van hybride masking, overwint het de beperkingen van bestaande modellen wat betreft transferability en robuustheid.

De mogelijkheid om deze modellen zonder GPU in te zetten, opent de deur voor real-time, lage-latentie toepassingen in sectoren zoals industriële monitoring, IoT en observability, waar data vaak lokaal moet worden verwerkt. De openbaarmaking van de modellen en code (via Hugging Face) bevordert verdere innovatie in het veld van efficiënte tijdreeksanalyse.