TimeSqueeze: Dynamic Patching for Efficient Time Series Forecasting

TimeSqueeze is een dynamisch patching-mechanisme dat de tokenisatie voor tijdreeksvoorspelling optimaliseert door adaptief variabele patch-grenzen te selecteren op basis van lokale signaalcomplexiteit, waardoor de rekenefficiëntie en convergentiesnelheid van Transformer-modellen aanzienlijk worden verbeterd zonder de tijdelijke structuur te verliezen.

De kern

TimeSqueeze: De Slimme "Krimp" voor Tijdreeksen

Stel je voor dat je een heel lang verhaal moet vertellen aan een vriend, maar je hebt maar een paar minuten de tijd. Als je elk detail van het verhaal woord voor woord vertelt, ben je al snel klaar met de tijd, en je vriend raakt verveeld. Maar als je het verhaal te veel samenvat, mis je de spannende momenten en wordt het saai.

Dit is precies het probleem dat onderzoekers hebben met het voorspellen van toekomstige gebeurtenissen op basis van data (zoals energieverbruik, beurskoersen of weer). Ze noemen dit tijdreeksvoorspelling.

Deze paper introduceert TimeSqueeze, een nieuwe manier om die data te verwerken. Hier is hoe het werkt, vertaald naar alledaagse taal:

1. Het Probleem: Te veel details of te weinig details?

Tot nu toe hadden modellen twee opties, en beide hadden nadelen:

• Optie A (Elk punt apart): Je vertelt je vriend elk woord van het verhaal. Dit is heel nauwkeurig, maar het duurt eeuwen en kost enorm veel energie. Voor computers is dit te zwaar als het verhaal (de data) heel lang is.
• Optie B (Vaste blokken): Je vat het verhaal samen in vaste stukken van bijvoorbeeld 10 woorden per zin. Dit gaat veel sneller, maar het is dom. Soms heb je in die 10 woorden een heel belangrijk moment (een ontploffing in het verhaal), en soms is het saai (de held loopt door een veld). Door alles in gelijke stukken te knippen, verlies je de belangrijke details of maak je het saaiere gedeelte onnodig groot.

2. De Oplossing: TimeSqueeze (De Slimme Schaar)

TimeSqueeze is als een slimme schaar die het verhaal in stukken knipt, maar dan op een heel slimme manier.

• Hoe werkt het? De computer kijkt naar de data en vraagt zich af: "Is dit moment spannend of saai?"
  • Bij een spannend moment (waar de data snel verandert, zoals een plotselinge storm of een beurscrash): De schaar maakt kleine stukjes. Zo blijven alle belangrijke details behouden.
  • Bij een saai moment (waar de data rustig blijft, zoals een zonnige dag zonder wind): De schaar maakt grote stukken. Hier wordt veel samengevat omdat er weinig nieuws te melden valt.

Dit noemen ze dynamische patching. In plaats van vaste blokken, past de computer de grootte van de blokken aan aan de "drukte" van de data.

3. De Analogie: Een Reisverslag

Stel je voor dat je een reisverslag schrijft voor een lange treinreis:

• Als de trein door een saai landschap rijdt (velden, velden, velden), schrijf je maar één zin: "We reden door het platteland." (Dit is een groot blok).
• Als de trein echter door een drukke stad rijdt, met honderden gebouwen, mensen en verkeerslichten, dan schrijf je een heel gedetailleerd hoofdstuk over elk station. (Dit zijn kleine blokken).

TimeSqueeze doet precies dit. Het zorgt ervoor dat de computer zijn energie (rekenkracht) alleen gebruikt waar het echt nodig is, en het overslaat waar het niet nodig is.

4. Waarom is dit zo cool?

De onderzoekers hebben getoond dat TimeSqueeze twee grote voordelen heeft:

1. Het is razendsnel: Omdat het minder "woorden" (data-punten) hoeft te verwerken, is het tot 20 keer sneller in het leren en 8 keer zuiniger in het gebruik van data dan de oude methoden.
2. Het is net zo slim: Ondanks dat het veel weglaat, maakt het geen fouten. Het behoudt de belangrijke details (zoals de ontploffing in het verhaal) en presteert net zo goed als de modellen die elk detail proberen te onthouden.

Conclusie

TimeSqueeze is als een efficiënte vertaler die weet wat belangrijk is en wat niet. Het maakt tijdreeksvoorspelling voor computers veel makkelijker, sneller en goedkoper, zodat we in de toekomst beter kunnen voorspellen wat er gaat gebeuren – of het nu gaat om het weer, de stroomprijs of de beurs – zonder dat de computer in de war raakt van alle informatie.

Technische samenvatting

Probleemstelling

Bestaande transformer-gebaseerde modellen voor tijdsreeksvoorspelling (foundation models) staan voor een fundamenteel dilemma bij het kiezen van een tokenisatiestrategie:

1. Punt-embeddings (Point-wise): Behouden de temporele trouw (fidelity) en kunnen fijne variaties vastleggen, maar schalen slecht met de lengte van de sequentie. Dit leidt tot hoge rekenkosten en geheugengebruik, wat lange contexten onpraktisch maakt.
2. Vaste patching (Fixed-length patching): Verbetert de efficiëntie door meerdere tijdstippen in één embedding te comprimeren. Echter, dit vereist een uniforme verdeling die natuurlijke overgangen kan verstoren en lokale dynamiek kan vervagen. Bovendien is het bepalen van de optimale patchgrootte dataset-afhankelijk en werkt het niet goed voor data met heterogene informatiedichtheid (waar sommige delen snel veranderen en andere stabiel zijn).

Het doel is een methode te vinden die zowel de nauwkeurigheid van punt-embeddings behoudt als de rekenefficiëntie van patching biedt, zonder de beperkingen van vaste patchgroottes.

Methodologie: TimeSqueeze

TimeSqueeze is een hybride tokenisatiemechanisme dat dynamische patching toepast op basis van de lokale complexiteit van het signaal. De architectuur bestaat uit vier hoofdcomponenten:

1. Lightweight State-Space Encoder (SSM):

   • Een encoder (gebaseerd op Mamba) verwerkt de ruwe tijdsreeks in volledige resolutie.
   • Dit extrahere fijne, lokale temporele kenmerken zonder de kwadratische complexiteit van traditionele Transformers.

2. Dynamische Patching (Content-Aware Segmentation):

   • In plaats van een vaste grootte, worden patchgrenzen dynamisch bepaald op basis van de relatieve afwijking van het signaal.
   • De methode berekent de lokale signaalmacht ($P_i$) binnen een venster en vergelijkt de absolute verschil tussen opeenvolgende samples ($|x_i - x_{i-1}|$) met een drempelwaarde ($\tau \sqrt{P_i}$).
   • Logica: Als het verschil de drempel overschrijdt (hoge informatie/dynamiek), wordt een nieuwe patch gestart (kleine patch). In rustige of redundante gebieden worden grotere patches gevormd.
   • Dit resulteert in een variabele resolutie: korte patches voor informatieve gebieden, lange patches voor saaie gebieden.

3. MoE Transformer Backbone:

   • De gecomprimeerde patches worden verwerkt door een decoder-only Transformer met een Mixture-of-Experts (MoE) mechanisme (gebaseerd op Time-MoE).
   • Dit zorgt voor schaalbaarheid naar miljarden parameters met beheersbare inferentiekosten.

4. Unpatching en Decoder:

   • Een unpatching-module herstelt de gecomprimeerde embeddings naar de oorspronkelijke lengte door boundary-embeddings te herhalen.
   • Een SSM-decoder combineert deze gecomprimeerde globale context met de oorspronkelijke fijne details (via residual connections) voor de uiteindelijke voorspelling.
   • Positie-informatie: TimeSqueeze behoudt expliciet de absolute positie-ID's van de embeddings vóór compressie, wat cruciaal is voor temporele coherentie, in tegenstelling tot sommige taalkundige modellen die alleen relatieve posities gebruiken.

Belangrijkste Bijdragen

• Hybride Tokenisatie: De introductie van TimeSqueeze, dat de expressiviteit van punt-embeddings combineert met de efficiëntie van patching via adaptieve downsampling.
• Data-gedreven Dynamiek: Een methode die patchgrenzen aanpast aan lokale signaalkarakteristieken zonder externe metrieken of handmatige heuristieken.
• Schaalbaarheid: Bewijs dat TimeSqueeze naadloos integreert met bestaande Transformer-backbones, waardoor grootschalige pretraining mogelijk is met aanzienlijk minder trainingsbudget.
• Prestaties: Het bereiken van prestaties die vergelijkbaar zijn met state-of-the-art punt-embeddings, maar met tot 20x snellere convergentie en 8x hogere data-efficiëntie.

Resultaten

De auteurs hebben TimeSqueeze getest op diverse benchmarks (zoals ETTh1/2, ETTm1/2 en Weather) in zowel zero-shot als full-shot (fine-tuning) scenario's.

• Voorspellingsnauwkeurigheid: TimeSqueeze presteert consistent beter dan of gelijk aan modellen die gebruikmaken van vaste patching (zoals PatchTST) of punt-embeddings (zoals Time-MoE). In zero-shot settings op prestaties die vergelijkbaar zijn met Time-MoE, ondanks het gebruik van 8x minder trainingsdata.
• Efficiëntie:
  • Training: Tot 20x snellere training en 3,4x minder geheugengebruik vergeleken met Time-MoE bij vergelijkbare prestaties.
  • Inferentie: Tot 10,5x hogere doorvoer (throughput) voor langere voorspellingshorizons, wat TimeSqueeze ideaal maakt voor on-device inferentie.
• Ablatie-studies: Deze bevestigen dat de combinatie van de SSM-encoder en de dynamische patching essentieel is voor de prestaties. Het verwijderen van de residual connections of het gebruik van relatieve posities leidt tot merkbare prestatieverlies.
• Long-Context Pretraining: Modellen getraind met langere contexten presteren beter, zelfs bij inferentie met kortere contexten, wat aantoont dat TimeSqueeze robuuste temporele representaties leert.

Significantie

TimeSqueeze biedt een doorbraak in de schaalbaarheid van tijdsreeksfoundation models. Door de "one-size-fits-all" aanpak van vaste patching te vervangen door adaptieve, signaal-gestuurde compressie, lost het de fundamentele afweging op tussen rekenkosten en temporele nauwkeurigheid.

Dit maakt het mogelijk om modellen te trainen op enorme datasets (honderden miljarden datapunten) met beperkte rekenkracht, terwijl de modelkwaliteit behouden blijft. De methode opent de weg voor efficiëntere, real-time voorspellingssystemen in kritieke domeinen zoals energie, financiën en gezondheidszorg, waar lange historische contexten essentieel zijn maar vaak te kostbaar zijn om te verwerken.