SwiftTS: A Swift Selection Framework for Time Series Pre-trained Models via Multi-task Meta-Learning

SwiftTS is een efficiënt raamwerk dat gebruikmaakt van multi-task meta-learning en een lichtgewicht dual-encoder architectuur om de meest geschikte tijdreeks-pre-trained modellen te selecteren zonder kostbare individuele fine-tuning, waardoor de prestaties op onbekende datasets en horizonten aanzienlijk worden verbeterd.

De kern

Stel je voor dat je een enorme bibliotheek hebt vol met verschillende soorten horloges. Sommige zijn gemaakt voor de oceaan, sommige voor de bergen, en sommige voor de stad. Je wilt een horloge kopen dat precies goed is voor jouw specifieke reis.

De oude manier om dit te doen? Je zou elk horloge uit de kast moeten halen, op je pols doen, een dag lang dragen en kijken of het goed werkt. Dit kost enorm veel tijd, energie en batterijen. In de wereld van kunstmatige intelligentie (AI) heet dit "fine-tuning" en het is zo duur dat het vaak onmogelijk is om alle modellen te testen.

SwiftTS is de slimme oplossing die dit probleem oplost. Het is als een super-snel, slimme horlogedeskundige die je vertelt welk horloge je moet kopen, zonder dat je er ook maar één hoeft te dragen.

Hier is hoe SwiftTS werkt, vertaald naar alledaagse taal:

1. Het Probleem: Te veel keuze, te weinig tijd

Er zijn tegenwoordig honderden "vooraf getrainde" AI-modellen voor tijdreeksen (zoals weersvoorspellingen of stroomverbruik). Ze zijn allemaal getraind op verschillende manieren. De uitdaging is: welk model is het beste voor jouw specifieke data?

• De oude methode: Alles uitproberen. (Te duur en te langzaam).
• De nieuwe methode (SwiftTS): Een slimme voorspelling doen op basis van wat het model is en wat jouw data doet.

2. De Oplossing: Twee slimme scanners

SwiftTS gebruikt een systeem met twee "scanners" (de auteurs noemen dit een dual-encoder), die samenwerken als een detective-paar:

• Scanner A (De Data-Expert): Deze kijkt naar jouw tijdreeks (bijvoorbeeld de temperatuur in Amsterdam). Hij kijkt niet naar het hele verhaal in één keer, maar snijdt het in kleine stukjes (zoals een puzzel). Hij let op patronen: "Ah, hier stijgt de temperatuur snel, hier daalt hij langzaam." Hij maakt een soort vingerafdruk van jouw data.
• Scanner B (De Model-Expert): Deze kijkt naar de beschikbare AI-modellen in de bibliotheek. Hij leest hun "paspoort":
  • Hoe groot is het model? (Is het een kleine schets of een olifant?)
  • Hoe is het gebouwd? (Is het een brug of een toren?)
  • Wat heeft het geleerd? (Heeft het veel over weer geleerd of over beurskoersen?)
    Hij maakt een vingerafdruk van het model zelf, zonder het ooit te hoeven testen.

3. De Match: De "Compatibiliteits-Score"

Nu komen de twee scanners bij elkaar. SwiftTS vergelijkt de vingerafdruk van jouw data met die van de modellen.

• Het vraagt: "Past dit model (met zijn specifieke bouw en kennis) goed bij deze specifieke stukjes van mijn data?"
• Het berekent een match-score. Net als bij online dating: "Jullie lijken op elkaar, jullie passen goed bij elkaar!"
• Het resultaat is een lijstje met de beste modellen, gerangschikt van "beste match" naar "minder goede match".

4. De Slimme Truc: De "Horizon-Adaptive Expert"

Tijdreeksvoorspellingen zijn lastig omdat ze afhankelijk zijn van de tijdspanne. Een model dat goed is om de temperatuur van morgen te voorspellen (kortetermijn), is misschien slecht om de temperatuur van over een maand te voorspellen (langetermijn).

SwiftTS heeft een slimme router (een soort verkeersregelaar).

• Als je vraagt om een voorspelling voor morgen, schakelt hij de "kortetermijn-expert" in.
• Als je vraagt om een voorspelling voor over een jaar, schakelt hij de "langetermijn-expert" in.
  Dit zorgt ervoor dat het systeem altijd de juiste specialist kiest, afhankelijk van hoe ver je in de toekomst wilt kijken.

5. De Leermeester: "Meta-Leren"

Hoe leert SwiftTS dit allemaal? Het heeft een speciale training gekregen. Het heeft geoefend op duizenden verschillende situaties:

• "Wat gebeurt er als we een model van de ene dataset (bijv. wind) testen op een andere (bijv. stroom)?"
• "Wat gebeurt er als we de voorspellingstijd veranderen?"

Door deze oefeningen te doen, heeft SwiftTS geleerd om patronen te herkennen die andere methoden missen. Het is als een kok die al in duizenden keukens heeft gewerkt; hij kan proeven of een nieuw recept (een nieuw model) goed zal werken in jouw keuken, zonder dat hij het recept eerst hoeft te koken.

Waarom is dit geweldig?

• Snelheid: In plaats van dagen wachten om modellen te testen, geeft SwiftTS het antwoord in seconden.
• Kosten: Het bespaart enorme hoeveelheden rekenkracht (en geld).
• Betrouwbaarheid: Het werkt zelfs als je data heel anders is dan de data waarop de modellen oorspronkelijk zijn getraind (bijvoorbeeld een model dat op Amerikaanse data is getraind, gebruiken voor Nederlandse data).

Kortom: SwiftTS is de slimme gids die je helpt de perfecte AI-voorspeller te kiezen voor jouw specifieke situatie, zonder dat je de hele bibliotheek hoeft uit te zoeken. Het is snel, slim en bespaart je veel tijd en geld.

Technische samenvatting

Probleemstelling

Tijdreeksvoorspelling is een fundamentele taak in domeinen zoals financiën, weervoorspelling en energiebeheer. Door het succes van voorgeïmplementeerde modellen (pre-trained models) in NLP en computer vision, zijn er talloze "foundation models" voor tijdreeksen ontwikkeld. Hoewel deze modellen sterke generalisatievermogens hebben, is er geen enkel model dat op alle taken en datasets superieur presteert.

De huidige uitdagingen bij het selecteren van het beste model zijn:

1. Hoge rekentijd: Het traditionele selectieproces vereist het fijnafstemmen (fine-tuning) van alle kandidaat-modellen op de doeldataset om de prestaties te meten. Dit is computationally infeasible bij grote modelhubs.
2. Heterogeniteit: Tijdreeksmodellen variëren sterk in architectuur (Encoder-only, Decoder-only, Encoder-Decoder) en trainingsdoelen, wat het moeilijk maakt om een uniforme feature-extractie toe te passen.
3. Generalisatieproblemen: Bestaande methoden (voornamelijk gebaseerd op feature-analyse) falen vaak bij datasets die afwijken van het trainingsdomein (Out-of-Distribution, OOD) en houden geen rekening met de variabiliteit van prestaties over verschillende voorspellingshorizons (bijv. een model dat goed is voor korte-termijn voorspelling, faalt vaak bij lange-termijn).

Methodologie: SwiftTS

SwiftTS is een snel, leer-geleid selectieframework dat gebruikmaakt van multi-task meta-learning om de beste pre-trained model te voorspellen zonder het model te hoeven fijnafstemmen. De architectuur bestaat uit de volgende kerncomponenten:

1. Leer-geleid Selectie Framework (Dual-Encoder Architectuur)
In plaats van dure forward passes door alle modellen, leert SwiftTS de compatibiliteit tussen een dataset en een model op basis van historische prestatieparen.

• Temporal-Aware Data Encoder: De invoer-tijdreeks wordt opgesplitst in 'patches'. Deze patches worden omgezet in embeddings die lokale temporele patronen en sequentiële afhankelijkheden vastleggen via self-attention.
• Knowledge-Infused Model Encoder: Dit encodeert de kandidaat-modellen door drie soorten informatie te integreren:
  • Meta-informatie: Architectuurtype, capaciteit (aantal parameters), complexiteit (GMACs) en het pre-training domein.
  • Topologische structuur: De modelarchitectuur wordt gemodelleerd als een Directed Acyclic Graph (DAG) en ingebed met Graph2Vec.
  • Functionaliteit: Het model wordt getest op een vaste set Gaussisch ruisinvoer om een functionele embedding te genereren die het gedrag van het model weergeeft.
• Patchwise Cross-Attention: In plaats van een globale vergelijkingsmaatstaf, berekent het framework compatibiliteitsscores op patch-niveau. Hierbij fungeert de model-embedding als query en de data-embedding als key/value. Dit zorgt voor een fijne-granulariteit vergelijking tussen de specifieke kenmerken van het model en de data.

2. Generaliseerbare Multi-Task Meta-Learning
Om generalisatie over verschillende datasets en voorspellingshorizons te verbeteren, introduceert SwiftTS twee innovaties:

• Horizon-Adaptive Expert Composition: Een module die dynamisch gewichten toewijst aan meerdere "experts" (MLP's) op basis van de doelvoorspellingshorizon. Dit stelt het framework in staat om specifieke rankings te genereren voor verschillende tijdsperiodes zonder hertraining.
• Transferable Cross-Task Learning: Het framework wordt getraind met meta-learning op een dataset van taken die bestaan uit een support-set en een query-set. Er worden twee sampling-strategieën gebruikt:
  • Cross-dataset sampling: Taken komen uit verschillende datasets om domein-generalisatie te bevorderen.
  • Cross-horizon sampling: Taken gebruiken verschillende voorspellingshorizons om adaptiviteit op horizon-niveau te verbeteren.
    Dit zorgt voor robuustheid in OOD-scenario's.

Belangrijkste Bijdragen

1. Eerste methode voor tijdreeks-selectie: SwiftTS is de eerste methode die specifiek is ontworpen voor het selecteren van pre-trained modellen voor tijdreeksvoorspelling.
2. Efficiënte Dual-Encoder Architectuur: Het vermijdt kostbare feature-extractie door een leer-geleide aanpak met patchwise compatibiliteitsscores.
3. Horizon-Adaptiviteit: Door de expert-compositie-module kan het framework dynamisch omgaan met verschillende voorspellingshorizons binnen één unified framework.
4. Robuuste Generalisatie: Via transferable cross-task learning en specifieke sampling-strategieën wordt de prestatie op ongezette (OOD) datasets en horizons aanzienlijk verbeterd.

Resultaten

Het framework is geëvalueerd op 14 real-world datasets (o.a. elektriciteitsverbruik, verkeer, weer, economie) en 8 state-of-the-art pre-trained modellen (zoals MOIRAI, TimesFM, Chronos, UniTS).

• Prestatie: SwiftTS behaalt state-of-the-art resultaten met de hoogste gewogen Kendall's $\tau_w$ (een maatstaf voor de correlatie tussen de voorspelde rangorde en de werkelijke fine-tuning prestaties) over alle horizons (96, 192, 336, 720).
• Vergelijking: Het presteert significant beter dan feature-analytische methoden (zoals LogME, RankME) en eerdere leer-geleide methoden (zoals Model Spider).
• Top-k Selectie: SwiftTS heeft de hoogste waarschijnlijkheid om het beste model binnen de top-1, top-2 en top-3 te selecteren.
• Efficiëntie: Het selectieproces duurt slechts enkele duizenden seconden, terwijl volledig fine-tuning van alle modellen op grote datasets (zoals Traffic) miljoenen seconden kan kosten. SwiftTS toont een stabiele rekentijd ongeacht de datasetgrootte, in tegenstelling tot concurrenten.

Betekenis en Impact

SwiftTS lost een kritieke bottleneck op in de toepassing van tijdreeksfoundation modellen. Het maakt het mogelijk om in real-time en met minimale rekentijd het meest geschikte model te selecteren voor een specifieke voorspellingsopgave. Dit is essentieel voor praktische implementaties in dynamische omgevingen waar datasets en voorspellingsbehoeften (horizons) voortdurend veranderen. De methode biedt een schaalbare en robuuste oplossing die de drempel verlaagt voor het gebruik van geavanceerde pre-trained modellen in de industrie.