Adapt Data to Model: Adaptive Transformation Optimization for Domain-shared Time Series Foundation Models

Dit paper introduceert TATO, een data-gedreven framework dat een enkele bevroren grote tijdsreeksmodel (LTM) via een geoptimaliseerde transformatiepiplijn (context-slicing, schaalnormalisatie en uitschietercorrectie) efficiënt aanpast aan diverse domeinen, waardoor de voorspellingnauwkeurigheid aanzienlijk verbetert zonder extra finetuning.

De kern

Stel je voor dat je een supersterke, universele voorspeller hebt. Laten we hem "De Grote Profeet" noemen. Deze profeet is getraind op een enorme hoeveelheid data uit de hele wereld: van weerpatronen in de Alpen tot stroomverbruik in New York en beurskoersen in Tokio. Hij is zo slim dat hij bijna alles kan voorspellen zonder dat je hem eerst hoeft te leren (dit noemen ze "zero-shot forecasting").

Maar er is een probleem: De profeet is een beetje stijf.

Als je hem vraagt om het weer in een specifiek dorpje te voorspellen, kijkt hij naar zijn grote kennisbank en zegt: "Nou, over het algemeen is het hier regenachtig." Maar hij mist de kleine details: dat het in dat specifieke dorpje vandaag juist een lokale hittegolf is, of dat er een rare storing in de sensor zit. Hij is te algemeen om perfect te zijn voor elke specifieke situatie.

De auteurs van dit paper (TATO) zeggen: "Waarom zouden we de profeet opnieuw leren? Laten we de vraag aanpassen!"

Hier is hoe hun oplossing werkt, vertaald naar alledaagse taal:

1. Het Probleem: De "One-Size-Fits-All" Moeilijkheid

Normaal gesproken, als je een AI wilt gebruiken voor een heel specifiek doel (bijvoorbeeld het voorspellen van stroomverbruik in een fabriek), moet je de hele AI opnieuw trainen. Dat is als een chef-kok die voor elke klant een compleet nieuwe keuken bouwt. Dat kost enorm veel tijd, geld en energie.

De auteurs willen dit niet. Ze willen dat de "Grote Profeet" (de AI) vriesbevroren blijft. Hij mag niet veranderen. Maar hij moet wel beter presteren op zijn specifieke taak.

2. De Oplossing: TATO (De Slimme Vertaler)

In plaats van de profeet te herscholen, bouwen ze een tussenpersoon (een vertaler) tussen jou en de profeet. Deze tussenpersoon heet TATO.

TATO doet drie dingen om de data "profeet-vriendelijk" te maken:

• De Context-Snijder (Context Slicing):

  • Analogie: Stel je voor dat je de profeet een heel lang verhaal vertelt over je leven, maar hij kan alleen de laatste 10 minuten onthouden. Als je hem het hele verhaal geeft, raakt hij in de war. TATO snijdt het verhaal op het juiste moment af, zodat hij alleen de relevante informatie krijgt.
  • In de praktijk: Het past de hoeveelheid historische data aan die de AI krijgt.

• De Schaal-Regelaar (Scale Normalization):

  • Analogie: Stel je voor dat de profeet gewend is om temperaturen in graden Celsius te zien, maar jij geeft hem data in Fahrenheit. Hij begrijpt het niet goed. TATO zet de temperatuur om naar een formaat dat de profeet begrijpt, zodat hij niet denkt dat het 100 graden is als het eigenlijk 30 is.
  • In de praktijk: Het past de grootte van de getallen aan (bijvoorbeeld door ze te delen door het gemiddelde), zodat de AI niet verward raakt door extreme waarden.

• De Uitbijter-Oplosser (Outlier Correction):

  • Analogie: Stel je voor dat je de profeet vertelt: "Vandaag was het 30 graden, maar om 14:00 uur was het plotseling 1000 graden!" De profeet denkt dat dit een normaal patroon is en probeert dat te voorspellen. TATO zegt: "Wacht even, dat is een foutje in de sensor. Laten we dat weglaten of corrigeren."
  • In de praktijk: Het herkent rare, onrealistische pieken in de data en maakt ze glad, zodat de AI zich op het echte patroon kan richten.

3. Hoe werkt het in de praktijk? (De "Proefkeuken")

TATO is niet zomaar een vaste instelling. Het is een automatische proefkeuken.

1. Het Koken: TATO probeert honderden verschillende combinaties van deze "snijders", "regelaars" en "oplossers". Het is alsof een chef-kok die 100 verschillende recepten probeert om te zien welke het beste past bij de profeet.
2. Het Proeven: Het test deze recepten op een klein stukje data (ongeveer 500 steekproeven).
3. Het Selecteren: Na een paar minuten (soms minder dan 2 minuten!) kiest TATO het ene recept dat het beste werkt.
4. Het Serveren: Vervolgens gebruikt de "vriesbevroren" profeet dit ene, perfecte recept om de echte voorspellingen te doen.

Waarom is dit zo cool?

• Snelheid: Het duurt minder dan 2 minuten om de beste instelling te vinden. Dat is veel sneller dan het opnieuw trainen van een AI, wat dagen kan duren.
• Kosten: Je hoeft geen dure nieuwe AI-modellen te bouwen. Je gebruikt één model voor alles, maar past de data aan.
• Resultaat: In de tests van de auteurs werkte dit wonderbaarlijk goed. De fouten in de voorspellingen werden met gemiddeld 13,6% kleiner, en in de beste gevallen zelfs met 65,4%.

Samenvattend

Stel je voor dat je een universele auto hebt die overal kan rijden, maar die in de sneeuw een beetje slippen. In plaats van een nieuwe auto te kopen voor de sneeuw (finetuning), doe je gewoon winterbanden op je huidige auto (TATO).

De auto (het model) blijft exact hetzelfde, maar door de juiste aanpassingen (de banden/data-transformaties) rijdt hij nu perfect op elke ondergrond. Dat is de kracht van TATO: het maakt een universele AI direct bruikbaar voor elke specifieke situatie, snel, goedkoop en zonder dat de AI zelf hoeft te veranderen.

Technische samenvatting

Titel: Adapt Data to Model: Adaptieve Transformatie-Optimalisatie voor Domein-Gedeelde Time-Series Foundation Modellen

Auteurs: Yunzhong Qiu, Zhiyao Cen, Zhongyi Pei, Chen Wang, Jianmin Wang (Tsinghua University)
Publicatie: ICLR 2026

---

1. Het Probleem

Grote tijdreeksmodellen (Large Time Series Models, LTMs) hebben zich ontwikkeld tot krachtige hulpmiddelen voor universele voorspelling. Ze zijn ontworpen om diverse downstream-taken aan te pakken met één basismodel, vaak met zero-shot of few-shot learning capaciteiten. Echter, LTMs kampen met een fundamenteel probleem: de inherente diversiteit en non-stationariteit van real-world tijdreeksdata.

• Domeinvariatie: Verschillende domeinen (bijv. weer, beurskoersen, energieverbruik) vertonen unieke temporale kenmerken. Een enkel LTLM kan moeilijk generaliseren over al deze domeinen zonder aanpassing.
• De Trade-off: De gebruikelijke oplossing is het fine-tunen van het model voor elk specifiek domein. Dit heeft echter twee grote nadelen:
  1. Het verhoogt de rekentkosten aanzienlijk naarmate het aantal domeinen groeit.
  2. Het ondermijnt de generalisatiekracht van het model, omdat het niet langer een universeel "foundation model" is, maar een reeks domein-specifieke varianten.
• Bestaande TTA-methoden: Bestaande Test-Time Adaptation (TTA) methoden focussen vaak op het aanpassen van het model zelf (bijv. self-supervised learning op testdata), wat ook rekenintensief kan zijn en risico's met zich meebrengt.

2. Methodologie: TATO en FrozenForecasting

De auteurs introduceren een nieuw paradigma genaamd FrozenForecasting. In plaats van het model aan te passen, passen ze de data aan aan het model. De kern van deze aanpak is het framework TATO (Time-series Adaptive Transformation Optimization).

Het TATO Framework

TATO is een data-centric framework dat een enkele, bevroren (frozen) voorgetrainde LTM gebruikt en deze optimaliseert door een automatisch gegenereerde transformatiepijplijn toe te passen op de invoer- en uitvoergegevens. Het proces bestaat uit drie fasen:

1. Data Preparatie & Augmentatie:

   • Om robuustheid te garanderen en overfitting te voorkomen tijdens de zoektocht, wordt een reeks data-augmentaties toegepast op de historische data (bijv. flipping, warping, ruisinjectie, translatie).
   • Dit creëert een diverse set van voorbeelden om de transformatiepijplijn te evalueren zonder het model te herscholen.

2. Transformatiepijplijn Optimalisatie:

   • Het probleem wordt geformuleerd als een hyperparameter-optimalisatieprobleem. Het doel is om de beste combinatie van transformatie-operatoren te vinden die de voorspellingsfout minimaliseren.
   • Zoekruimte: De auteurs hebben een compacte maar expressieve zoekruimte gedefinieerd met negen operatoren in drie categorieën:
     • Contextuele transformaties: Slicing van de context (bijv. Trimmer voor lookback-lengte, Sampler voor downsampling/upsampling, Aligner voor padding).
     • Normalisatietransformaties: Aanpassing van waarden (bijv. Scaler zoals Z-score of Robust, Differencer voor stationariteit, Warper zoals log-transformatie).
     • Outlier-transformaties: Correctie van ruis en anomalieën (bijv. Denoiser zoals EWMA, Imputator voor interpolatie, Clipper voor extreme waarden).
   • De optimalisatie gebruikt Bayesian Optimization (Tree-structured Parzen Estimator - TPE) om de beste pijplijn te vinden binnen een beperkt budget aan trials.

3. Twee-staps Pareto-gebaseerde Ranking:

   • Om de beste pijplijn te selecteren zonder dat een enkele metric (zoals MSE) de keuze domineert ten koste van andere aspecten, gebruiken ze een tweestapsbenadering:
     • Fase 1 (Filtering): Trials die slecht presteren op een subset van metrics over de geaugmenteerde data worden verwijderd. Er wordt een Pareto-set opgebouwd om trials te behouden die consistent goed presteren.
     • Fase 2 (Ranking): De overgebleven kandidaten worden gerangschikt op basis van de originele (niet-geaugmenteerde) data, met een gewogen som van verschillende foutmaten (waarbij MSE en MSPE zwaarder wegen).

3. Belangrijkste Bijdragen

1. Nieuw Paradigma (FrozenForecasting): De auteurs introduceren een nieuwe aanpak waarbij de basis LTM volledig bevroren blijft, terwijl domein-specifieke aanpassingen uitsluitend via data-transformaties plaatsvinden. Dit behoudt de generalisatiekracht van het foundation model.
2. TATO Framework: Een geautomatiseerd systeem dat transformatiepijplijnen optimaliseert voor LTMs, waardoor een universele oplossing wordt geboden voor diverse domeinen zonder kostbaar fine-tuning.
3. Gespecialiseerde Zoekruimte: Een zorgvuldig samengestelde set van negen transformatie-operatoren die de drie kritieke aspecten van tijdreeksdata adresseren: context, schaal en uitbijters.
4. Efficiëntie: De methode is uiterst snel; de optimalisatie duurt meestal minder dan 2 minuten, wat het praktisch toepasbaar maakt voor real-world implementaties.

4. Resultaten

De auteurs hebben TATO getest op acht populaire datasets (zoals ETT, Electricity, Exchange, Traffic, Weather) en meerdere state-of-the-art LTMs (Timer, Moirai, Chronos).

• Prestatieverbetering: TATO leidt tot een consistente en significante verbetering in voorspellingsnauwkeurigheid.
  • Gemiddelde reductie in MSE: 13,6%.
  • Maximale reductie in MSE: 65,4% (geobserveerd op de Exchange-dataset).
  • In 84,3% van de geteste scenario's (192 combinaties) presteerde TATO beter dan de "vanilla" (onbewerkte) frozen LTMs.
• Robuustheid: De methode werkt vooral goed in scenario's waar de basismodellen slecht presteren (bijv. bij niet-stationaire data of aanwezigheid van uitbijters), wat de motivatie voor adaptieve transformatie onderstreept.
• Efficiëntie:
  • De optimalisatie kost doorgaans minder dan 2 minuten (vaak rond de 1-2 minuten, afhankelijk van het model en het aantal trials).
  • Tijdens de inferentie is de extra overhead verwaarloosbaar (minder dan 3 milliseconden per batch), omdat de transformaties lichtgewicht operaties zijn.
• Complementariteit met Fine-tuning: Experimenten tonen aan dat TATO ook effectief is op modellen die al zijn gefine-tuned op alle domeinen, wat suggereert dat data-adaptie en parameter-aanpassing complementaire voordelen bieden.

5. Betekenis en Conclusie

Dit paper biedt een cruciale verschuiving in het denken over het deployen van grote tijdreeksmodellen. In plaats van de trend te volgen van het trainen van steeds grotere of meer gespecialiseerde modellen, toont TATO aan dat het optimaliseren van de data-invoer een krachtige, goedkope en schaalbare manier is om de prestaties van bestaande foundation modellen te maximaliseren.

De "Adapt Data to Model" filosofie lost het dilemma op tussen specificiteit (domein-specifieke prestaties) en generalisatie (één model voor alles). Het maakt het mogelijk om één bevroren foundation model te gebruiken voor een breed scala aan applicaties, met minimale rekentijd en zonder het risico van overfitting dat gepaard gaat met extensive fine-tuning. Dit opent de weg naar duurzamere en meer generaliseerbare implementaties van AI in real-world tijdreeksscenario's.