Technische Samenvatting: TS-ICL

Probleemstelling

Time Series Foundation Models (TSFMs) hebben het paradigma verschoven van taakspecifieke modellen naar algemene, zero-shot inferentie-systemen. Echter, bestaande benaderingen kampen met drie kritieke beperkingen in real-world toepassingen:

1. Taakfragmentatie: De meeste TSFMs richten zich uitsluitend op voorspelling (forecasting), waardoor ze geen native ondersteuning bieden voor imputatie van ontbrekende waarden, wat gebruikelijk is bij irregulier gesamplede data.
2. Covariaatverwerking: Veel modellen missen robuuste mechanismen voor covariaat-bewuste inferentie, ondanks de noodzaak van externe informatie voor veel praktische taken.
3. Sampling Rigiditeit: Standaard patch-gebaseerde architecturen (bijv. Chronos, TimesFM) gaan uit van regelmatig gesamplede inputs, wat hun vermogen belemmert om asynchrone of gedeeltelijk geobserveerde tijdreeksen te verwerken zonder preprocessing.

Hoewel Tabular Foundation Models (TFMs) die zijn aangepast voor tijdreeksen (bijv. TabPFN-TS) covariaten en imputatie ondersteunen, vertrouwen ze vaak op handmatige temporele kenmerken en lijden ze onder hoge inferentiekosten, waardoor ze achterblijven bij pure TSFMs in forecasting-benchmarks. Er is behoefte aan een verenigd framework dat gezamenlijk forecasting en imputatie afhandelt, covariaten ondersteunt en efficiënt opereert op irregulier gesamplede data.

Methodologie

De auteurs introduceren TS-ICL (Time-Series In-Context Learning), een probabilistisch Transformer foundation model dat tijdreeksmodellering herformuleert als een tijd-geïndexeerd in-context regressieprobleem. De architectuur bestaat uit vier sequentiële modules:

1. Time Series Encoder ($E$): Gebaseerd op een Perceiver encoder-ontwerp, verwerkt deze module context-timestamps en waarden (en optionele covariaten) kanaal-onafhankelijk. Het gebruikt een vaste set leerbare tokens die cross-attentie toepassen op timestamp-waarde paren, waardoor willekeurig lange inputs worden gecomprimeerd tot een compacte latente sequentie ($Z_{val}$).
2. Channel Mixer ($M$): Deze module aggregeert informatie over kanalen heen. Het gebruikt cross-attention om de doel-tijdreeks (target time series) de mogelijkheid te geven om naar covariaat-tokens te query'en, waardoor de kanaaldimensie wordt samengevoegd tot een verenigde, covariaat-bewuste representatie ($Z_{final}$). Vervolgende self-attention lagen modelleren globale afhankelijkheden.
3. Temporal Context Query Module ($C$): Om de brug te slaan tussen discrete latente tokens en het continue tijddomein, embedt deze module elke query-timestamp $t$ met behulp van frequentie-gebaseerde positionele encoding. Het past cross-attention toe op $Z_{final}$ om een context-bewuste representatie $H(t)$ te produceren voor willekeurige timestamps, wat flexibele afhandeling van irreguliere sampling mogelijk maakt.
4. In-Context Learning Regressor ($R$): De laatste module behandelt voorspelling als een in-context regressie-taak. Het construeert een trainingsset $D_{train}$ uit geobserveerde context-paren $(H(t), x_t)$ en gebruikt causale self-attention om doelwaarden te infereren op ongeziene timestamps. Het produceert een dichte set kwantiel-schattingen die getraind zijn via een gesmoothde pinball loss.

Data Prior en Training:
TS-ICL wordt getraind op een gestructureerde data prior die real-world datasets combineert met synthetische data.

• Univariaat: Een mix van 31 real-world datasets en synthetische signalen van TempoPFN, dekkend over diverse domeinen en frequenties.
• Multivariaat (Covariaten): Synthetische target-covariaat structuren worden gegenereerd met behulp van Directed Acyclic Graphs (DAGs) en een register van Structural Causal Models (SCM's). Dit zorgt ervoor dat het model leert te generaliseren naar onziene afhankelijkheidsstructuren via zero-shot, inclusclusief informatieve, redundante en onafhankelijke covariaten.
• Taken: Training schakelt dynamisch tussen imputatie (maskeren van punten of blokken) en forecasting (maskeren van toekomstige horizonten).

Belangrijkste Bijdragen

1. Verenigde Architectuur: TS-ICL is een nieuw probabilistisch TSFM dat forecasting en imputatie verenigt binnen één continu tijdsframework, waarbij beide taken zonder architecturale wijzigingen native worden ondersteund.
2. Gestructureerde Synthetische Prior: De auteurs ontwerpen een DAG-gebaseerde causale prior voor target-covariaat relaties, waardoor het model robuuste zero-shot generalisatie naar complexe afhankelijkheidsstructuren kan leren.
3. State-of-the-Art Imputatie: TS-ICL bereikt nieuwe state-of-the-art prestaties op zero-shot imputatie benchmarks, waarbij het zowel taakspecifieke modellen als aangepaste TFMs overtreft.
4. Efficiënte Covariaat-Bewuste Inferentie: Het model ondersteunt efficiënte inferentie met covariaten en handelt willekeurige beschikbaarheidspatronen af (bijv. covariaten die alleen in de look-back window aanwezig zijn of zowel in de look-back als de horizon).
5. Robuustheid tegen Ontbrekende Data: In tegenstelling tot patch-gebaseerde modellen, stelt de tijd-geïndexeerde formulering van TS-ICL het model in staat om robuust te blijven wanneer historische observaties gedeeltelijk ontbreken.

Experimentele Resultaten

Het model werd geëvalueerd op fm-impute-bench (imputatie) en fev-bench (forecasting), met aanvullende validatie op de TIME benchmark.

• Imputatie: TS-ICL zet een nieuwe state-of-the-art op zero-shot imputatie benchmarks. Het verbetert pointwise (NMAE) en probabilistische (CRPS) scores ten opzichte van leidende TFMs (TabPFNv2.5-TS, TabICLv2-TS) met significante marges (bijv. 17% en 15% verbetering ten opzichte van TabICLv2-TS). Cruciaal is dat het tot 50× sneller is bij inferentie dan deze TFMs.
• Forecasting: Op forecasting benchmarks blijft TS-ICL competitief met leidende TSFMs zoals Chronos-2 en TiRex, en behoort het tot de top performers. Het benut covariaten effectief wanneer deze beschikbaar zijn, wat de relatieve rangorde onder TSFMs verbetert.
• Robuustheid tegen Ontbrekende Historie: In experimenten met toenemende niveaus van ontbrekende data in de look-back window (30%–90%), presteert TS-ICL consistent beter dan Chronos-2. Terwijl de prestaties van Chronos-2 significant verslechteren naarmate de context schaarser wordt, behoudt TS-ICL zijn stabiliteit, wat het voordeel van de tijd-geïndexeerde formulering boven patch-gebaseerde benaderingen benadrukt.
• Efficiëntie: Hoewel TS-ICL ongeveer 4× trager is dan de hoog geoptimaliseerde Chronos-2, is het ongeveer 40× sneller dan TFMs, wat een sterke nauwkeurigheid-efficiëntie trade-off biedt.

Betekenis en Claims

De paper claimt dat TS-ICL de fragmentatie in huidige tijdreeksmodellering aanpakt door een enkel architectuur te bieden dat in staat is tot verenigde forecasting en imputatie met native ondersteuning voor covariaten.

De primaire betekenis ligt in de robuustheid tegen incomplete historische observaties. De auteurs demonstreren dat patch-gebaseerde modellen gevoelig zijn voor ontbrekende context, terwijl de tijd-geïndexeerde formulering van TS-ICL het mogelijk maakt om realistische forecasting-settings aan te pakken waarbij data irregulier of gedeeltelijk geobserveerd is. Door de flexibiliteit van in-context learning te combineren met een gestructureerde causale prior, biedt TS-ICL een schaalbaar alternatief voor gespecialiseerde modellen, waarbij het state-of-the-art imputatie prestaties levert terwijl het competitieve forecasting capaciteiten behoudt.

De auteurs merken beperkingen op, specif gezien dat de pointwise regressie formulering hogere computationele kosten met zich meebrengt dan zeer geoptimaliseerde patch-gebaseerde modellen (zoals Chronos-2), hoewel dit wordt gemitigeerd door de superieure snelheid vergeleken met TFMs. Zij suggereren dat toekomstig werk architecturale optimalisaties (bijv. caching) en verdere diversificatie van de trainingsdata prior kan omvatten om de zero-shot generalisatie te verbeteren.