🤖 machine learning

TiRex-2: Generalizing TiRex to Multivariate Data and Streaming

TiRex-2 is een nieuw recurrent xLSTM-gebaseerd tijdreeks-fundamentmodel dat univariate voorspelling uitbreidt naar multivariate scenario's met toekomstige covariaten door een geheugencentrisch ontwerp voor constante kosten bij streaming en een synthetische koppelingspijplijn voor schaalbare pretraining te hanteren, waarmee het state-of-the-art zero-shot prestaties bereikt.

Oorspronkelijke auteurs: Patrick Podest, Marco Pichler, Elias Bürger, Levente Zólyomi, Bernhard Voggenberger, Wilhelm Berghammer, Daniel Klotz, Sebastian Böck, Günter Klambauer, Sepp Hochreiter

Gepubliceerd 2026-07-02

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Patrick Podest, Marco Pichler, Elias Bürger, Levente Zólyomi, Bernhard Voggenberger, Wilhelm Berghammer, Daniel Klotz, Sebastian Böck, Günter Klambauer, Sepp Hochreiter

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je het weer probeert te voorspellen. In de oude dagen keek je misschien naar slechts één thermometer om de temperatuur van morgen te raden. Maar het echte leven is rommeliger: de temperatuur, luchtvochtigheid, windsnelheid en luchtdruk veranderen allemaal tegelijkertijd, en soms weet je al dingen over de toekomst (zoals een geplande stormfront of een feestdag die meestal voor drukte zorgt).

Het artikel introduceert TiRex-2, een nieuwe "super-voorspeller" AI die is ontworpen om deze rommelige, multivariate realiteit beter aan te kunnen dan eerdere modellen. Dit is hoe het werkt, uitgelegd aan de hand van eenvoudige concepten:

1. Het Probleem: De "Bibliotheek" versus het "Notitieblok"

Eerdere AI-modellen voor tijdreeksen (zoals Chronos-2) zijn als een reusachtige bibliotheek. Elke keer als er een nieuwe stuk informatie binnenkomt (zoals een nieuwe temperatuurmeting), moet de AI door zijn hele bibliotheek met gegevens uit het verleden lopen om verbindingen te vinden. Naarmate de geschiedenis langer wordt, wordt dit "lopen" steeds langzamer, totdat het te zwaar wordt om in realtime bij te werken.

TiRex-2 is anders. Het is als een slim notitieblok dat een lopende samenvatting bijhoudt. In plaats van elke keer het hele boek opnieuw te lezen, werkt het alleen de huidige pagina bij. Hierdoor kan het op hetzelfde tempo blijven werken, ongeacht hoeveel geschiedenis je het geeft. Dit wordt "constant cost streaming" genoemd.

2. De Superkracht: De Toekomst Kennen (Zonder te Bedriegen)

In veel scenario's uit de echte wereld weet je van tevoren al bepaalde zaken. Bijvoorbeeld: je weet dat een fabriek volgende week dinsdag sluit voor onderhoud, of je weet dat er een feestdag aankomt.

De Uitdaging: Als een AI naar "toekomstige" gegevens kijkt om de "huidige" situatie te voorspellen, is dat bedrog. De AI mag de toekomst alleen kennen voor de zaken die je al weet (zoals de feestdag), maar mag nooit in de toekomst gluren van het ding dat het probeert te voorspellen (zoals de werkelijke verkoopcijfers).
De Oplossing: TiRex-2 gebruikt een speciaal "verkeerslicht"-systeem (technisch gezien een asymmetrische gegroepeerde aandacht of asymmetric grouped attention).
- Het kijkt naar de "toekomst-bekende" data (de feestdag) vanuit beide richtingen (verleden en toekomst) om de volled zware context te begrijpen.
- Maar het plaatst een strikte muur tussen die data en de "doel"-data (de verkoop). De doel-data kan de informatie over de feestdag zien, maar de informatie over de feestdag kan niet "teruggluren" naar de toekomst van de doel-data. Dit zorgt ervoor dat de voorspelling eerlijk en causaal is.

3. De Training: De "Mixoloog"

Om deze AI te leren hoe variabelen met elkaar interageren (bijvoorbeeld hoe wind de temperatuur beïnvloedt), hadden de onderzoekers veel oefendata nodig. Real-world data met veel variabelen is zeldzaam en moeilijk te vinden.

De Truc: Ze bouwten een "mixoloog"-pipeline. Ze namen duizenden enkele, eenzame tijdreeksen (zoals alleen temperatuur, alleen verkoop, alleen verkeer) en mengden deze on the fly om nep, complexe multivariate scenario's te creëren.
Ze gebruikten verschillende "recepten" om te mengen: soms voegden ze ze gewoon bij elkaar op, soms liet ze de ene variabele de andere veroorzaken, en soms creëerden ze complexe, niet-lineaire relaties. Dit leerde de AI patronen te herkennen in hoe verschillende variabelen samen dansen.

4. De Resultaten: De Marathonloper

De paper testte TiRex-2 op drie belangrijke manieren:

Zero-Shot Prestaties: Ze gooiden de AI voor problemen waar hij nog nooit eerder mee te maken had gehad (andere industrieën, andere tijdschalen). TiRex-2 versloeg de huidige state-of-the-art modellen op twee belangrijke benchmarks (fev-bench en GIFT-Eval).
De Marathon (Streaming): Ze voedden de AI een enorme stroom gegevens (32 miljoen stappen!). Terwijl andere modellen vertraagden of in de war raakten naarmate de geschiedenis groeide, hield TiRex-2 zijn snelheid en nauwkeurigheid constant. Het werd niet moe.
De Lange Adem: Wanneer de AI werd gevraagd om heel ver in de toekomst te voorspellen (lange horizonten), gebruikte TiRex-2 de "toekomst-bekende" data (zoals de naderende stormfront) om accuraat te blijven, terwijl andere modellen overgingen op blind gokken.

Samenvatting

TiRex-2 is een nieuw type AI dat:

Snel werkt, zelfs met enorme hoeveelheden geschiedenis (in tegen tegenover de "bibliotheek"-modellen).
Het verschil weet tussen waar het wel in mag gluren (toekomstige feestdagen) en wat het moet voorspellen (toekomstige verkoop), zodat het niet bedriegt.
Leert van synthetische menging, waardoor het begrijpt hoe verschillende variabelen interageren zonder dat er voor elk scenario een perfecte dataset uit de echte wereld nodig is.

De auteurs beweren dat dit het eerste model is dat al deze functies combineert: multivariate ondersteuning, toekomst-bekende covariaten, strikte causaliteit en streaming met constante snelheid.

Technische Samenvatting: TiRex-2

Probleemstelling

Real-world tijdreeksvoorspelling is inherent sequentieel en multivariabel. Observaties komen continu binnen, variabelen evolueren gezamenlijk, en een subset van covariaten (bijv. kalenderkenmerken, geplande interventies) is vaak vooraf bekend. Hoewel bestaande Time Series Foundation Models (TSFMs) zoals Chronos-2 en MOIRAI sterke multivariate capaciteiten hebben getoond, vertrouwen zij voornamelijk op Transformer-architecturen. Deze modellen lijden aan twee kritieke beperkingen in streaming-scenario's:

Kwadratische Complexiteit: Inferentiekosten groeien kwadratisch met de contextlengte door aandachtsmecanismen, en volledige geschiedenis-herberekening is vereist wanneer nieuwe observaties arriveren.
Covariaatverwerking: Veel modellen hebben moeite met het integreren van toekomstige bekende covariaten zonder de strikte causaliteit over doelvariabelen te schenden, of ze missen ondersteuning voor zowel verleden als toekomstige covariaten tegelijkertijd.

Daarentegen leunen sterke univariate modellen (bijv. TiRex, Reverso) vaak op kanaalonafhankelijke aannames, waarbij de kruis-variabele afhankelijkheden die essentieel zijn voor multivariate systemen worden genegeerd. Er is een gat in schaalbare, multivariate foundation models die streaming-inferentie ondersteunen met constante kosten terwijl ze strikte doel-causaliteit behouden en gebruikmaken van toekomstige bekende covariaten.

In tegenstelling hiertoe introduceert de auteur TiRex-2, een recurrent, xLSTM-gebaseerd foundation model dat ontworpen is om univariate voorspelling te generaliseren naar multivariate settings met zowel verleden als toekomstige covariaten.

Architectuur

TiRex-2 maakt gebruik van een geheugen-gecentreerd ontwerp gebaseerd op xLSTM (specifiek alternerende mLSTM en sLSTM blokken), wat zorgt voor constante per-patch kostenupdates. De architectuur wisselt af tussen twee mixing blocks:

Time Mixer: Werkt langs de patch-as ( $L$ $L$ ) onafhankelijk voor elke variabele.
- Doel- en verleden-covariaat-tokens worden verwerkt door een strikt forward xLSTM.
- Toekomstige bekende covariaat-tokens worden verwerkt door dezelfde gewichts-gebonden xLSTM in reverse, en de forward en reverse passes worden lineair gefuseerd. Dit stelt toekomstige bekende covariaten in staat om informatie te coderen van zowel vóór als na hun positie zonder de causaliteit voor de doelen te schenden.
Variate Mixer: Werkt langs de variabele-as ( $V$ $V$ ) met behulp van asymmetrische gegroepeerde aandacht.
- Het maakt gebruik van block-diagonal grouped attention om een arbitraal aantal variabelen te verwerken zonder padding.
- Cruciaal is dat het een asymmetrische mask gebruikt waarbij target queries de covariate keys kunnen lezen, maar covariate queries de target keys niet kunnen lezen. Dit zorgt ervoor dat toekomstige bekende covariaten de doelen kunnen beïnvloeden, maar dat de doelen de covariaten niet kunnen beïnvloeden, wat strikte causaliteit waarborgt.

Training en Datageneratie

Om schaalbare multivariate pretraining te ondersteunen zonder afhankelijk te zijn van schaarse gecureerde multivariate corpora, stellen de auteurs een synthetische koppeling-pipeline voor. Deze pipeline:

Trekt univariate series uit grote corpora.
Augmenteert deze (amplitude trends, censoring, spikes).
Koppelt deze on-the-fly via diverse mechanismen: identiteit, functionele koppeling, lineaire mixing, cointegratie, en zowel lineaire als niet-lineaire structurele causale modellen (SCMs).
Past post-processing toe (covariaat-verrijking, time warping, discretisering) om realistische multivariate trainingsinstanties te creëren met controleerbare kruis-variabele afhankelijkheden.

Inferentie-efficiëntie

De recurrente aard van de xLSTM-backbone maakt streaming inferentie mogelijk. Naarmate nieuwe datapatches arriveren, werkt het model zijn verborgen status bij in constante tijd ( $O(1)$ per patch), in contrast met de lineaire ( $O(L)$ ) of kwadratische ( $O(L^2)$ ) kosten van attention-gebaseerde modellen met KV caching of volledige herberekening.

Belangrijkste Bijdragen

Recurrent Multivariate Foundation Model: TiRex-2 breidt de univariate TiRex uit om meerdere doelvariabelen gezamenlijk te modelleren met geobserveerde (verleden) en toekomstige covariaten. Het activeert 38,4M parameters in univariate modus en een aanvullende 44,1M voor multivariate voorspelling.
Strikte Causaliteit met Toekomstige Covariaten: Door de combinatie van bidirectionele xLSTM voor covariaten en asymmetrische grouped attention, integreert het model toekomstige bekende covariaten bidirectioneel terwijl de doelstromen strikt causaal blijven in een enkele forward pass.
Constant-Cost Streaming: De recurrente status maakt incrementele updates mogelijk, waardoor voorspellingen met constante computationele kosten per tijdstap kunnen worden ververst, onafhankelijk van de contextlengte.
Synthetische Koppeling-Pipeline: Een datageneratie-framework dat diverse multivariate samples construeert uit univariate corpora, waarbij indirecte, causale en directe kruis-variabele afhankelijkheden expliciet worden gemodelleerd om de effectieve trainingsdistributie te vergroten.

Resultaten

De auteurs evalueren TiRex-2 op zero-shot, streaming, en long-horizon forecasting taken:

Zero-Shot Performance: TiRex-2 bereikt state-of-the-art prestaties op fev-bench (het testen van covariaat-utilisatie) en GIFT-Eval (het testen van generalisatie over domeinen en frequenties), waarbij het modellen zoals Chronos-2, MOIRAI-2 en TimesFM-2.5 overtreft.
Streaming Stabiliteit: In streaming experimenten tot 32M stappen behoudt TiRex-2 een stabiele voorspellingskwaliteit (MASE) ver voorbij de trainingscontextgrenzen (8k post-training), zonder tekenen van verzadiging of drift.
Long-Horizon Forecasting: Op de dysts benchmark (chaotische systemen) leidt TiRex-2 op korte- tot middellange horizonten, waarbij het effectief signalen uit state variabelen extraheert om nauwkeurigheid te behouden.
Covariaat Shift Sensitiviteit: TiRex-2 behoudt nuttige covariaat-signalen over een breder lag-bereik vergeleken met Chronos-2, wat robuustheid toont tegen misalignerde covariaten.
Ablatie Studies: Experimenten bevestigen dat toekomstige bekende covariaten consistente winst opleveren, en dat de asymmetrische groep aandacht en bidirectionele mixing cruciale componenten zijn voor de prestaties.

Betekenis

Het artikel beweert dat TiRex-2 het eerste time series foundation model is dat de specifieke combinatie bereikt van:

Native multivariate ondersteuning met zowel verleden als toekomstige covariaten.
Strikte target causaliteit (voorkomt dat toekomstige targets lekken in het verleden van voorspellingen).
Constant-memory en constant-cost streaming inferentie.
State-of-the-art zero-shot prestaties.

Door de mismatch tussen de Transformer-gebaseerde schaalbaarheid en de vereisten van streaming voorspelling aan te pakken, biedt TiRex-2 een praktische oplossing voor high-stakes, continue besluitvormingssystemen (bijv. overstromingsbeheer, predictief onderhoud) waar efficiëntie en real-time updates van cruciaal belang zijn. De auteurs merken op dat hoewel toekomstige bekende covariaten typisch statisch zijn binnen een forecast window, het model dynamische updates effectief afhandelt door ze naar de causale regio te verschuiven. Toekomstig werk wordt gesuggereerd om dynamische covariaat-selectie te verkennen om de inferentie-kosten verder te optimaliseren.