🤖 machine learning

TiRex-2: Generalizing TiRex to Multivariate Data and Streaming

TiRex-2 est un nouveau modèle de fondation de séries temporelles récurrent basé sur xLSTM qui étend la prévision univariée aux scénarios multivariés avec des covariables futures en employant une conception centrée sur la mémoire pour un streaming à coût constant et un pipeline de couplage synthétique pour un préentraînement évolutif, atteignant des performances zero-shot de pointe.

Auteurs originaux : Patrick Podest, Marco Pichler, Elias Bürger, Levente Zólyomi, Bernhard Voggenberger, Wilhelm Berghammer, Daniel Klotz, Sebastian Böck, Günter Klambauer, Sepp Hochreiter

Publié 2026-07-02

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Patrick Podest, Marco Pichler, Elias Bürger, Levente Zólyomi, Bernhard Voggenberger, Wilhelm Berghammer, Daniel Klotz, Sebastian Böck, Günter Klambauer, Sepp Hochreiter

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayiez de prédire la météo. Autrefois, vous auriez pu regarder un seul thermomètre pour deviner la température de demain. Mais la vie réelle est plus complexe : la température, l'humidité, la vitesse du vent et la pression atmosphérique changent tous ensemble, et parfois, vous savez déjà certaines choses sur le futur (comme un front tempétueux prévu ou un jour férié qui apporte habituellement du monde).

Le document présente TiRex-2, une nouvelle IA « super-prévisionnelle » conçue pour gérer cette réalité complexe et multivariée mieux que les modèles précédents. Voici comment elle fonctionne, décomposé en concepts simples :

1. Le Problème : La « Bibliothèque » vs Le « Carnet de notes »

Les modèles d'IA précédents pour les séries temporelles (comme Chronos-2) sont comme une gigantesque bibliothèque. Chaque fois qu'une nouvelle information arrive (comme une nouvelle lecture de température), l'IA doit retourner parcourir toute sa bibliothèque de données passées pour trouver des connexions. À mesure que l'historique s'allonge, ce « parcours » devient de plus en plus lent, finissant par devenir trop lourd à gérer pour les mises à jour en temps réel.

TiRex-2 est différent. C'est comme un carnet de notes intelligent qui garde un résumé permanent. Au lieu de relire tout le livre à chaque fois, il met simplement à jour sa page actuelle. Cela lui permet de travailler toujours à la même vitesse, peu importe la quantité d'historique que vous lui donnez. C'est ce qu'on appelle le « flux à coût constant » (constant cost streaming).

2. Le Superpouvoir : Connaître le Futur (Sans Tricher)

Dans de nombreux scénarios du monde réel, vous connaissez déjà certaines choses à l'avance. Par exemple, vous savez qu'une usine fermera mardi prochain pour maintenance, ou vous savez qu'un jour férié approche.

Le Défi : Si une IA regarde des données « futures » pour prédire le « présent », elle triche. Elle doit connaître le futur uniquement pour les éléments que vous connaissez déjà (comme le jour férié), mais elle ne doit jamais jeter un coup d'œil au futur de la chose qu'elle essaie de prédire (comme les chiffres de ventes réels).
La Solution : TiRex-2 utilise un système spécial de « feux de signalisation » (techniquement appelé attention groupée asymétrique).
- Il regarde les données « futures connues » (le jour férié) dans les deux sens (passé et futur) pour comprendre le contexte complet.
- Mais il place un mur strict entre ces données et les données « cibles » (les ventes). La cible peut voir l'information sur le jour férié, mais l'information sur le jour férié ne peut pas « jeter un regard en arrière » sur le futur de la cible. Cela garantit que la prédiction est honnête et causale.

3. L'Entraînement : Le « Mixologue »

Pour apprendre à cette IA comment les variables interagissent (par exemple, comment le vent affecte la température), les chercheurs avaient besoin de beaucoup de données d'entraînement. Les données du monde réel comportant de nombreuses variables sont rares et difficiles à trouver.

L'Astuce : Ils ont construit un pipeline de « mixologue ». Ils ont pris des milliers de séries temporelles isolées et solitaires (comme juste la température, juste les ventes, juste le trafic) et les ont mélangées à la volée pour créer de faux scénarios multivariés complexes.
Ils ont utilisé différentes « recettes » pour les mélanger : parfois ils les additionnaient simplement, parfois ils faisaient en sorte que l'une cause l'autre, et parfois ils créaient des relations non linéaires complexes. Cela a appris à l'IA à reconnaître les schémas dans la façon dont différentes variables dansent ensemble.

4. Les Résultats : Le Coureur de Marathon

Les chercheurs ont testé TiRex-2 de trois manières principales :

Performance Zero-Shot : Ils ont jeté l'IA sur des problèmes qu'elle n'avait jamais vus auparavant (différents secteurs, différentes échelles de temps). TiRex-2 a battu les modèles de pointe actuels sur deux benchmarks majeurs (fev-bench et GIFT-Eval).
Le Marathon (Streaming) : Ils ont alimenté l'IA avec un flux massif de données (32 millions d'étapes !). Alors que les autres modèles ralentissaient ou s'embrouillaient à mesure que l'historique grandissait, TiRex-2 maintenait sa vitesse et sa précision constantes. Il ne s'est pas fatigué.
Le Long Cours : Lorsqu'on lui a demandé de prédire très loin dans le futur (longs horizons), TiRex-2 a utilisé les « données futures connues » (comme le front tempétueux) pour rester précis, tandis que les autres modèles se sont repliés sur des suppositions aveugles.

Résumé

TiRex-2 est un nouveau type d'IA qui :

Fonctionne rapidement même avec d'énormes quantités d'historique (contrairement aux modèles de type « bibliothèque »).
Fait la distinction entre ce qu'il peut observer (futurs jours fériés) et ce qu'il doit prédire (futures ventes), garantissant qu'il ne triche pas.
Apprend par mélange synthétique, ce qui lui permet de comprendre comment différentes variables interagissent sans avoir besoin d'un ensemble de données réelles parfait pour chaque scénario.

Les auteurs affirment que c'est le premier modèle à combiner toutes ces caractéristiques : support multivarié, covariables futures connues, causalité stricte et streaming à vitesse constante.

Résumé Technique : TiRex-2

Problématique

La prévision de séries temporelles en conditions réelles est intrinsèquement séquentielle et multivariée. Les observations arrivent en continu, les variables évoluent conjointement, et un sous-ensemble de covariables (par exemple, les caractéristiques calendaires, les interventions programmées) est souvent connu à l'avance. Bien que les modèles de fondation pour séries temporelles (TSFM) existants comme Chronos-2 et MOIRAI aient démontré de solides capacités multivariées, ils reposent principalement sur des architectures Transformer. Ces modèles souffrent de deux limitations critiques dans les scénarios de flux (streaming) :

Complexité Quadratique : Les coûts d'inférence augmentent de manière quadratique avec la longueur du contexte en raison des mécanismes d'attention, et une recomputation complète de l'historique est nécessaire à mesure que de nouvelles observations arrivent.
Gestion des Covariables : De nombreux modèles peinent à intégrer les covariables connues dans le futur sans violer la causalité stricte sur les variables cibles, ou manquent de support pour les covariables passées et futures simultanément.

Inversement, les modèles univariés performants (ex. TiRex, Reverso) reposent souvent sur des hypothèses d'indépendance de canal, négligeant les dépendances inter-variates essentielles aux systèmes multivariés. Il existe un fossé concernant les modèles de fondation multivariés scalables capables de supporter une inférence en streaming à coût constant tout en maintenant une causalité stricte pour les cibles et en exploitant les covariables connues dans le futur.

Méthodologie

Les auteurs introduisent TiRex-2, un modèle de fondation récurrent basé sur xLSTM, conçu pour généraliser la prévision univariée aux contextes multivariés avec des covariables passées et futures.

Architecture

TiRex-2 utilise une conception centrée sur la mémoire basée sur xLSTM (spécifiquement des blocs mLSTM et sLSTM alternés), permettant des mises à jour par patch à coût constant. L'architecture alterne entre deux blocs de mélange :

Mélangeur Temporel (Time Mixer) : Agit le long de l'axe des patches ( $L$ $L$ ) indépendamment pour chaque variable.
- Les jetons (tokens) de la cible et des covariables passées sont traités par un xLSTM strictement direct (forward).
- Les jetons des covariables connues dans le futur sont traités par le même xLSTM à poids partagés en mode inverse (reverse), et les passages directs et inverses sont fusionnés linéairement. Cela permet aux covariables connues dans le futur d'encoder l'information provenant d'avant et d'après leur position sans violer la causalité pour les cibles.
Mélangeur de Variates (Variate Mixer) : Agit le long de l'axe des variates ( $V$ $V$ ) via une attention groupée asymétrique.
- Il utilise une attention groupée en blocs diagonaux pour gérer un nombre arbitraire de variates sans remplissage (padding).
- Crucialement, il utilise un masque asymétrique où les requêtes (queries) de la cible peuvent lire les clés (keys) des covariables, mais les requêtes des covariables ne peuvent pas lire les clés des cibles. Cela garantit que les covariables connues dans le futur peuvent influencer les cibles, mais que les cibles ne peuvent pas influencer les covariables, préservant ainsi une causalité stricte.

Entraînement et Génération de Données

Pour soutenir un préentraînement multivarié scalable sans dépendre de corpus multivariés curatés et rares, les auteurs proposent un pipeline de couplage synthétique. Ce pipeline :

Tire des séries univariées à partir de vastes corpus.
Les augmente (tendances d'amplitude, censure, pics).
Les couple à la volée via divers mécanismes : identité, couplage fonctionnel, mélange linéaire, cointégration, ainsi que des modèles de causalité structurelle (SCM) linéaires et non linéaires.
Applique un post-traitement (enrichissement des covariables, déformation temporelle, discrétisation) pour créer des instances d'entraînement multivariées réalistes avec des dépendances inter-variates contrôlables.

Efficacité de l'Inférence

La nature récurrente de l'architecture xLSTM permet une inférence en streaming. À mesure que de nouveaux patches de données arrivent, le modèle met à jour son état caché en un temps constant ( $O(1)$ par patch), contrastant avec les coûts linéaires ( $O(L)$ ) ou quadratiques ( $O(L^2)$ ) des modèles basés sur l'attention avec cache KV ou recomputation complète.

Contributions Clés

Modèle de Fondation Multivarié Récurrent : TiRex-2 étend le modèle univarié TiRex pour modéliser conjointement plusieurs variates cibles avec des covariables observées (passées) et futures. Il active 38,4 millions de paramètres en mode univarié et 44,1 millions supplémentaires pour la prévision multivariée.
Causalité Stricte avec Covariables Futures : Grâce à la combinaison du xLSTM bidirectionnel pour les covariables et de l'attention groupée asymétrique, le modèle intègre les covariables connues dans le futur de manière bidirectionnelle tout en garantissant que les flux cibles restent strictement causaux en un seul passage direct.
Streaming à Coût Constant : La nature récurrente de l'état permet des mises à jour incrémentales, permettant de rafraîchir les prévisions avec un coût de calcul constant par pas de temps, indépendamment de la longueur du contexte.
Pipeline de Couplage Synthétique : Un cadre de génération de données qui construit des échantillons multivariés diversifiés à partir de corpus univariés, modélisant explicitement les dépendances inter-variates indirectes, causales et directes pour étendre la distribution d'entraînement effective.

Résultats

Les auteurs évaluent TiRex-2 sur des tâches de prévision zero-shot, en streaming et à long horizon :

Performance Zero-Shot : TiRex-2 atteint des performances de pointe sur fev-bench (testant l'utilisation des covariables) et GIFT-Eval (testant la généralisation à travers les domaines et les fréquences), surpassant des modèles comme Chronos-2, MOIRAI-2 et TimesFM-2.5.
Stabilité du Streaming : Dans les expériences de streaming allant jusqu'à 32 millions d'étapes, TiRex-2 maintient une qualité de prévision stable (MASE) bien au-delà des limites de contexte d'entraînement (8k post-entraînement), ne montrant aucun signe de saturation ou de dérive.
Prévision à Long Horizon : Sur le benchmark dysts (systèmes chaotiques), TiRex-2 domine sur les horizons courts à modérés, extrayant efficacement le signal des variables d'état pour maintenir la précision.
Sensibilité au Décalage des Covariables : TiRex-2 conserve des signaux de covariables utiles sur une plage de retard plus large par rapport à Chronos-2, démontant une robustesse face aux covariables mal alignées.
Études d'Ablation : Les expériences confirment que les covariables connues dans le futur apportent des gains constants, et que l'attention groupée asymétrique ainsi que le mélange bidirectionnel sont des composants critiques de la performance.

Signification

L'article affirme que TiRex-2 est le premier modèle de fondation pour séries temporelles à atteindre la combinaison spécifique de :

Support multivarié natif avec des covariables passées et futures.
Causalité stricte de la cible (empêchant les cibles futures de fuiter dans les prédictions passées).
Inférence en streaming à mémoire et coût constants.
Performances zero-shot de pointe.

En adressant le désalignement entre les comportements de mise à l'échelle des Transformers et les exigences de la prévision en streaming, TiRex-2 offre une solution pratique pour les systèmes de prise de décision continue à enjeux élevés (ex. atténuation des inondations, maintenance prédictive) où l'efficacité et les mises à jour en temps réel sont primordiales. Les auteurs notent que bien que les covariables connues dans le futur soient typiquement statiques dans une fenêtre de prévision, le modèle gère efficacement les mises à jour dynamiques en les décalant dans la région causale. Des travaux futurs sont suggérés pour explorer la sélection dynamique des covariables afin d'optimiser davantage les coûts d'inférence.