Résumé Technique : StateFlow – Modélisation Récurrente à Double État pour la Prévision de Séries Temporelles à Longue Échéance

1. Énoncé du Problème

La prévision de séries temporelles multivariées à longue échéance (LTSF) est un défi critique dans des domaines tels que la demande énergétique, les flux de trafic et la modélisation financière. Les principales difficultés proviennent de la non-stationnarité, des changements de régime et de l'accumulation d'erreurs sur des horizons de prévision étendus. Bien que les architectures récentes basées sur les Transformers aient obtenu de hautes performances en capturant les dépendances à longue portée via l'auto-attention, elles souffrent souvent d'une complexité computationnelle quadratique par rapport à la longueur de l'entrée et reposent sur des schémas d'interaction globale qui peuvent être coûteux pour de longues fenêtres de rétrospective (lookback).

Inversement, les réseaux de neurones récurrents (RNN) passent à l'échelle de manière linéaire avec la longueur de la séquence et offrent une structure causale naturelle. Cependant, les modèles récurrents conventionnels (par exemple, LSTM, GRU) compressent généralement l'information temporelle en un seul état caché, échouant à modéliser explicitement les déviations systématiques de prédiction (telles que la dérive ou le biais) qui découlent des changements non stationnaires. Cette limitation fait que leurs performances accusent souvent un retard par rapport aux méthodes modernes basées sur les Transformers dans les contextes de longue échéance.

Le document traite de l'extension du Réseau Neuronal Récurrent Sensible à la Variabilité (VARNN) — conçu à l'origine pour la régression de séquences à une étape — au contexte de la prévision à longue échéance. L'hypothèse centrale est que la modélisation explicite des résidus de prédiction en tant qu'état récurrent distinct peut améliorer la robustesse des modèles récurrents linéaires pour l'extrapolation à long terme.

2. Méthodologie : Le Cadre StateFlow

Le cadre proposé, StateFlow, utilise le VARNN comme un squelette récurrent à double état pour capturer deux signaux complémentaires de la séquence de rétrospective, traités via une stratégie d'indépendance de canal (channel-independent).

2.1 Encodeur Récurrent à Double État

L'encodeur maintient deux trajectoires récurrentes distinctes pour chaque pas de temps $t$ :

1. Trajectoire de l'État Caché ($h_t$) : Représente la dynamique temporelle primaire, incluant les tendances, la saisonnalité, les changements de niveau et les motifs récurrents. Elle est mise à jour à l'aide de l'observation actuelle et des états précédents.
2. Trajectoire de la Mémoire de Résidu ($e_t$) : Suit explicitement les déviations locales structurées de la prédiction. Elle est pilotée par une transformation récurrente non linéaire des résidus ($r_t$) entre les prédictions de base à une étape ($\hat{x}_{base}$) et les valeurs observées ($x_{t+1}$).

Contrairement aux RNN conventionnels qui encodent implicitement les déviations au sein d'un état latent unique, le VARNN sépare ces signaux. L'état caché conditionne l'étape suivante, tandis que l'état de mémoire de résidu fournit un signal dédié aux déviations systématiques, permettant au modèle de distinguer la dynamique primaire de la dérive locale.

2.2 Décodeur d'Horizon par Blocs (Chunk-Based)

Pour mapper les trajectoires de l'encodeur vers l'horizon futur sans subir l'explosion de paramètres associée à l'aplatissement (flattening) de séquences complètes, StateFlow emploie un décodeur par blocs :

• Résumé par Blocs (Chunk Summarization) : Les trajectoires de l'état caché et de la mémoire de résidu sont divisées en blocs chevauchants. Chaque bloc est aplati et projeté dans un plongement (embedding) de dimension fixe via des branches de résumé séparées. Cela préserve les motifs locaux tout en réduisant la croissance des paramètres.
• Tête de Prévision : Les plongements résumés des deux branches sont concaténés et passés à travers une projection linéaire pour générer la prévision multi-étapes.

2.3 Stratégie d'Optimisation en Deux Étapes

Pour combler le fossé entre l'apprentissage de résidus à une étape et la prévision à longue échéance, le modèle emploie une procédure d'entraînement en deux étapes :

1. Étape 1 (Pré-entraînement de l'Encodeur) : L'encodeur VARNN est entraîné en utilisant un objectif de prédiction à une étape sur la fenêtre de rétrospective. Cela fournit un signal d'apprentissage explicite pour que l'état de mémoire de résidu capture les déviations structurées.
2. Étape 2 (Décodage Spécifique à l'Horizon) : L'encodeur pré-entraîné est gelé, et un décodeur spécifique à l'horizon est entraîné à l'aide d'une perte de prévision multi-étapes. Cette séparation stabilise l'optimisation et permet de réutiliser le même encodeur pour différentes échéances de prédiction.

2.4 Complexité Computationnelle

StateFlow maintient une complexité computationnelle linéaire par rapport à la longueur de la rétrospective ($L$) et l'horizon de prévision ($H$). L'encodeur récurrent évolue en $O(L)$, et le décodeur par blocs évite la complexité quadratique ($O(L^2)$) typique des mécanismes d'auto-attention.

3. Contributions Clés

Le document expose les contributions suivantes :

• Investigation de la Récurrence dans la LTSF : Il démontre que la récurrence peut rester compétitive pour la prévision à longue échéance lorsque les dynamiques de déviation sont explicitement incorporées dans les transitions d'état.
• Extension du VARNN : Il étend le VARNN de la régression à une étape à la prévision à longue échéance en utilisant les trajectoires d'état caché et de mémoire de résidu comme représentations de prévision à double état.
• Cadre StateFlow : Il introduit un cadre de prévision de trajectoire récurrente comprenant un décodeur d'horizon par blocs qui résume séparément les dynamiques d'état caché et de mémoire de résidu avant la prédiction directe multi-étapes.
• Optimisation en Deux Étapes : Il propose une stratégie d'entraînement qui apprend d'abord des représentations sensibles aux résidus via la prédiction à une étape, puis entraîne des décodeurs spécifiques à l'horizon, permettant la réutilisation de l'encodeur.
• Validation Empirique : Il fournit des expériences systématiques et des études d'ablation montrant que la récurrence de la mémoire de résidu est un biais inductif compétitif et efficace en termes de paramètres pour la prévision à longue échéance.

4. Résultats Expérimentaux

4.1 Performance de Référence (Benchmark)

StateFlow a été évalué sur sept benchmarks standards de LTSF (ETTh1, ETTh2, ETTm1, ETTm2, Weather, ECL, Traffic) contre dix modèles de pointe, incluant des modèles basés sur les Transformers (iTransformer, PatchTST, Autoformer), des modèles convolutionnels (TimesNet) et des modèles linéaires (DLinear, RLinear).

• Compétitivité : StateFlow a obtenu des performances compétitives, décrochant le plus grand nombre de premières places (15 victoires en MSE et 14 victoires en MAE sur 28 configurations jeu de données-horizon).
• Comparaison : Il s'est montré comparable ou supérieur aux bases solides de modèles linéaires, convolutionnels et basés sur les Transformers, tout en évitant l'auto-attention temporelle quadratique.
• Données de Haute Dimension : Sur des jeux de données à haute dimension comme ECL et Traffic, iTransformer reste plus fort dans certains contextes, suggérant que la modélisation explicite des dépendances inter-variables peut encore offrir des avantages dans ces cas précis. StateFlow, cependant, se concentre sur la modélisation temporelle indépendante par canal.

4.2 Études d'Ablation

• Représentations de l'Encodeur : La représentation à double état ($h, e$) a systématiquement surpassé l'utilisation du seul état caché ($h$), du seul état de mémoire de résidu ($e$), ou des prédictions de base brutes avec les résidus. Cela confirme que la combinaison de la dynamique primaire et des signaux de déviation structurés produit des représentations de prévision plus riches.
• Stratégie de Fusion : Le résumé par blocs séparé pour les trajectoires d'état caché et de résidu (avant concaténation) s'est avéré supérieur au blocage conjoint, préservant les rôles distincts des deux états.
• Décodage par Blocs vs Direct : Le décodeur par blocs a obtenu une précision comparable ou supérieure à l'aplatissement direct tout en réduisant le nombre de paramètres de près de moitié.
• Choix de l'Encodeur Récurrent : Le VARNN a surpassé les encodeurs RNN, GRU et LSTM standards en termes de compromis précision-efficacité. Notamment, le VARNN utilisait nettement moins de paramètres (par exemple, environ 80 % de moins que le LSTM) tout en atteignant un MSE moyen plus bas.
• Stratégie d'Optimisation : La stratégie d'optimisation en deux étapes a apporté un gain mesurable (par exemple, une améliation de +1,88 % pour le VARNN) par rapport à l'entraînement en une étape, soulignant l'efficacité du pré-entraînement de l'état de mémoire de résidu via la prédiction à une étape.

5. Signification et Revendications

Le document affirme que StateFlow offre une alternative efficace aux modèles basés sur l'attention pour la prévision à longue échéance. En modélisant explicitement les dynamiques de mémoire de résidu au sein d'un cadre récurrent, le modèle capture les changements non stationnaires et les déviations systématiques que les modèles récurrents standards manquent.

La signification réside dans la démonstration que l'encodage récurrent linéaire, lorsqu'il est augmenté d'un état dédié de mémoire de résidu et d'un décodeur par blocs, peut rivaliser avec des architectures de Transformers complexes sans encourir de coûts computationnels quadratiques. Les auteurs suggèrent que l'incorporation des dynamiques de déviation dans la récurrence fournit un biais inductif prometteur et efficace en termes de paramètres pour la LTSF. Le travail ne prétend pas résoudre tous les défis de la prévision multivariée de haute dimension (reconnaissant le besoin potentiel de modélisation des dépendances inter-variables) mais établit une base solide pour les approches récurrentes sensibles aux résidus.

Les travaux futurs identifiés consistent à investiguer la modélisation des dépendances inter-variables et à appliquer le cadre à d'autres tâches d'analyse de séries temporelles.