SPaRSe-TIME: Saliency-Projected Low-Rank Temporal Modeling for Efficient and Interpretable Time Series Prediction

1. Problématique

La prévision de séries temporelles est traditionnellement dominée par des architectures basées sur des séquences (RNN, LSTM, GRU) et des mécanismes d'attention (Transformers). Bien que performantes, ces méthodes présentent plusieurs limites majeures :

• Coût computationnel élevé : Les modèles à base d'attention (Transformers) ont une complexité quadratique $O(T^2)$ par rapport à la longueur de la séquence $T$, ce qui les rend coûteux pour les longues séquences.
• Traitement uniforme : Elles traitent généralement tous les pas de temps de manière égale, alors que les signaux temporels réels sont hétérogènes. L'information est souvent distribuée de manière sparse (sparse), avec des motifs informatifs entrecoupés d'observations redondantes.
• Manque d'interprétabilité : La plupart de ces modèles fonctionnent comme des "boîtes noires", rendant difficile la compréhension de la contribution de différentes structures temporelles (tendance, mémoire, événements ponctuels) à la prédiction finale.

L'hypothèse centrale de l'article est que la modélisation temporelle peut être améliorée en se concentrant sélectivement sur les composants informatifs du signal plutôt qu'en traitant uniformément l'ensemble de la séquence.

2. Méthodologie : SPaRSe-TIME

L'auteur propose SPaRSe-TIME, un cadre structuré qui décompose la dynamique temporelle en trois composantes complémentaires : Saliency (Saillance), Memory (Mémoire) et Trend (Tendance). La modélisation est reformulée comme une projection sur des sous-espaces informatifs.

A. Décomposition du Signal

Le signal d'entrée $X$ est décomposé en trois représentations :

1. Saliency ($S(X)$) : Opérateur de projection sparse. Il identifie les pas de temps informatifs en calculant le gradient temporel ($\nabla X_t = X_t - X_{t-1}$). Un vecteur de poids $w$ est attribué à chaque pas de temps proportionnellement à l'amplitude de ce gradient. Le signal est ensuite projeté via une matrice diagonale $D_w$, agissant comme un opérateur de sparsification dépendant des données.
2. Memory ($M(X)$) : Représentation à faible rang (Low-Rank). Elle exploite la redondance temporelle en projetant le signal sur un sous-espace principal de dimension $k$ (via une décomposition en valeurs singulières tronquée, SVD). Cela capture les motifs temporels dominants tout en supprimant le bruit, offrant un résumé compact de l'historique.
3. Trend ($G(X)$) : Modélisation de la tendance globale. Un opérateur de lissage (filtre passe-bas, ex: moyenne mobile) est appliqué pour extraire les dynamiques à basse fréquence et les tendances à long terme, séparant ainsi les variations haute fréquence.

B. Architecture et Agrégation

Les trois composantes sont transformées individuellement par des mappings linéaires apprenables ($\phi_i$) puis combinées via une pondération adaptative :

• Pondération Adaptative : Des poids $\alpha_i$ (pour $i \in \{s, m, g\}$) sont appris via une fonction softmax sur des paramètres scalaires. Cela permet au modèle d'ajuster dynamiquement l'importance relative de la saillance, de la mémoire et de la tendance selon les caractéristiques du dataset.
• Prédiction : La représentation agrégée $H$ est passée à travers une fonction non linéaire pour produire la prédiction finale $\hat{Y}$.

C. Complexité Computationnelle

Contrairement aux Transformers ($O(T^2d)$) ou aux RNN ($O(Th^2)$), SPaRSe-TIME atteint une complexité linéaire $O(kTd)$, où$k$ est la dimension du rang faible ($k \ll T, d$). Cela permet un traitement efficace des longues séquences sans boucles de récurrence séquentielles ni attention quadratique.

3. Contributions Clés

1. Modélisation temporelle par décomposition : Introduction d'un cadre novateur séparant explicitement les dynamiques temporelles en saillance, mémoire et tendance, permettant un raisonnement temporel sélectif et interprétable.
2. Formulation à faible rang et pilotée par la saillance : Reformulation de la modélisation comme une projection sur des sous-espaces informatifs, utilisant la saillance pour la sparsification et la mémoire à faible rang pour la capture efficace des motifs dominants.
3. Architecture économe en calcul : Développement d'une architecture légère évitant la récurrence séquentielle et l'attention quadratique, atteignant une complexité linéaire tout en maintenant des performances compétitives.
4. Interprétabilité explicite : Grâce aux poids $\alpha$ appris, le modèle révèle comment chaque composante temporelle contribue à la prédiction, offrant des insights sur la dynamique spécifique à chaque domaine.

4. Résultats Expérimentaux

L'évaluation a été menée sur cinq datasets réels variés : consommation électrique (Household), données boursières (Netflix, NASDAQ), météo et qualité de l'air (UCI).

• Performance sur les données structurées :
  • Sur les datasets Household et Météo, SPaRSe-TIME surpasse systématiquement les baselines (RNN, LSTM, GRU, Transformer) en termes d'erreur (MAE, RMSE) et de coefficient de détermination ($R^2$).
  • Il produit des prévisions plus lisses et plus stables, capturant efficacement les tendances saisonnières et les dépendances locales.
• Limites sur les données stochastiques :
  • Sur les datasets financiers (Netflix, NASDAQ) et la Qualité de l'air, les performances sont plus mitigées. Ces données étant très bruitées et stochastiques, l'hypothèse de décomposition temporelle claire (tendance/mémoire forte) est moins valide.
  • Sur NASDAQ, le Transformer surpasse SPaRSe-TIME, suggérant que les mécanismes d'attention globale sont plus adaptés aux dépendances faibles et distribuées dans des environnements très bruyants.
• Efficacité computationnelle :
  • SPaRSe-TIME possède le nombre de paramètres le plus faible (1,09K contre 43,35K pour le Transformer) et la complexité FLOPs la plus basse (0,01G).
  • Il affiche le temps d'inférence le plus rapide, confirmant son avantage pour les applications nécessitant une scalabilité.
• Analyse d'ablation et d'interprétabilité :
  • L'étude d'ablation montre que la composante Mémoire est critique sur tous les datasets. La Tendance est cruciale pour les données météo, tandis que la Saillance est plus importante pour les données électriques.
  • Les poids appris ($\alpha$) varient dynamiquement selon le dataset, validant la capacité du modèle à s'adapter aux caractéristiques temporelles spécifiques (ex: poids élevé pour la tendance sur les données météo, poids équilibré sur les données boursières).

5. Signification et Conclusion

SPaRSe-TIME offre une alternative principielle aux modèles de séquence monolithiques. Il comble le fossé entre l'efficacité computationnelle, l'interprétabilité et la performance prédictive.

• Points forts : Idéal pour les séries temporelles structurées où les composantes (tendance, saisonnalité, événements locaux) sont distinctes. Il permet de comprendre pourquoi une prédiction est faite en analysant les contributions des composants.
• Limites : Moins efficace sur des systèmes hautement stochastiques ou non linéaires complexes (comme les marchés financiers très volatils ou les interactions multivariées complexes de la qualité de l'air), où la décomposition linéaire simple ne suffit pas à capturer la dynamique sous-jacente.

En conclusion, ce travail démontre qu'une approche de décomposition structurée, combinée à une projection à faible rang et une sélection de saillance, peut rivaliser avec les architectures deep learning complexes tout en étant nettement plus efficace et explicable, ouvrant la voie à des modèles de séries temporelles évolutifs et transparents.