Résumé Technique : EVENTTSF – Prévision de Séries Temporelles Non Stationnaires Consciente des Événements

1. Définition du Problème

La prévision de séries temporelles est cruciale pour des secteurs tels que l'énergie et les transports, mais elle fait face à des défis persistants dus à la non-stationnarité et aux décalages de distribution. Bien que des avancées récentes (par exemple, la normalisation, la décomposition de modèles) aient abordé la non-stationnarité unimodale, elles négligent souvent le fait que les décalages de distribution sont fréquemment intriqués avec des événements externes provenant d'autres modalités, en particulier les textes en langage naturel (par exemple, les jours fériés, les promotions, les rapports météorologiques).

Les approches existantes souffrent de deux limitations principales :

1. Fossé Multimodal : La plupart des méthodes reposent sur des données unimodales ou utilisent un contexte textuel grossier, échouant à modéliser les interactions fines entre les événements externes discrets et les séries temporelles continues.
2. Inefficacité de la Diffusion : Les modèles classiques de prévision basés sur la diffusion échantillonnent généralement les pas de temps de diffusion à partir d'une distribution uniforme fixe. Cela ignore la variabilité non stationnaire induite par les événements, où différents événements provoquent des décalages distincts dans l'amplitude et la variance du signal. Par conséquent, l'échantillonnage uniforme conduit à une difficulté de débruitage déséquilibrée à travers les étapes de diffusion, car le Rapport Signal sur Bruit (SNR) varie de manière hétérogène selon le contexte événementiel.

2. Méthodologie : EVENTTSF

Les auteurs proposent EVENTTSF, un cadre de diffusion autorégressif conçu pour intégrer les séries temporelles historiques et les événements textuels via une diffusion étape par étape. L'architecture adresse la synchronisation des événements discrets et des séries continues, ainsi que le déséquilibre dans la difficulté de débruitage.

2.1 Diffusion Autorégressive Multimodale

• Synchronisation des Événements : Le modèle partitionne les séries temporelles continues en segments non chevauchants ($x_s$) et aligne chacun avec un embedding d'événement textuel correspondant ($c_s$). Si aucun événement ne se produit, un événement NULL est assigné. Cela crée une représentation unifiée $D = \{(x_s, c_s)\}$, comblant le fossé entre les processus ponctuels temporels et les séries continues.
• Génération Autorégressive : Le modèle traite la prévision comme une génération autorégressive de segments fins. À chaque étape $s$, il se conditionne sur un état latent $Z_{s-1}$ (résumant l'historique), le segment bruyant courant $x^t_s$, et l'embedding d'événement aligné $c_s$.
• Appariement de Flux (Flow Matching) : Au lieu de la diffusion standard, le modèle utilise l'Appariement de Flux pour apprendre un champ de vitesse $v_t$ qui transforme une distribution a priori simple en la distribution de données cible. Le débruiteur $M_\theta$ est entraîné pour prédire ce champ de vitesse, mettant à jour l'état latent $Z_s$ de manière autorégressive.

2.2 Échantillonnage de Pas de Temps Conscient des Événements

Pour atténuer la difficulté de débruitage déséquilibrée causée par un échantillonnage uniforme des pas de temps, EVENTTSF introduit un pas de temps d'appariement de flux conscient des événements.

• Problème : L'échantillonnage uniforme ($t \sim U(0,1)$) ne prend pas en compte le fait que différents événements induisent différents SNR, conduisant à des difficultés de débruitage hétérogènes.
• Solution : Le modèle reparamètre un pas de temps uniforme de base $\hat{t}$ en un pas de temps adaptatif aux événements $t$ en utilisant une fonction de mappage apprenable $\phi$ :
  $$t = \phi(\hat{t}, c) = F^{-1}_{\text{Beta}(\alpha(c), \beta(c))}(\hat{t})$$
• Mécanisme : Deux réseaux linéaires légers prédisent les paramètres $\alpha(c)$ et $\beta(c)$ d'une distribution Beta conditionnée par l'embedding d'événement $c$. Cela garantit que la difficulté de débruitage effective est allouée plus uniformément à travers les étapes de diffusion pour des types d'événements spécifiques, adaptant le calendrier d'échantillonnage à la sémantique de l'événement.

2.3 Détails de l'Architecture

Le débruiteur central est un Transformateur de Diffusion en U Multimodal (M-U-DiT). Il emploie un sous-échantillonnage et un sur-échantillonnage avec des connexions résiduelles pour aligner la sémantique des événements avec des motifs temporels multi-résolutions. Il intègre les états historiques, les entrées bruyantes et les conditions événementielles via des mécanismes d'attention croisée.

3. Contributions Clés

1. Reformulation du Paradigme : L'article formule la prévision non stationnaire consciente des événements comme un paradigme multimodal, incorporant explicitement l'information d'événements externes pour aborder les décalages de distribution que les modèles unimodales manquent.
2. Innovation Méthodologique :
   • Alignement Fin : Introduit un mécanisme de synchronisation pour aligner les segments d'événements discrets avec les fenêtres de séries temporelles continues.
   • Pas de Temps Conscient des Événements : Propose une stratégie de reparamétrisation novatrice qui apprend des calendriers de diffusion conditionnés par les événements pour équilibrer la difficulté de débruitage, allant au-delà de l'échantillonnage uniforme statique.
3. Performance Supérieure : Des expériences extensives démontrent que EVENTTSF surpasse 12 lignes de base (incluant des modèles non stationnaires et basés sur la diffusion) sur 7 jeux de données.

4. Résultats Expérimentaux

Le modèle a été évalué sur 7 jeux de données (1 synthétique, 6 réels couvrant le trafic, la météo et la physique atmosphérique) contre 12 lignes de base (par exemple, CSDI, TimeDiff, TMDM, NsDiff, Autoformer, DLinear).

• Prévision Probabiliste : EVENTTSF a réalisé une amélioration moyenne de 41,3 % du Score de Probabilité Classé Continu (CRPS) et de la Perte de Quantile Pondéré (WQL) sur tous les jeux de données.
• Prévision Déterministe : Le modèle a amélioré l'Erreur Absolue Moyenne (MAE) d'une moyenne de 27,5 %.
• Études d'Ablation :
  • La suppression des événements textuels a dégradé les performances de manière significative (par exemple, WQL augmenté de 10,71 % sur le jeu de données Température–New York).
  • Le remplacement de l'échantillonnage uniforme des pas de temps par le mécanisme conscient des événements a réduit systématiquement les erreurs (par exemple, CRPS réduit de 9,21 %).
• Efficacité : EVENTTSF a démontré des temps d'entraînement plus rapides (1,13 fois plus rapide que la deuxième meilleure ligne de base sur des données synthétiques) et une croissance sous-linéaire du temps d'entraînement par rapport aux horizons de prévision, attribué à son approche de génération par segments.
• Augmentation des Lignes de Base : Même lorsque les lignes de base ont été augmentées avec des embeddings d'événements (via attention croisée ou conditionnement résiduel), elles sont restées substantiellement inférieures à EVENTTSF, indiquant qu'une simple injection d'événements est insuffisante sans les mécanismes spécifiques de diffusion autorégressive et de pas de temps.

5. Signification et Revendications

L'article revendique d'être pionnier dans l'intégration de connaissances multimodales externes spécifiquement pour la prévision de séries temporelles non stationnaires. Sa signification réside dans :

• Aborder le Fossé Multimodal : Il fournit un cadre unifié pour modéliser l'interaction entre les événements textuels discrets et les séries temporelles continues, capturant les dépendances en cascade et décalées que les modèles de contexte global manquent.
• Résoudre le Déséquilibre de Diffusion : Il identifie et résout le problème de l'hétérogénéité induite par les événements dans la difficulté de débruitage, proposant un calendrier d'échantillonnage apprenable et conditionné par les événements qui stabilise l'entraînement et améliore la qualité de génération.
• Applicabilité Pratique : Le cadre est conçu pour des scénarios où les événements futurs (par exemple, des promotions planifiées, des jours fériés) sont connus à l'avance, permettant au modèle d'anticiper les décalages de distribution qui ne peuvent être déduits des seules observations historiques.

Les auteurs concluent que EVENTTSF établit un paradigme flexible pour incorporer des sémantiques d'événements hétérogènes dans la modélisation temporelle, ouvrant de nouvelles directions pour l'analyse des dynamiques non stationnaires cross-modales.