🤖 machine learning

Multi-Scale Convolution with Optimal Transport Attention Effect on Multivariate Time Series

Cet article propose MSC-OT, une nouvelle architecture pour la prévision de séries temporelles multivariées qui intègre une convolution multi-échelle et une régularisation par transport optimal de Sinkhorn au sein d'un cadre d'encodage inversé afin de capturer efficacement les motifs structurels à multi-granularité et de supprimer le bruit, atteignant ainsi des performances supérieures dans les tâches de prédiction à court et à long terme.

Auteurs originaux : HaoChong Fu, Jian Xu

Publié 2026-07-14

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : HaoChong Fu, Jian Xu

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de prédire l'avenir d'une ville bouillonnante. Vous disposez de données provenant de centaines de capteurs différents : feux de signalisation, stations météorologiques, réseaux électriques et marchés boursiers. C'est ce que les scientifiques appellent une Série Temporelle Multivariée. L'objectif est d'observer tous ces éléments en mouvement et de deviner ce qui va se passer ensuite.

Pendant un certain temps, la manière la plus intelligente de faire cela était d'utiliser un modèle « Transformer » — un type d'IA qui agit comme un bibliothécaire super attentif. Mais il y avait un hic. Les bibliothécaires traditionnels saisissaient un instant précis dans le temps (comme « 9h00 ») et regardaient tous les capteurs à la fois. Ils étaient excellents pour voir comment le feu de signalisation changeait de 9h00 à 9h01, mais ils étaient très mauvais pour comprendre comment l'histoire entière du feu de signalisation (la dernière heure) influençait le réseau électrique.

Puis, une nouvelle idée appelée iTransformer est arrivée. Elle a inversé la donne ! Au lieu de regarder un instant donné à travers tous les capteurs, elle regardait l'historique complet d'un seul capteur comme un « token » (une unité d'information unique). Ce fut une victoire majeure pour comprendre comment les différents capteurs communiquent entre eux. Cependant, les auteurs de ce papier, HaoChong Fu et Jian Xu, ont remarqué un problème : en compressant une heure entière de données en un seul petit token, le modèle perdait les détails locaux infimes. C'était comme lire le résumé d'un roman et manquer les dialogues drôles et spécifiques du chapitre 3.

La Grande Idée : MSC-OT
Pour corriger cela, les auteurs ont construit un nouveau système appelé MSC-OT (Multi-Scale Convolution with Optimal Transport). Pensez à cela comme si l'on donnait au bibliothécaire des lunettes super puissantes et un livre de règles très strict.

1. Les Lunettes Super Puissantes (Multi-Scale Convolution)
La partie « Multi-Scale Convolution » est comparable au fait de donner au modèle différentes lentilles pour observer les données.

Imaginez que vous regardez une foule. Une lentille zoome sur un groupe de trois personnes qui discutent (un petit motif). Une autre lentille dézoome pour voir toute une rangée de personnes (un motif plus large).
Le papier utilise deux lentilles spécifiques : une qui regarde des blocs de 3x3 données et une autre de 5x5 blocs.
Cela permet au modèle de capturer les « motifs structurels locaux » — les petits ripples et les fluctuations à court terme que la méthode de token « compressé » précédente avait manqués. C'est comme réaliser que, bien que toute la ville soit occupée, un carrefour spécifique possède un rythme unique qui compte pour la prédiction.

2. Le Livre de Règles Strict (Sinkhorn Optimal Transport)
La seconde partie, Sinkhorn Optimal Transport, est la façon dont le modèle garde son calme quand les choses deviennent folles.

Dans la vraie vie, les données sont désordonnées. Parfois, un capteur bugue et envoie un pic massif et faux dans les chiffres (une valeur aberrante). Une IA normale pourrait paniquer et dire : « Oh non, ce énorme pic doit être la chose la plus importante ! » et ignorer tout le reste.
Les auteurs utilisent une méthode mathématique appelée Optimal Transport (résolue par l'algorithme de Sinkhorn) pour agir comme une « poutre d'équilibre ».
Pensez à cela comme un professeur équitable qui note une classe. Si un élève crie la réponse la plus forte (l'anomalie), le professeur ne lui donne pas simplement tous les points. Au lieu de cela, le professeur s'assure que les points sont distribués équitablement dans toute la classe.
Le papier fixe un « bouton de réglage de l'équilibre » (appelé $\lambda$ ) à 5.0. Ce nombre est ajusté pour lisser les choses juste assez pour ignorer le bruit sans perdre le signal réel. Cela force le modèle à regarder l'ensemble de l'image plutôt qu'à être distrait par une donnée étrange.

Le Mélangeur Magique (Adaptive Fusion)
Comment ces trois éléments fonctionnent-ils ensemble ? L'attention de base (le bibliothécaire original), les lunettes super puissantes (convolution) et le livre de règles (optimal transport).

Le modèle ne se contente pas d'en choisir un ; il les mélange tous.
Il utilise un mélangeur « apprenable ». Imaginez un DJ avec trois curseurs. Au début, le DJ règle l'attention de base à 0.7 (70 %), la convolution à 0.2 (20 %) et le livre de règles à 0.1 (10 %).
Au fur et à mesure que le modèle s'entraîne, il apprend à ajuster ces curseurs. Par exemple, sur le jeu de données ECL (Électricité), le modèle a appris à s'appuyer davantage sur les « lunettes super puissantes » (convolution), augmentant ce poids à plus de 40 %, car ce jeu de données nécessitait plus de détails locaux. Sur le jeu de données Traffic, il a gardé l'attention de base élevée autour de 63 %.
Cela prouve que le meilleur mélange n'est pas le même pour chaque ville ; le modèle apprend la bonne recette pour chaque tâche spécifique.

Est-ce que cela a fonctionné ?
Les auteurs ont testé leur modèle sur cinq jeux de données réels : ECL (Électricité), ETT (Énergie), Exchange (Devises), Traffic et Weather (Météo). Ils l'ont comparé aux meilleurs modèles de ces dernières années, tels que iTransformer, PatchTST et TimesNet.

Les résultats sont prometteurs. Le papier rapporte que le MSC-OT a obtenu la meilleure précision (l'erreur la plus faible) sur trois des cinq jeux de données (ECL, Traffic et Weather) et arrive en deuxième position sur le jeu de données Exchange.

Comparé à Crossformer, il a amélioré les performances de 27 %.
Comparé à TimesNet, il a progressé de 35 %.
Comparé à Fedformer, il a progressé de 19 %.

Les auteurs ont également réalisé des « expériences d'ablation », ce qui est une façon sophistiquée de dire : « Enlevons des parties pour voir ce qui se passe ». Lorsqu'ils ont retiré les « lunettes super puissantes » ou le « livre de règles », le modèle s'est dégradé. Cela confirme que les deux parties sont nécessaires et fonctionnent mieux ensemble que seules.

Ce que le papier affirme ne PAS être
Il est important de noter ce que ce papier ne prétend pas. Les auteurs argumentent explicitement contre l'idée que l'ancienne méthode d'encodage des données (regarder tous les capteurs à un seul instant donné) est la meilleure approche. Ils suggèrent également que l'utilisation de couches linéaires (mathématiques très simples) pourrait être meilleure que les Transformers complexes si vous n'utilisez pas la méthode d'encodage inversé, mais ils soutiennent qu'avec les bons enrichissements (comme les leurs), l'approche Transformer reste supérieure pour les tâches complexes et multivariées.

Le Verdict
Le papier suggère qu'en combinant une façon de voir les détails fins (convolution multi-échelle) avec une façon d'ignorer le bruit et de rester équilibré (transport optimal), nous pouvons construire une bien meilleure boule de cristal pour prédire l'avenir de systèmes complexes. Les auteurs sont confiants dans leurs résultats, montrant des améliorations constantes à travers différentes longueurs de temps (de 96 à 720 étapes dans le futur), mais ils présentent cela comme une solution pratique et efficace plutôt que comme une solution miracle qui résout tous les problèmes de l'univers. Ils ont même partagé leur code sur GitHub pour que d'autres puissent l'essayer !

Résumé Technique : Convolution Multi-Échelle avec Attention par Transport Optimal sur des Séries Temporelles Multivariées

Énoncé du Problème
La prévision de séries temporelles multivariées (MTS) fait face à des défis importants pour capturer des motifs structurels à multi-granularité tout en supprimant efficacement le bruit. Bien que les modèles basés sur les Transformers soient devenus dominants dans la modélisation de séquences, leur application aux séries temporelles repose souvent sur l'intégration de plusieurs variables au même instant temporel dans des canaux, se concentrant principalement sur les dépendances temporelles. Des avancées récentes, telles qu'iTransformer, ont introduit un paradigme d'« incrustation inversée » (inverted embedding) où la série temporelle entière de chaque variable est traitée comme un jeton unique pour mieux capturer les dépendances inter-variables. Cependant, les auteurs identent une limitation critique dans cette approche : en compressant l'information temporelle d'une variable en un jeton de dimension fixe, les motifs temporels locaux à grain fin (par exemple, les fluctuations à court terme, les périodicités) sont perdus. De plus, les mécanismes d'attention standards sont sensibles aux valeurs aberrantes et au bruit, ce qui peut entraîner des distributions d'attention biaisées et des prédictions sous-optimales.

Méthodologie : MSC-OT
Pour remédier à ces limitations, l'article propose MSC-OT (Multi-Scale Convolution with Optimal Transport Attention), une nouvelle architecture conçue pour améliorer le cadre d'incrustation inversée. La méthode se compose de trois composants clés :

Amélioration par Convolution Multi-Échelle :
- Objectif : Récupérer et modéliser les motifs structurels locaux au sein de la matrice de score d'attention qui sont perdus lors du processus d'incrustation inversée.
- Mécanisme : Le modèle applique des convolutions 2D parallèles avec des tailles de noyau de $3 \times 3$ et $5 \times 5$ directement sur la matrice de score d'attention ( $S \in \mathbb{R}^{B \times H \times N \times N}$ ).
- Fonction : Ces convolutions capturent les motifs structurels locaux à différentes granularités dans l'espace d'interaction des variables. Les caractéristiques multi-échelles résultantes sont agrégées via une simple moyenne pour assurer la stabilité numérique et préserver les informations complémentaires.
Régularisation par Transport Optimal (OT) de Sinkhorn :
- Objectif : Formuler le calcul de l'attention comme un problème de transport optimal pour assurer un flux d'information équilibré et une robustesse face au bruit.
- Mécanisme : La matrice de score d'attention est traitée comme une matrice de coût pour un problème de transport optimal régularisé par l'entropie. L'algorithme de Sinkhorn est employé pour normaliser de manière itérative les lignes et les colonnes, produisant une distribution d'attention doublement stochastique.
- Fonction : Le terme de régularisation d'entropie ( $\lambda H(P)$ ) lisse naturellement les poids d'attention, empêchant toute variable (même avec un score anormalement élevé) de dominer la distribution d'attention. Cela supprime efficacement l'impact des valeurs aberrantes et du bruit de mesure communs dans les données MTS réelles.
Stratégie de Fusion Adaptative :
- Objectif : Combiner dynamiquement les scores d'attention de base, les scores améliorés par convolution et les scores régularisés par OT.
- Mécanisme : Le score d'attention final est calculé comme une somme pondérée : $S_{final} = \alpha \cdot S + \beta \cdot S_{conv} + \gamma \cdot P$ .
- Fonction : Les poids ( $\alpha, \beta, \gamma$ ) sont des paramètres apprenables initialisés à 0,7, 0,2 et 0,1, respectivement. Ils sont normalisés via une fonction softmax pour assurer une stabilité d'entraînement. Cela permet au modèle de déterminer de manière adaptative la contribution optimale de chaque composant selon les caractéristiques spécifiques du jeu de données.

Contributions Clés

Incrustation Inversée Améliorée : L'article propose une méthode pour conserver les avantages de la modélisation inter-variables d'iTransformer tout en compensant la perte de dépendances temporelles à grain fin grâce à la convolution multi-échelle sur les scores d'attention.
Attention Robuste au Bruit : En intégrant le transport optimal de Sinkhorn, le modèle introduit un mécanisme qui supprime intrinsèquement le bruit et empêche la dominance des valeurs aberrantes, répondant ainsi à une faiblesse clé de l'attention standard basée sur softmax pour les MTS.
Architecture Synergique : Le travail démontre que la convolution multi-échelle (capture de motifs locaux) et la régularisation OT (équilibre global et suppression du bruit) sont complémentaires. La stratégie de fusion adaptative permet à ces composants de travailler de manière synergique plutôt qu'indépendante.
Performance de l'État de l'Art : Les auteurs fournissent une validation empirique étendue montrant que MSC-OT surpasse les modèles récents de l'état de l'art (incluant iTransformer, PatchTST, Crossformer et TimesNet) sur plusieurs jeux de données de référence.

Résultats Expérimentaux
Les auteurs ont évalué MSC-OT sur cinq jeux de données de référence largement utilisés : ECL (Electricity), ETT (Electricity Transformer Temperature), Exchange-Rate, Traffic et Weather.

Performance : MSC-OT a obtenu les meilleurs résultats en termes d'erreur quadratique moyenne (MSE) sur ECL, Traffic et Weather, et le meilleur en erreur absolue moyenne (MAE) sur quatre des cinq jeux de données.
Gains Comparatifs : L'article revendique des améliorations significatives par rapport à des bases spécifiques, citant des améliorations de 27 % par rapport à Crossformer, 35 % par rapport à TimesNet et 19 % par rapport à Fedformer dans certains contextes.
Études d'Ablation : Les expériences ont confirmé que le retrait de la convolution multi-échelle ou de la régularisation OT entraîne une dégradation des performances. Les études ont également montré que les poids de fusion adaptatifs apprennent à équilibrer les composants efficacement (par exemple, dans ECL, la convolution et l'OT combinés représentaient près de 60 % du poids, indiquant leur rôle critique).
Hyperparamètres : Le coefficient de régularisation d'entropie optimal a été trouvé à $\lambda=5,0$ , et deux itérations de Sinkhorn ont été jugées suffisantes pour la convergence sans coût de calcul excessif.

Signification et Revendications
L'article positionne MSC-OT comme une solution pratique et efficace pour la prévision de séries temporelles multivariées réelles. Les auteurs affirment que la méthode optimise avec succès le mécanisme d'attention en traitant les compromis spécifiques entre la capture des structures temporelles locales et le maintien d'une modélisation inter-variables robuste en présence de bruit. En exploitant le transport optimal, l'approche établit une nouvelle voie méthodologique pour l'optimisation de l'attention, moins sensible aux valeurs aberrantes et mieux adaptée à la nature complexe et multi-échelle des données de séries temporelles réelles. Le code est mis à disposition pour faciliter la recherche et l'application ultérieures.

Résumé Technique : Convolution Multi-Échelle avec Attention par Transport Optimal sur des Séries Temporelles Multivariées

Articles similaires