Résumé Technique : PMDformer

Problématique

La prévision de séries temporelles à long terme (LTSF) est cruciale pour des domaines tels que la gestion de l'énergie, la finance et la prédiction du trafic. Bien que les modèles basés sur les Transformers aient adopté des stratégies de partitionnement par patchs (patches) pour capturer les dépendances à longue portée, ils sont confrontés à un défi fondamental : modéliser avec précision les similitudes de forme entre les patchs et les variables est souvent obscurci par des différences d'échelle.

Les données de séries temporelles sont intrinsèquement non stationnaires, ce qui provoque des fluctuations sauvages de l'échelle des patchs. Comme le démontre l'article, ces variations d'échelle peuvent dominer les mécanismes d'attention, poussant les modèles à privilégier les patchs ayant de grandes magnitudes au détriment de ceux ayant des formes réellement similaires. Par exemple, un patch ayant une valeur moyenne élevée peut être considéré à tort comme plus similaire à un patch de requête qu'un patch ayant une moyenne plus faible mais une trajectoire de forme plus identique. De plus, les méthodes existantes dépendantes des variables (VD) modélisent souvent les interactions sur l'ensemble de la fenêtre historique, introduisant du bruit provenant de corrélations obsolètes et risquant le surapprentissage, tandis que les techniques de normalisation standard (comme le Z-score) qui suppriment l'écart type déforment involontairement la forme intrinsèque des données.

Méthodologie

Les auteurs proposent PMDformer, un modèle conçu pour découpler l'information de tendance et de forme afin de faciliter une attention focalisée sur la forme. L'architecture se compose de quatre modules synergiques :

1. Découplage Moyenne-Patch (Patch-Mean Decoupling - PMD)

Au lieu d'une normalisation complète, le PMD partitionne la séquence d'entrée en patchs non chevauchants et soustrait la moyenne de chaque patch ($\mu$).

• Mécanisme : Pour un patch $P$, la forme résiduelle $r$ est calculée comme $r = P - \mu$.
• Effet : Cela centre chaque patch à une moyenne nulle, séparant explicitement la tendance à long terme (encodée dans les moyennes) de l'information de forme résiduelle. Crucialement, contrairement à la normalisation Z-score, le PMD préserve les variations d'amplitude originales et la structure de forme intrinsèque. Cela permet au mécanisme d'attention de se concentrer sur les véritables similitudes de forme plutôt que d'être biaisé par l'échelle.

2. Attention Variable Proximale (Proximal Variable Attention - PVA)

Pour traiter la nature non stationnaire des relations entre variables, la PVA restreint la modélisation des interactions entre variables au segment temporel le plus récent.

• Mécanisme : La PVA applique l'attention multi-têtes (MHSA) exclusivement sur les tokens du dernier patch (le plus proximal) à travers toutes les variables.
• Effet : En se concentrant sur les interactions les plus récentes, le modèle capture les similitudes de forme les plus prédictives pour les dynamiques futures, évitant le bruit des dérives historiques et réduisant la complexité computationnelle de $O(C^2N)$ à $O(C^2)$.

3. Attention de Restauration de Tendance (Trend Restoration Attention - TRA)

Pour garantir que les dynamiques globales ne soient pas perdues lors du traitement axé sur la forme, la TRA réintègre l'information de tendance.

• Mécanisme : Un encodeur Transformer à paramètres partagés traite les plongements (embeddings) de forme. Les projections Query ($Q$) et Key ($K$) opèrent uniquement sur les résidus de forme pour modéliser la similitude de forme inter-patch. Cependant, le chemin Value ($V$) incorpore explicitement les moyennes de patch découplées ($\mu$) via une connexion additive : $V = P W_V + \mu$.
• Effet : Cette séparation architecturale permet au modèle d'encoder conjointement des dépendances de forme locales fines (via $Q/K$) et des dynamiques de tendance globales (via $V$), assurant des prévisions stables qui respectent les tendances à long terme.

4. Couche de Projection

La couche finale réincorpore les moyennes de tendance par patch dans les plongements de forme raffinés avant de générer les prévisions multi-étapes, garantissant que la sortie est bien calibrée avec l'échelle originale et les dynamiques à long terme.

Principales Contributions

1. Découplage Moyenne-Patch (PMD) : Un mécanisme novateur qui sépare la tendance et la forme résiduelle au sein du module d'attention via la soustraction de la moyenne. Cela permet de capturer efficacement la similitude de forme parmi les patchs temporels et les variables sans déformer les amplitudes.
2. Attention Variable Proximale (PVA) : Un module qui concentre l'attention inter-variables sur le patch le plus récent, capturant les similitudes de forme les plus pertinentes et atténuant le surapprentissage lié aux corrélations obsolètes.
3. Attention de Restauration de Tendance (TRA) : Une méthode pour restaurer l'information de tendance découplée dans le chemin de valeur de l'attention, permettant l'encodage conjoint des formes locales et des tendances globales.
4. Performance Empirique : Des expériences approfondies démontrent que PMDformer atteint une stabilité et une précision supérieures par rapport aux méthodes de pointe existantes sur de multiples benchmarks de LTSF.

Résultats Expérimentaux

Les auteurs ont évalué PMDformer sur huit jeux de données réels (ECL, Traffic, Weather, Solar, ETTh1, ETTh2, ETTm1, ETTm2) contre neuf bases de référence, incluant TQNet, TimeBase, SOFTS, SparseTSF, ModernTCN, iTransformer, TimeMixer et PatchTST.

• Performance Globale : PMDformer a obtenu l'erreur quadratique moyenne (MSE) et l'erreur absolue moyenne (MAE) les plus faibles sur 7 des 8 jeux de données.
• Gains Comparatifs :
  • Comparé à TimeBase (un modèle basé sur les patchs de premier plan), PMDformer a montré une réduction moyenne de la MSE de 5,68 % et de la MAE de 6,61 %.
  • Comparé à TQNet, il a obtenu une réduction moyenne de la MSE de 8,62 % et de la MAE de 9,96 %.
  • Comparé à iTransformer, il a délivré une réduction moyenne de la MSE de 11,44 % et de la MAE de 12,38 %.
• Études d'Ablation :
  • Le retrait du PMD ou son remplacement par une normalisation standard (ex: SAN ou Z-score) a entraîné une dégradation des performances, confirmant la nécessité de préserver la forme tout en découplant les tendances.
  • Le remplacement de la PVA par une attention sur tous les tokens historiques ou sa suppression totale a conduit à des chutes de performance significatives, validant l'importance de se concentrer sur les interactions variables proximales.
  • Le remplacement de la TRA par une auto-attention standard ou sa suppression a causé des erreurs substantielles, soulignant le rôle critique de la restauration de la tendance.

Signification

L'article affirme que PMDformer répond à une limitation fondamentale des architectures LTSF actuelles : l'incapacité à distinguer la véritable similitude de forme du biais d'échelle dans les données non stationnaires. En découplant explicitement les tendances des formes et en concentrant les interactions entre variables sur les fenêtres temporelles les plus pertinentes, le modèle fournit un cadre plus robuste pour la prévision à long terme. Les résultats suggèrent que les conceptions de Transformers centrées sur la forme, qui privilégient la similitude structurelle plutôt que la magnitude brute, offrent un avantage significatif en termes de stabilité et de précision pour les tâches complexes de séries temporelles. Les auteurs positionnent ce travail comme une étape vers des prévisions plus fiables dans les domaines d'infrastructures critiques comme l'énergie et la finance.