Recency Biased Causal Attention for Time-series Forecasting

1. Problématique

Les modèles basés sur l'architecture Transformer ont révolutionné le traitement du langage naturel (NLP) grâce à leur mécanisme d'attention multi-têtes (MHA), qui permet des interactions "tout-à-tout" (all-to-all) entre toutes les positions d'une séquence. Cependant, cette flexibilité devient un handicap pour la prévision de séries temporelles, qui possède des caractéristiques fondamentalement différentes :

• Structure causale et locale : Contrairement au langage où les dépendances peuvent être non locales et non causales, les séries temporelles sont intrinsèquement causales (le futur dépend du passé) et souvent locales (les observations proches dans le temps sont plus corrélées que les observations lointaines).
• Biais de récence (Recency Bias) : Les systèmes physiques et temporels présentent souvent des corrélations qui décroissent avec le temps, suivant parfois des lois de puissance (heavy-tailed). Les Transformers standards, en traitant toutes les positions avec une importance égale (ou sans biais temporel fort), négligent cette structure locale et causale, ce qui peut obscurcir le signal pertinent.
• Échec des tâches séquentielles de base : Les Transformers peinent à réaliser des tâches simples de type "lire-ignorer-écrire" (comme le test flip-flop), tâches que les réseaux de neurones récurrents (RNN) maîtrisent naturellement grâce à leur structure causale implicite.

Le papier pose la question centrale : Dans quelle mesure l'attention standard est-elle adaptée à la prévision de séries temporelles, et comment intégrer un biais de récence pour améliorer les performances ?

---

2. Méthodologie : RBCA et Powerformer

Les auteurs proposent un cadre méthodologique en deux parties : une nouvelle forme d'attention et une architecture de modèle dérivée.

A. Attention Causale Biaisée par la Récence (RBCA)

Les auteurs introduisent le RBCA (Recency Biased Causal Attention), un mécanisme qui modifie les scores d'attention standard en y ajoutant deux types de masques :

1. Masque Causal ($M^{(C)}$) : Empêche l'attention vers les futurs (comme dans les Transformers standards pour la génération).
2. Masque de Récence ($M^{(L)}$) : Une fonction de pondération non positive $f(\Delta t)$ dépendante de la différence de temps relative $\Delta t$.

La formule combinée est :
$$S^{(C,L)}_h = S_h + M^{(C)} + M^{(L)}$$
où $S_h$ sont les scores d'attention bruts.

Fonctions de biais proposées :
Les auteurs testent plusieurs fonctions de décroissance, mais mettent l'accent sur les lois de puissance (Power-Law) inspirées des systèmes physiques :

• $f^{(PL)}(t) = -\alpha \log(t)$ : Applique une décroissance en loi de puissance directement sur les poids d'attention. Cela crée une enveloppe lourde (heavy-tailed) permettant de capturer à la fois les dépendances locales fortes et les signaux à long terme.
• $f^{(SPL)}(t) = -(t)^{-\alpha}$ : Applique la loi de puissance sur le score d'attention avant le softmax, résultant en une décroissance exponentielle d'une loi de puissance.
• Comparaison : Ils comparent également ces approches avec des biais NLP existants comme ALiBi (décroissance exponentielle) et les filtres de Butterworth, constatant que les lois de puissance sont supérieures pour les séries temporelles.

B. Powerformer

Pour valider l'efficacité de RBCA sur des tâches réelles, les auteurs développent Powerformer.

• Architecture : C'est une variante de PatchTST (State-of-the-Art actuel), qui utilise une architecture encoder-only avec une tête de lecture linéaire.
• Modification clé : Le mécanisme MHA standard de PatchTST est remplacé par RBCA.
• Avantage : En utilisant PatchTST comme base (qui ne modifie pas le mécanisme d'attention mais seulement les embeddings d'entrée via le "patching"), les auteurs isolent l'impact pur du biais de récence sur les performances.

---

3. Contributions Clés

1. Cadre RBCA : Proposition d'un cadre général pour introduire des biais de récence dans les Transformers, en particulier via des lois de puissance qui imitent les structures de corrélation des systèmes physiques.
2. Validation sur le test "Flip-Flop" : Démonstration que les biais de récence (spécifiquement les lois de puissance) permettent aux Transformers d'acquérir les capacités de "lecture", "écriture" et "ignorer" des RNN, là où les biais NLP standards (comme ALiBi) dégradent les performances.
3. Powerformer : Création d'un modèle simple mais performant qui surpasse des architectures complexes et pré-entraînées (comme One-Fits-All ou ETSformer) sur des benchmarks standards.
4. Analyse de l'apprentissage des biais : Observation surprenante que Powerformer, même sans appliquer le masque de récence explicitement lors de l'inférence finale, apprend à renforcer ce biais dans ses couches profondes, prouvant que le biais est une inductive prior essentielle que le modèle "veut" adopter.

---

4. Résultats Expérimentaux

Les expériences ont été menées sur 7 jeux de données de référence (ETT, Weather, Electricity, Traffic) et sur le test synthétique Flip-Flop.

• Test Flip-Flop (NLP/Séquentiel) :

  • Les biais de loi de puissance ($f^{(PL)}$ et $f^{(SPL)}$) permettent d'atteindre ~100% de précision sur les tests hors distribution (OOD).
  • Les biais NLP standards (ALiBi) et l'attention standard (MHA) échouent significativement (75% et 85% respectivement), confirmant que le biais de récence est crucial pour la gestion de la mémoire séquentielle.

• Prévision de Séries Temporelles (Benchmarks) :

  • Performance globale : Powerformer bat systématiquement les modèles de référence (PatchTST, iTransformer, FEDformer, ETSformer, One-Fits-All) sur la majorité des tâches (46 tâches sur 54 comparées).
  • Améliorations : Sur le dataset ETTh2, Powerformer améliore le MSE de 16% par rapport à PatchTST, tandis que les pertes de performance sont minimes (2%) dans les rares cas où il est légèrement inférieur.
  • Analyse des poids d'attention : Les visualisations montrent que Powerformer développe une structure d'attention bimodale : une forte attention locale (haute fréquence) et une "queue lourde" (heavy tail) pour capturer les dynamiques à long terme, éliminant le bruit des fréquences intermédiaires.
  • Cas particuliers : Powerformer performe moins bien sur des données extrêmement périodiques (comme le trafic), où des méthodes spectrales simples (Fourier) suffisent, ce qui confirme que RBCA est conçu pour des dynamiques non-stationnaires complexes.

• Ablation :

  • L'ajout du masque causal seul améliore les performances par rapport au MHA standard.
  • L'ajout du biais de récence (RBCA) améliore encore davantage les résultats, confirmant la complémentarité des deux biais.
  • L'apprentissage du paramètre de décroissance $\alpha$ n'apporte pas d'amélioration significative par rapport à un $\alpha$ fixe bien choisi, suggérant que le biais agit comme un régularisateur efficace.

---

5. Signification et Impact

Ce travail a une importance majeure pour la communauté de l'apprentissage automatique appliqué aux séries temporelles :

1. Réconciliation RNN/Transformer : Il comble le fossé entre la flexibilité des Transformers et l'efficacité inductive des RNN pour les tâches causales, en montrant qu'un simple biais de pondération peut conférer les capacités de gestion de mémoire des RNN.
2. Primauté de l'Inductive Bias : Il démontre que pour les séries temporelles, l'architecture "brute" (comme les Transformers) n'est pas suffisante ; l'intégration de biais physiques (lois de puissance, causalité) est plus critique que l'ajout de complexité architecturale ou de données massives.
3. Efficacité : Powerformer, bien que plus simple que certains modèles pré-entraînés massifs (One-Fits-All), obtient de meilleurs résultats, suggérant une voie plus efficace pour le déploiement industriel.
4. Interprétabilité : L'analyse des poids d'attention fournit des preuves visuelles que le modèle apprend à filtrer le bruit temporel et à se concentrer sur les échelles de temps pertinentes, validant l'hypothèse théorique de la loi de puissance.

En conclusion, l'article établit que l'attention biaisée par la récence (RBCA) est un composant fondamental manquant dans les Transformers pour les séries temporelles, et que son implémentation via des lois de puissance permet d'atteindre des performances de pointe avec une architecture élégante et interprétable.