🤖 AI

Filter then Attend: Improving attention-based Time Series Forecasting with Spectral Filtering

Ce papier propose d'améliorer les modèles basés sur les Transformers pour la prévision de longues séries temporelles en intégrant des filtres spectraux apprenables au niveau de l'entrée, ce qui améliore les performances, réduit la taille du modèle et permet une meilleure exploitation du spectre de fréquences complet tout en ajoutant un nombre minimal de paramètres.

Auteurs originaux : Elisha Dayag, Nhat Thanh Van Tran, Jack Xin

Publié 2026-05-13

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Elisha Dayag, Nhat Thanh Van Tran, Jack Xin

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de prédire l'avenir d'un système complexe, comme la météo, le flux de circulation ou la consommation d'électricité, en examinant une longue histoire de données. C'est ce qu'on appelle la Prévision de Séries Temporelles.

Pendant longtemps, les ordinateurs les plus intelligents (les modèles d'IA) ont utilisé un outil spécifique appelé Transformer pour le faire. Imaginez un Transformer comme un bibliothécaire très attentif qui lit une énorme pile de livres (les données) pour trouver des motifs. Cependant, ce bibliothécaire a une manie : il est excellent pour comprendre les intrigues lentes et régulières (les motifs de basse fréquence), mais il manque souvent les détails rapides et tranchants ou les pics soudains (les motifs de haute fréquence) parce qu'il a tendance à « lisser » les choses trop.

L'article « Filter Then Attend » propose une correction simple mais puissante : Donnez au bibliothécaire une paire de lunettes spécialisées avant qu'il ne commence à lire.

Voici la décomposition de l'idée de l'article, en utilisant des analogies du quotidien :

1. Le Problème : Le Bibliothécaire « Flou »

Les auteurs ont remarqué que les modèles Transformer standards ont un « biais ». Ils sont comme un appareil photo avec une vitesse d'obturation lente ; ils capturent bien le mouvement général d'une voiture, mais les détails des roues qui tournent deviennent flous. En termes de données, les modèles se concentrent trop sur les tendances lentes et ignorent les changements rapides et de haute fréquence qui sont souvent cruciaux pour des prévisions précises.

2. La Solution : Les Lunettes « Filtre Spectral »

Les auteurs ont ajouté une nouvelle étape au tout début du processus. Avant que les données n'entrent dans le Transformer (le bibliothécaire), elles passent à travers un Filtre Spectral Apprenable.

L'Analogie : Imaginez que vous écoutez une chanson qui contient beaucoup de bruit de fond et quelques notes aiguës importantes. Si vous mettez un casque à réduction de bruit réglé pour amplifier ces notes aiguës et couper les basses fréquences boueuses, la chanson devient beaucoup plus claire.
Comment ça marche : Ce filtre examine les données dans le « domaine fréquentiel » (comme regarder le spectre d'une onde sonore). Il apprend quelles parties du signal sont importantes et les amplifie, tout en atténuant le bruit. Crucialement, ces lunettes sont apprenables, ce qui signifie que l'ordinateur détermine exactement quel type de « réglage » est nécessaire pour chaque jeu de données spécifique.

3. Le Résultat : « Filter Then Attend »

L'article appelle cette nouvelle approche FilterFormer (et des variantes comme iFilterFormer). Le flux de travail est simple :

Filtrer : Les données passent d'abord par les lunettes spéciales.
Atteindre (Attend) : Les données nettoyées et affûtées sont ensuite remises au Transformer.

Parce que les données sont déjà « préparées » et que les détails de haute fréquence sont préservés, le Transformer peut faire son travail beaucoup mieux.

4. Résultats Clés (La « Magie » de la Méthode)

Les auteurs ont testé cela sur neuf jeux de données réels différents (comme la consommation d'électricité, la circulation et la météo) et ont trouvé des avantages surprenants :

Meilleure Précision : Dans de nombreux cas, l'ajout de ces filtres a amélioré la précision des prévisions de 5 % à 10 %. Dans le monde de l'IA, une amélioration à un seul chiffre est souvent un enjeu majeur, nécessitant généralement des refontes massives et complexes. Ici, il s'agissait simplement d'un petit ajout.
Modèles Plus Petits : Parce que le filtre fait une grande partie du travail lourd, le modèle Transformer principal n'a pas besoin d'être aussi « musclé ». Les auteurs ont constaté qu'ils pouvaient réduire la taille du modèle (dimension d'incorporation) et obtenir de meilleurs résultats. C'est comme donner de meilleures chaussures à un coureur pour qu'il n'ait pas besoin d'être naturellement aussi fort pour gagner la course.
Bon Marché et Rapide : Le filtre ajoute presque aucun poids supplémentaire à la mémoire ou à la puissance de traitement de l'ordinateur (seulement environ 1 000 paramètres supplémentaires). C'est un « repas gratuit » dans le monde de l'IA : vous obtenez de meilleures performances sans payer un prix élevé en vitesse ou en mémoire.
Correction du « Lissage Excessif » : Les auteurs ont prouvé que le filtre aide spécifiquement le modèle à voir les parties « rapides » des données que le Transformer manque habituellement. Sans le filtre, le Transformer floute les bords tranchants ; avec le filtre, ces bords restent nets.

5. Une Mise en Garde : Des Entrées pourries, Des Sorties pourries

L'article note également que le filtre n'est pas une baguette magique pour les mauvaises données. Dans un cas spécifique (un jeu de données de circulation avec un capteur défectueux), le filtre a d'abord empiré les choses car les données elles-mêmes étaient incohérentes entre l'entraînement et le test. Cependant, une fois ces mauvaises données supprimées, le filtre a fonctionné parfaitement. Cela prouve que le filtre améliore la capacité du modèle à apprendre, mais il ne peut pas réparer des entrées défectueuses.

Résumé

L'article soutient que les Transformers sont excellents, mais ils sont un peu « passe-bas » (ils aiment les choses lentes). En ajoutant un simple filtre fréquentiel apprenable au début, nous pouvons affiner les données, permettant au Transformer de voir l'ensemble du tableau clairement. Cela se traduit par des modèles plus précis, plus petits et plus rapides, les rendant meilleurs pour prédire l'avenir de systèmes complexes comme les réseaux énergétiques et les flux de circulation.

Résumé Technique : Filtrer Puis Attribuer

Énoncé du Problème

La Prévision de Séries Temporelles Longues (LTSF) a connu des avancées significatives grâce aux modèles basés sur les Transformers, qui obtiennent souvent les meilleurs résultats de l'état de l'art. Cependant, ces modèles souffrent de deux limitations principales : un biais en faveur des composantes de basse fréquence dans les données et des exigences élevées en matière de calcul et de mémoire. Bien que des travaux récents aient tenté d'intégrer l'apprentissage fréquentiel dans des modèles de prévision profonds, beaucoup reposent sur des Perceptrons Multicouches (MLP) pour traiter les signaux filtrés, échouant à résoudre les inefficacités inhérentes aux architectures Transformer. De plus, la littérature existante suggère que les Transformers peuvent agir comme des filtres passe-bas, « lissant excessivement » potentiellement les signaux et échouant à capturer les motifs de haute fréquence essentiels à une prédiction à long terme précise.

Méthodologie

L'article propose une modification architecturale simple mais efficace : placer un filtre spectral apprenable au début des modèles basés sur les Transformers. Cette approche, nommée « Filtrer Puis Attribuer », intègre directement le traitement du domaine fréquentiel dans le pipeline Transformer.

Architecture Principale : FilterFormer

Les auteurs introduisent FilterFormer, un modèle qui fait passer les données de séries temporelles à travers un filtre apprenable avant d'appliquer les mécanismes d'attention standard des Transformers. L'architecture se compose des éléments suivants :

Encodage et Découpage des Entrées : Suivant le cadre PatchTST, la série temporelle d'entrée est traitée comme des séquences univariées indépendantes. Elles sont normalisées et divisées en patches chevauchants ou non chevauchants. Chaque patch est encodé dans un espace latent et augmenté d'encodages de position.
Bloc Spectral : Avant le mécanisme d'attention, les patches encodés subissent un traitement spectral.
- Le signal est transformé dans le domaine fréquentiel en utilisant la Transformée de Fourier Rapide (FFT).
- Un filtre apprenable est appliqué via une multiplication élément par élément dans le domaine fréquentiel. Ce filtre est initialisé comme un ensemble aléatoire de paramètres réels et transformé via rFFT.
- Le signal filtré est reconverti dans le domaine temporel en utilisant la Transformée de Fourier Discrète Inverse (IDFT).
- Contrairement aux travaux précédents (par exemple FilterNet) qui traitent le signal filtré uniquement via un MLP, cette méthode fait passer le signal filtré directement dans le bloc d'attention du Transformer.
- Note : Dans l'implémentation spécifique de FilterFormer, un petit MLP est inclus dans le bloc spectral, mais les auteurs notent que pour d'autres variantes (iFilterFormer, FilterLeddam), le MLP peut être omis pour réduire les paramètres.
Bloc d'Attention : Les patches filtrés sont traités par des mécanismes standard d'attention multi-têtes. Le modèle alterne entre blocs spectraux et blocs d'attention, le ratio étant contrôlé par un hyperparamètre $\alpha$ .
Sortie : La représentation finale est aplatie et mappée à l'horizon de prédiction via une tête linéaire.

Les auteurs ont également créé des variantes de cette approche appliquées à d'autres modèles de base : iFilterFormer (basé sur iTransformer) et FilterLeddam (basé sur Leddam).

Contributions Clés

Intégration de Filtres Apprenables : L'article démontre que l'ajout d'un filtre fréquentiel apprenable à l'entrée des modèles basés sur les Transformers améliore considérablement leurs performances dans les tâches de LTSF.
Efficacité et Réduction des Paramètres : L'ajout du filtre introduit environ 1 000 paramètres. Crucialement, cet ajout permet une réduction de la dimension d'encodage du Transformer sous-jacent. Par conséquent, les modèles résultants sont souvent plus petits et plus rapides que leurs équivalents sans filtrage, tout en atteignant une précision supérieure ou comparable.
Analyse de l'Utilisation Spectrale : Grâce à des expériences synthétiques, les auteurs fournissent des preuves que les filtres permettent aux Transformers de mieux capturer les motifs de haute fréquence. Ils émettent l'hypothèse que les Transformers standards agissent comme des filtres passe-bas (provoquant un lissage excessif), et que les filtres apprenables contrecarrent cela en amplifiant les composantes de fréquence moyenne à haute.
Validation Empirique : La méthode a été validée sur neuf ensembles de données divers (incluant ETT, Electricity, Weather, Traffic et Solar-Energy) et sur plusieurs horizons de prédiction.

Résultats Expérimentaux

Les auteurs ont évalué leurs modèles par rapport à des bases de référence solides, incluant iTransformer, PatchTST, Leddam, FilterNet, Fredformer et DLinear.

Gains de Performance : Sur plusieurs ensembles de données, les variantes FilterFormer ont réalisé des améliorations relatives de 5 à 10 % dans les performances de prévision (mesurées par MSE et MAE). Par exemple, sur l'ensemble de données Electricity (ECL), FilterFormer a montré une amélioration de 11,7 % par rapport à PatchTST.
Robustesse : Les améliorations étaient cohérentes à travers différents domaines, bien que les auteurs aient noté que sur l'ensemble de données Traffic, le modèle a initialement sous-performé en raison d'un canal spécifique de valeurs aberrantes causant des discrepancies spectrales entre les ensembles d'entraînement et de test. La suppression de cette valeur aberrante a restauré la performance supérieure du modèle.
Efficacité : Le tableau 6 de l'article met en évidence que les modèles FilterFormer nécessitent significativement moins de paramètres (par exemple, 0,6 M contre 3,7 M pour PatchTST) et moins d'opérations flottantes (FLOPs) tout en maintenant une précision compétitive. Cela est attribué à la capacité d'utiliser des dimensions d'encodage plus petites lorsque des filtres sont présents.
Expériences Synthétiques : Sur un signal synthétique contenant des fréquences basses, moyennes et hautes, le iTransformer standard a lutté (MSE = 1,0e-1) en raison d'un biais fréquentiel, tandis que iFilterFormer (avec le filtre) a atteint un MSE significativement plus faible (2,6e-4), modélisant efficacement les composantes de haute fréquence.

Signification et Revendications

L'article positionne « Filtrer Puis Attribuer » comme un « repas gratuit » dans le contexte de la prévision de séries temporelles profondes. Les auteurs affirment que :

L'ajout d'un filtre apprenable est un changement architectural mineur qui dégrade rarement les performances mais a le potentiel de les améliorer drastiquement.
Les filtres agissent comme un bloc de construction nécessaire pour permettre aux Transformers d'utiliser le spectre complet des données, contrecarrant spécifiquement la nature passe-bas de l'auto-attention.
La méthode n'est pas une panacée ; son efficacité est ultimement limitée par la capacité du Transformer de base. Cependant, elle permet à ces bases de fonctionner plus efficacement.
Les auteurs plaident en faveur du filtre appris comme configuration de base pour les futurs modèles de prévision basés sur les Transformers, suggérant que des travaux supplémentaires pourraient se concentrer sur le développement de filtres plus avancés, pilotables et interprétables.

L'article conclut que la combinaison du filtrage fréquentiel avec les mécanismes d'attention résulte en un modèle « plus fort que la somme de ses parties », offrant une solution légère et efficace pour la prévision de séries temporelles à long terme.