Horizon Activation Mapping for Neural Networks in Time Series Forecasting

Titre : Cartographie de l'Activation à l'Horizon pour les Réseaux de Neurones dans la Prévision de Séries Temporelles

Énoncé du Problème
Les modèles de réseaux de neurones pour la prévision de séries temporelles ont réalisé des améliorations significatives de performance, en particulier dans les tâches à long horizon. Cependant, le domaine manque d'un cadre unifié pour la sélection de modèles et l'interprétabilité qui soit agnostique aux types de couches spécifiques ou aux familles de modèles. Les méthodes d'interprétabilité existantes, telles que Grad-CAM, sont conçues pour la vision par ordinateur et reposent sur des cartes d'attention spatiales, qui ne se traduisent pas trivialement à la nature spatio-temporelle de la prévision multivariée. De plus, bien que diverses familles de modèles (par exemple, basées sur MLP, auto-attention, SSM, diffusion) existent, il n'existe ni ensemble de données supervisé à grande échelle ni cadre analytique capable de comparer leurs dynamiques d'apprentissage internes et leurs activités de gradient à travers différentes architectures. La sélection actuelle de modèles repose souvent sur des métriques d'erreur (MSE, MAE) qui peuvent être similaires entre différentes familles, masquant ainsi les paysages d'optimisation sous-jacents et les stratégies d'apprentissage.

Méthodologie : Cartographie de l'Activation à l'Horizon (HAM)
Les auteurs introduisent la Cartographie de l'Activation à l'Horizon (HAM), une technique d'interprétabilité visuelle inspirée de Grad-CAM mais adaptée à la prévision de séries temporelles. HAM analyse les magnitudes des mises à jour de gradient à travers des sous-séries au sein d'un horizon de prévision pour identifier les propriétés du modèle.

• Modes Causal et Anti-Causal : Pour un horizon de taille $H$, HAM calcule les moyennes de norme de gradient en utilisant deux modes de masquage appliqués à la fonction de perte avant la rétropropagation :
  • Mode Causal ($c$) : Inclut les sous-séries de l'instant $0$à$h$.
  • Mode Anti-Causal ($a$) : Inclut les sous-séries de l'instant $h$ à $H$.
• Moyennes de Norme de Gradient : Le cadre calcule la moyenne de la norme de gradient par rapport aux paramètres du modèle $\theta$ sur ces sous-séries masquées.
• Visualisations :
  • Graphiques HAM : Affichent les moyennes de norme de gradient par rapport aux instants, comparées à une "ligne de proportionnalité" représentant une distribution uniforme des normes de gradient.
  • Graphiques de Différence : Montrent la différence entre les moyennes de gradient causales et anti-causales, mises à l'échelle sur $[-1, 1]$, pour mettre en évidence les disparités d'apprentissage à travers l'horizon.
  • Graphiques de Zone Interpolée : Normalisent la surface maximale par modèle à la plage $[0, 1]$ pour comparer des modèles de différentes tailles d'horizon.
• Métriques Clés : Le cadre identifie le Point d'Équivariance du Gradient, où la moyenne de la norme de gradient des $h$ premiers instants égale celle des $H-h$ instants restants. Il calcule également la surface signée entre les courbes et la ligne de proportionnalité pour amplifier les variations.

Configuration Expérimentale
L'étude évalue HAM à travers diverses familles de modèles entraînés sur l'ensemble de données ETTm2 (répartition entraînement-validation-test 60-20-20) en utilisant un GPU NVIDIA A40. Les modèles incluent :

• Basés sur MLP : CycleNet, N-Linear, N-HITS.
• Auto-Attention : FEDformer, Pyraformer.
• Modèles d'Espace d'État (SSM) : SpaceTime.
• Diffusion : Multi-Resolution DDPM.

Les expériences couvrent diverses tailles d'horizon ($H = \{96, 192, 336, 720\}$) et investiguent les effets de :

• Des taux de dropout.
• Des tailles de lot.
• De l'arrêt anticipé (époches post-arrêt).
• Des répartitions de données (entraînement vs validation vs test).
• De la prévision univariée vs multivariée.
• Des hyperparamètres architecturaux (par exemple, longueur de file d'attente cyclique, stratégies de normalisation).

Résultats Clés et Observations

1. Effets du Dropout : Dans les modèles multivariés (spécifiquement N-HITS), l'ajout de dropout (0,2) a augmenté les magnitudes de gradient globales de plus de 3 fois, en particulier dans les régions plus longues de l'horizon.
2. Dynamiques de la Taille de Lot :
   • Les magnitudes de gradient et les métriques d'erreur ont montré des relations complexes avec la taille de lot.
   • Dans les modèles convergés (N-HITS, N-Linear, CycleNet), les moyennes de norme de gradient interpolées à travers les tailles de lot ont présenté une tendance de saturation polynomiale, suggérant une approximation exponentielle potentielle à travers les tailles de lot par époque.
   • CycleNet a montré des différences de performance subtiles basées sur la taille de lot, avec une activité anti-causale augmentant aux tailles de lot plus petites (50) et une activité causale diminuant aux tailles plus grandes (100).
3. Arrêt Anticipé : Les modèles arrêtés prématurément ont montré des magnitudes de gradient réduites, en particulier en mode causal. Le point d'équivariance du gradient des modèles arrêtés prématurément s'est déplacé plus près de $H/2$, suggérant que les activités dans les régions d'horizon plus longues n'ont pas amélioré les performances une fois que le modèle a atteint un minimum local.
4. Répartitions de Données : Les données d'entraînement ont rapproché les courbes de la ligne de proportionnalité. Les ensembles de validation dans N-HITS ont montré des aspects "hors distribution" plus distinctement que dans CycleNet.
5. Univarié vs Multivarié : La prévision multivariée a présenté de plus grandes difficultés d'apprentissage spatial. La suppression des instants initiaux dans les sous-séries multivariées a repoussé les courbes anti-causales en dessous de la ligne de proportionnalité, un comportement non observé dans les cas univariés.
6. Spécificités Architecturales :
   • N-Linear : La normalisation (soustraction de la valeur du dernier instant) a réduit les erreurs de 16 % et altéré les magnitudes de gradient, les diminuant de manière causale dans les 23 % premiers de l'horizon et les augmentant par la suite.
   • CycleNet : La longueur de la file d'attente cyclique a influencé l'ordonnancement des valeurs. La plus petite longueur de cycle (64) correspondait aux meilleures performances et montrait des magnitudes plus importantes interagissant entre les longueurs de sous-séries.
   • SpaceTime : A présenté des activités autorégressives exponentielles. Son mode causal est passé de linéaire (à $H=96$) à des tendances exponentielles (à $H=\{192, 336, 720\}$), mettant en évidence les régions plus longues de l'horizon.
   • N-HITS : Son comportement s'est aligné sur le théorème d'approximation neuronale, avec des augmentations anti-causales soutenant les hypothèses d'horizon infini.
   • Diffusion (Multi-Resolution DDPM) : A montré des normes de gradient caractéristiquement plus grandes pour les plus petites sous-séries par rapport aux attentes proportionnelles, suggérant une propriété de la prévision basée sur la diffusion.

Signification et Revendications
L'article revendique que HAM fournit un cadre granulaire et agnostique au modèle pour :

• Sélection de Modèles : Comparer les stratégies d'apprentissage et les paysages d'optimisation à travers différentes familles de réseaux de neurones (MLP, Attention, SSM, Diffusion) au-delà des simples métriques d'erreur.
• Choix d'Ensemble de Validation : Utiliser les variabilités relatives dans les graphiques HAM pour sélectionner des ensembles de validation appropriés.
• Insight Architectural : Attribuer des tendances spécifiques dans les graphiques HAM à des propriétés théoriques, telles que le théorème d'approximation neuronale de N-HITS et la nature autorégressive exponentielle de SpaceTime.
• Généralisabilité : Le cadre est applicable indépendamment des types de couches utilisés dans le modèle, abordant la limitation des méthodes précédentes qui étaient spécifiques à certaines architectures.

Les auteurs notent que, bien que HAM utilise des moyennes de normes globales, des graphiques au niveau des couches peuvent éclairer davantage les dynamiques d'apprentissage pour les sous-séries plus courtes et plus longues. L'étude conclut que HAM sert d'outil pour comprendre le "paysage d'optimisation" de la prévision de séries temporelles, permettant des changements d'architecture interprétables et des comparaisons inter-familles.