HGTS-Former: Hierarchical HyperGraph Transformer for Multivariate Time Series Analysis

Cet article propose HGTS-Former, un nouveau modèle Transformer basé sur des hypergraphes hiérarchiques conçu pour améliorer l'analyse des séries temporelles multivariées en capturant les interactions complexes entre les variables, tout en présentant le nouveau jeu de données à grande échelle EAST-ELM640 pour la reconnaissance des modes localisés de bord (ELM) dans la fusion nucléaire.

L'essentiel

🌟 HGTS-Former : Le Chef d'Orchestre des Données Temporelles

Imaginez que vous essayez de comprendre une conversation très bruyante dans une grande salle de bal remplie de centaines de personnes qui parlent en même temps. Chaque personne représente une variable (comme la température, le prix d'une action, ou la pression dans un réacteur nucléaire), et leurs paroles sont les données qui changent à chaque seconde.

Le problème ? Ces gens ne parlent pas tous de la même façon. Certains se parlent entre eux, d'autres parlent seuls, et parfois, un groupe entier se met à crier en même temps. C'est ce qu'on appelle une série temporelle multivariée.

Les anciens ordinateurs étaient comme des traducteurs qui écoutaient chaque personne individuellement, ou qui essayaient de deviner qui parlait à qui en regardant seulement deux personnes à la fois. C'était lent et ils rataient souvent les gros groupes qui criaient ensemble.

HGTS-Former, c'est le nouveau chef d'orchestre intelligent qui arrive pour régler le chaos. Voici comment il fonctionne, étape par étape :

1. Le découpage en "Bribes" (Les Patchs) 🧩

Au lieu d'écouter le discours mot par mot, le chef d'orchestre découpe la conversation en petits morceaux de temps (comme des briques de Lego). Il prend un petit bout de l'histoire de chaque personne et le transforme en un "token" (un jeton). Cela permet de mieux voir les motifs qui se répètent, comme une mélodie qui revient.

2. La Grande Carte des Liens (L'Hypergraphe) 🕸️

C'est ici que la magie opère.

• Les anciens modèles utilisaient des graphes simples : un lien entre la Personne A et la Personne B. C'est comme si on ne pouvait relier que deux personnes par une corde.
• HGTS-Former utilise un Hypergraphe. Imaginez une corde élastique géante qui peut relier dix personnes en même temps !
  • Si un groupe de 5 personnes commence à danser ensemble, l'hypergraphe les attrape tous d'un coup.
  • Cela permet de voir des relations complexes : "Quand la température monte ET que le vent souffle fort, alors la pression chute". Trois choses liées ensemble, pas juste deux.

3. La Tour d'Observation à Deux Niveaux (Hiérarchique) 🏰

Le chef d'orchestre ne regarde pas tout d'un coup. Il utilise une stratégie en deux étages :

• Étage 1 (Intra) : Il écoute d'abord chaque personne individuellement pour comprendre son propre rythme de parole (ses habitudes).
• Étage 2 (Inter) : Ensuite, il regarde comment les groupes se comportent entre eux. Est-ce que le groupe "Météo" influence le groupe "Électricité" ?
  Il combine ces deux niveaux pour avoir une vue d'ensemble parfaite.

4. Le Transformer (Le Cerveau) 🧠

Une fois qu'il a identifié ces liens complexes, il utilise une technologie appelée Transformer (la même famille que les intelligences artificielles qui écrivent des textes). Cela lui permet de prédire ce qui va se passer ensuite avec une précision incroyable, même si les données sont bruitées ou incomplètes.

---

🚀 Pourquoi est-ce si important ? (Les Applications)

Les auteurs ont testé ce modèle sur des tas de choses, et il a gagné partout :

1. La Prévision Météo et Économique : Il prédit mieux que les autres quand il va pleuvoir ou comment vont bouger les actions en bourse, même sur le long terme.
2. La Réparation des Données (Imputation) : Imaginez qu'une partie de votre conversation soit effacée par un bruit. HGTS-Former peut deviner ce qui a été dit avec une précision étonnante.
3. La Détection d'Anomalies : Si quelqu'un dans la salle de bal commence à crier de manière bizarre (une panne de machine, une fraude), le modèle le repère immédiatement.
4. Le Réacteur Nucléaire (Le Grand Chelem) 🌌 :
   C'est leur plus grande fierté. Ils ont créé un nouveau jeu de données appelé EAST-ELM640 pour aider à comprendre les réactions dans les réacteurs à fusion nucléaire (comme le Soleil artificiel).
   • Dans ces réacteurs, il y a des explosions soudaines appelées "ELM" qui peuvent endommager l'équipement.
   • HGTS-Former a appris à reconnaître ces explosions à l'avance en écoutant les signaux des capteurs, mieux que n'importe quel expert humain ou autre ordinateur. C'est une étape cruciale pour réussir l'énergie de fusion propre.

🏆 En Résumé

HGTS-Former est comme un détective surdoué qui ne se contente pas de regarder deux indices à la fois. Il utilise des "cordes élastiques" (hypergraphes) pour voir les groupes entiers, il découpe le temps en petits morceaux pour mieux comprendre les motifs, et il apprend à prédire l'avenir en observant comment les différents éléments d'un système complexe interagissent entre eux.

Que ce soit pour prévoir la météo, sauver des données perdues ou aider à construire l'énergie du futur, ce modèle est actuellement le champion du monde dans son domaine !

Résumé technique

1. Problématique

L'analyse des séries temporelles multivariées (MTS) est cruciale dans de nombreux domaines (fusion nucléaire, finance, météorologie), mais elle reste un défi majeur en raison de trois facteurs principaux :

• Haute dimensionnalité et complexité : Les données comportent de nombreuses variables interdépendantes.
• Nature dynamique : Les relations entre les variables évoluent dans le temps.
• Limitations des modèles existants :
  • Les modèles basés sur les graphes classiques (GNN) ne peuvent modéliser que des relations binaires (paires de nœuds), ce qui est insuffisant pour capturer les interactions d'ordre supérieur (groupes de variables).
  • Les réseaux de neurones à graphes d'hyperarêtes (HGNN) existants souffrent souvent de champs récepteurs limités, d'une dépendance excessive à des structures d'hypergraphes fixes ou prédéfinies, et d'un risque de sur-lissage (over-smoothing) lors de l'empilement de couches.
  • Les modèles Transformer actuels (comme iTransformer ou PatchTST) supposent souvent que toutes les canaux sont corrélés, ce qui n'est pas toujours vrai dans la réalité, ou manquent de mécanismes pour capturer finement les dépendances dynamiques entre variables.

2. Méthodologie : HGTS-Former

Les auteurs proposent HGTS-Former, un nouveau réseau de type Transformer basé sur une architecture d'hypergraphe hiérarchique. L'approche vise à modéliser à la fois les dépendances à long terme et les motifs relationnels d'ordre supérieur.

Architecture Principale

Le modèle fonctionne en plusieurs étapes clés :

1. Prétraitement et Embedding :

   • Les séries temporelles sont normalisées (InstanceNorm) et divisées en patches non chevauchants.
   • Chaque patch est mappé dans un espace de caractéristiques partagé.
   • Un mécanisme Multi-Head Self-Attention (MHSA) combiné à l'encodage de position RoPE (Rotary Positional Embedding) est utilisé pour enrichir la représentation temporelle de chaque patch au sein d'une même variable.

2. Construction d'Hypergraphes Hiérarchiques :
   Le cœur de l'innovation réside dans l'utilisation de deux couches d'agrégation basées sur des hypergraphes, remplaçant les mécanismes de passage de messages traditionnels des HGNN par une attention sparse et adaptative :

   • Intra-HyperGraph (Au sein d'une variable) : Capture les motifs temporels latents au sein d'une seule variable. Un matrice d'hyperarêtes apprenable ($E_{intra}$) est utilisée pour regrouper dynamiquement les patches ayant des motifs temporels similaires via un mécanisme d'attention croisée (Cross-Attention).
   • Inter-HyperGraph (Entre les variables) : Capture les dépendances dynamiques et fines entre différentes variables. Les hyperarêtes issues de la phase intra sont traitées comme des nœuds pour cette phase. Des hyperarêtes globales ($E_{inter}$) sont générées à partir des données originales pour guider l'agrégation des relations inter-variables.

3. Module EdgeToNode :
   Les informations agrégées au niveau des hyperarêtes sont projetées de retour vers l'espace des nœuds (patches) pour mettre à jour les représentations finales.

4. Sortie :
   Les features mises à jour sont passées à travers un réseau feed-forward (FFN) et une tête de sortie adaptée à la tâche (prévision, imputation, classification).

Différence fondamentale avec les HGNN classiques : HGTS-Former abandonne le paradigme de passage de messages itératif des HGNN traditionnels. Il utilise plutôt un mécanisme d'attention sparse au sein d'une architecture Transformer pour réaliser l'agrégation hypergraphique de manière plus efficace et flexible, évitant ainsi le sur-lissage et permettant une modélisation dynamique fine.

3. Contributions Clés

1. HGTS-Former : Proposition d'une nouvelle architecture Transformer hiérarchique basée sur les hypergraphes capable de capturer simultanément les dépendances globales à long terme et les motifs relationnels d'ordre supérieur dans les séries temporelles multivariées.
2. Mécanismes d'Attention Hiérarchique : Introduction de couches d'agrégation intra- et inter-hypergraphes pour extraire flexiblement les dépendances d'ordre supérieur et globales.
3. Nouveau Benchmark (EAST-ELM640) : Création d'un jeu de données à grande échelle pour la reconnaissance des Modes Localisés en Bordure (ELM) dans la fusion nucléaire. Ce dataset contient 640 décharges de plasma du tokamak EAST, avec 18 signaux de diagnostic, divisés en ensembles d'entraînement (448), de validation (96) et de test (96).
4. Validation Exhaustive : Des expériences menées sur 9 jeux de données publics (prévision à long et court terme, imputation, détection d'anomalies) et le nouveau dataset nucléaire, démontrant des performances supérieures à l'état de l'art.

4. Résultats Expérimentaux

Les résultats montrent que HGTS-Former surpasse systématiquement les modèles de référence (iTransformer, PatchTST, Timer-XL, TimeMixer, etc.) :

• Prévision à Long Terme : Sur 8 jeux de données publics (ETTh1/2, ETTm1/2, ECL, Traffic, Weather, Solar-Energy), le modèle obtient la meilleure performance dans 15 cas sur 32 pour le MSE et 27 cas sur 32 pour le MAE. Il démontre une robustesse particulière sur les prévisions longues (720 pas de temps).
• Prévision à Court Terme (M4) : Sur le dataset M4, le modèle bat les meilleurs modèles existants sur les métriques SMAPE, MASE et OWA.
• Imputation de Données : Sur 6 datasets, le modèle réduit le MSE de 15,6 % et le MAE de 6,8 % par rapport au deuxième meilleur modèle (TimeMixer++), prouvant sa capacité à reconstruire des données manquantes complexes.
• Détection d'Anomalies : Sur les datasets SMD, MSL, SMAP et PSM, HGTS-Former atteint les meilleurs scores F1, surpassant des modèles spécialisés comme Anomaly Transformer et SymTime.
• Fusion Nucléaire (EAST-ELM640) : Pour la classification des ELM, le modèle atteint un score de précision de 80,8 % et un F1 de 79,7 %, surpassant tous les autres modèles de base (y compris Timer-XL et CrossLinear) sur ces métriques discriminantes, tout en maintenant un AUC élevé (96,4 %).

5. Signification et Impact

• Avancée Théorique : Le papier propose une alternative viable aux HGNN traditionnels en intégrant les hypergraphes dans une architecture Transformer via l'attention, résolvant les problèmes de complexité computationnelle et de sur-lissage.
• Application Critique : La création du dataset EAST-ELM640 et la performance du modèle sur ce problème de fusion nucléaire ouvrent de nouvelles perspectives pour la surveillance et le contrôle des réacteurs à fusion, un domaine où la détection précise des instabilités (ELM) est vitale pour la sécurité des réacteurs.
• Généralisation : La capacité du modèle à performer aussi bien sur des données financières, météorologiques que nucléaires démontre une grande robustesse et une capacité d'adaptation aux différentes dynamiques temporelles.

En conclusion, HGTS-Former représente un état de l'art significatif dans l'analyse des séries temporelles multivariées, combinant la puissance des Transformers avec la capacité de modélisation des relations complexes des hypergraphes, tout en fournissant une nouvelle ressource de données majeure pour la recherche en fusion nucléaire.