MoHETS: Long-term Time Series Forecasting with Mixture-of-Heterogeneous-Experts

Le papier présente MoHETS, un modèle de type Transformer qui intègre des couches d'experts hétérogènes et une attention croisée pour capturer efficacement les structures multi-échelles et les régimes non stationnaires, permettant ainsi d'atteindre des performances de pointe en prévision à long terme de séries temporelles multivariées.

L'essentiel

🌟 MOHETS : Le Chef d'Orchestre des Prévisions Temporelles

Imaginez que vous essayez de prédire la météo pour les 30 prochains jours, ou le prix de l'électricité pour le mois prochain. C'est comme essayer de deviner la suite d'une chanson complexe qui change de rythme, de volume et de style à chaque instant.

C'est là qu'intervient MOHETS. C'est un nouveau modèle d'intelligence artificielle conçu pour faire ces prévisions à long terme avec une précision incroyable. Mais comment fait-il ? Au lieu d'utiliser un seul "cerveau" pour tout analyser, MOHETS utilise une équipe de spécialistes.

1. Le Problème : Un seul outil ne suffit pas

Avant MOHETS, la plupart des modèles d'IA utilisaient la même méthode pour analyser chaque moment du passé. C'est un peu comme si vous utilisiez un seul couteau pour couper du pain, tailler un diamant et éplucher une pomme. Ça marche pour le pain, mais c'est inefficace et imprécis pour le reste.

Les données temporelles (comme l'électricité ou le trafic) ont trois visages :

• La tendance de fond : Une montée ou une baisse lente sur le long terme (comme une pente douce).
• Les cycles : Des répétitions régulières (comme les marées ou les heures de pointe du trafic).
• Les événements surprises : Des changements soudains dus à des facteurs externes (comme une tempête ou un jour férié).

Les anciens modèles essayaient de tout traiter de la même façon, ce qui les rendait confus.

2. La Solution : L'Équipe d'Experts Hétérogènes (MoHE)

MOHETS change la donne en utilisant une technique appelée "Mélange d'Experts Hétérogènes". Imaginez un restaurant gastronomique où le chef ne fait pas tout lui-même. Il a une équipe :

• L'Expert "Convolution" (Le Gardien de la Continuité) : C'est un expert qui regarde le tableau d'ensemble. Il est spécialisé pour voir les grandes tendances lisses et les connexions entre les moments. Il s'assure que la prévision ne "saute" pas bizarrement d'un point à l'autre.
• Les Experts "Fourier" (Les Détecteurs de Rythme) : Ce sont des experts qui aiment les mathématiques pures. Ils sont excellents pour repérer les cycles, les répétitions et les motifs qui reviennent régulièrement (comme le rythme d'une musique). Ils décomposent le signal en ses fréquences pour comprendre la "périodicité".

Comment ça marche ?
Quand MOHETS reçoit un morceau de données (un "patch" de temps), il ne le donne pas à tout le monde. Un gestionnaire intelligent (le routeur) regarde le morceau et dit :

• "Ah, c'est une tendance lente ? Je l'envoie au Gardien de la Continuité."
• "Ah, c'est un cycle rapide ? Je l'envoie aux Détecteurs de Rythme."

C'est comme si vous envoyiez un problème de mathématiques à un expert en algèbre et un problème de géométrie à un expert en dessin, au lieu de demander à tout le monde de faire les deux.

3. Les Informations Extérieures : Le Météo-Reportage

Parfois, le passé ne suffit pas. Pour prédire le trafic, savoir qu'il est "lundi matin" ou "jour de pluie" est crucial.
MOHETS intègre ces informations extérieures (comme la météo ou les jours fériés) grâce à un mécanisme d'attention croisée.
Imaginez que votre expert trafic regarde par la fenêtre pour voir s'il pleut. S'il pleut, il ajuste immédiatement sa prévision. MOHETS fait pareil : il "regarde" les données externes pour affiner sa vision du futur.

4. La Fin de l'Entraînement : Un Décodeur Léger

Une fois que l'équipe a analysé les données, il faut produire le résultat final. Les anciens modèles utilisaient des méthodes lourdes et complexes pour cela, comme essayer de construire une maison avec des briques en or.
MOHETS utilise un décodeur convolutif léger. C'est comme utiliser un tampon intelligent qui imprime le résultat directement, sans gaspiller de ressources. Cela rend le modèle plus rapide, plus stable et capable de prédire n'importe quelle durée (3 jours, 30 jours, etc.) sans avoir besoin de réapprendre.

🏆 Le Résultat : Pourquoi c'est génial ?

Grâce à cette approche, MOHETS bat tous les records actuels.

• Précision : Il réduit les erreurs de prédiction de 12 % par rapport aux meilleurs modèles existants.
• Efficacité : Il est plus léger et plus rapide car il n'utilise que les experts nécessaires pour chaque tâche.
• Robustesse : Il ne panique pas face aux données étranges ou aux changements soudains.

En résumé :
MOHETS est comme un chef d'orchestre génial qui ne demande pas à tout le monde de jouer la même partition. Il donne la mélodie lente aux violoncelles, le rythme rapide aux percussions et ajuste le volume en fonction de la météo. Résultat ? Une symphonie de prévisions parfaites, même pour le futur lointain.

Résumé technique

1. Problématique

La prévision à long terme de séries temporelles multivariées (Long-term Time Series Forecasting - LTSF) est un défi majeur en raison de la complexité des structures temporelles réelles. Les données du monde réel présentent souvent :

• Des tendances globales et des périodicités locales à multiples échelles.
• Des régimes non stationnaires (changements de distribution dans le temps).
• Des influences exogènes (météo, calendrier, indicateurs économiques).

Les approches actuelles basées sur les Transformers souffrent de limitations importantes :

1. Homogénéité des experts : Les modèles utilisant des mélanges d'experts (MoE) standards, inspirés des grands modèles de langage (LLM), utilisent des réseaux de neurones multicouches (MLP) identiques pour tous les "tokens". Cette approche ne parvient pas à capturer efficacement la diversité des dynamiques temporelles (bruit haute fréquence vs tendances lentes).
2. Inefficacité des têtes de projection : Les têtes de projection linéaires standard sont lourdes en paramètres et détruisent la structure temporelle locale des patches.
3. Intégration exogène limitée : L'incorporation de covariables externes est souvent faite de manière simpliste, sans modéliser explicitement les interactions croisées entre les données endogènes et exogènes.

2. Méthodologie : L'Architecture MOHETS

MOHETS est un modèle Transformer uniquement encodeur (encoder-only) conçu pour surmonter ces limites grâce à une architecture innovante intégrant des Mélanges d'Experts Hétérogènes (MoHE).

A. Représentation des Entrées et Patching

• Normalisation par instance : Pour gérer la non-stationnarité, chaque variable est normalisée par sa moyenne et sa variance avant l'entrée.
• Patching : La séquence temporelle est découpée en "patches" (sous-séries) non chevauchants. Cela réduit la complexité quadratique de l'attention et agrège le bruit haute fréquence en vecteurs de caractéristiques robustes.
• Indépendance des canaux : Chaque variable est traitée indépendamment pour éviter le surapprentissage aux corrélations spurious entre variables.

B. Intégration de Covariables Exogènes (Cross-Attention Multimodale)

• Un module d'embedding multimodal projette les covariables exogènes (ex: calendrier, météo) dans l'espace latent.
• Une mécanisme d'attention croisée permet au modèle d'interroger dynamiquement ces informations externes en fonction de l'état actuel de la série temporelle. Cela permet de capturer des effets contextuels (ex: "effet jour férié") que les encodages de position pure ne peuvent pas représenter.

C. Le Cœur de l'Innovation : MoHE (Mixture-of-Heterogeneous-Experts)

Contrairement aux MoE standards qui utilisent des MLP identiques, MOHETS remplace les couches FFN (Feed-Forward Networks) par des couches MoHE. Chaque couche MoHE combine deux types d'experts spécialisés :

1. Expert Partagé (DwConvFFN) : Un expert basé sur des convolutions séparables en profondeur (Depthwise Convolution). Il est toujours activé et opère au niveau de la séquence pour capturer la continuité temporelle et les tendances globales.
2. Experts Routés (FA-FFN) : Un ensemble d'experts basés sur Fourier (Fourier Analysis Networks). Ils sont activés sélectivement via un mécanisme de routage (gating) pour analyser les structures périodiques locales et les fréquences au niveau du patch.
   • Avantage : Cette séparation structurelle permet de décomposer le signal en tendances et saisonnalités de manière apprise, plutôt que de forcer un MLP unique à tout apprendre.

D. Décodeur de Patch Convolutif

Au lieu d'une projection linéaire dense (qui est coûteuse et instable), MOHETS utilise un décodeur de patch convolutif léger.

• Il projette les embeddings latents vers l'horizon de prévision via une séquence de convolutions.
• Cela impose un biais d'induction de localité, préserve la structure des patches et réduit considérablement le nombre de paramètres, améliorant la stabilité de l'entraînement.

E. Objectif de Perte

• Perte de prédiction (Huber Loss) : Utilisée au lieu du MSE standard pour être robuste aux valeurs aberrantes (outliers) fréquentes dans les séries temporelles.
• Perte d'équilibrage de charge (Auxiliary Loss) : Empêche l'effondrement du routage (routing collapse) où un seul expert dominerait, en forçant une utilisation plus uniforme des experts.

3. Contributions Clés

1. Architecture MoHE : Introduction d'un mélange d'experts hétérogènes combinant des convolutions (pour les tendances) et des réseaux de Fourier (pour les périodicités), alignant l'architecture sur la décomposition intrinsèque des séries temporelles.
2. Intégration Exogène Avancée : Un module d'attention croisée multimodal qui fusionne efficacement les covariables exogènes avec les patches temporels, améliorant la robustesse face aux régimes non stationnaires.
3. Efficacité et Stabilité : Remplacement des têtes de projection linéaires lourdes par un décodeur convolutif, réduisant les paramètres et l'instabilité de l'entraînement, tout en permettant une généralisation à des horizons de prévision arbitraires sans réentraînement.
4. Performance SOTA : Démonstration d'une supériorité constante sur sept benchmarks multivariés réels.

4. Résultats Expérimentaux

Les expériences ont été menées sur 7 benchmarks (ETT, Weather, ECL, Traffic) avec des horizons de prévision allant de 96 à 720 pas de temps.

• Performance Globale : MOHETS établit un nouvel état de l'art (SOTA), surpassant les modèles de référence forts comme TimeXer, SOFTS, iTransformer et TimeMixer.
• Réduction de l'Erreur : En moyenne, MOHETS réduit l'erreur quadratique moyenne (MSE) de 12,3 % par rapport à TimeXer sur le dataset ETTh1, et de 10 % sur Weather.
• Études d'Ablation :
  • L'architecture Encoder-only surpasse les variantes Decoder-only.
  • La combinaison DwConv + FA-FFN (MoHE) est nettement supérieure aux versions purement MLP ou purement Fourier.
  • L'utilisation de covariables exogènes améliore significativement les performances, surtout sur les données à faible dimensionnalité.
  • Le décodeur convolutif offre une meilleure stabilité et une meilleure généralisation que les têtes linéaires.
• Efficacité : Le modèle est plus léger que les grands modèles de fondation (Foundation Models) pré-entraînés (comme Time-MoE) tout en obtenant des résultats supérieurs ou comparables, démontrant l'efficacité de la spécialisation architecturale.

5. Signification et Impact

Ce travail marque une avancée significative dans la modélisation des séries temporelles en reconnaissant que le temps n'est pas du langage. Contrairement aux LLM qui traitent tous les tokens de manière homogène, MOHETS introduit une spécialisation structurelle :

• Il sépare la modélisation des tendances (via convolutions) de celle des cycles (via Fourier).
• Il offre un cadre robuste et évolutif pour les applications critiques comme la gestion de l'énergie, la finance, la santé et l'analyse climatique.
• En combinant efficacité computationnelle (MoE, patching) et précision (hétérogénéité des experts), MOHETS propose une solution viable pour la prévision à long terme dans des environnements réels complexes et non stationnaires.

En résumé, MOHETS démontre que l'adaptation profonde des architectures de Transformers aux spécificités mathématiques et physiques des séries temporelles (périodicité, tendance, bruit) est la clé pour dépasser les performances des modèles génériques.