RhyMix: A Lightweight Adaptive Multi-Rhythm Network for Long-Term Time Series Forecasting

Résumé Technique : RhyMix

Problématique
Les séries temporelles multivariées (MTS) du monde réel présentent des dynamiques complexes caractérisées par des motifs temporels simultanés, incluant des fluctuations à court terme, des cycles saisonniers périodiques, des tendances à long terme et des changements brusques irréguliers. Les architectures de prévision existantes reposent souvent sur des stratégies de modélisation temporelle à chemin unique qui peinent à capturer cette diversité simultanément. Les modèles basés sur les Transformers capturent les dépendances à longue portée mais lissent souvent les variations locales et souffrent d'une complexité quadratique. Les réseaux convolutionnels capturent les motifs locaux mais ont des champs récepteurs limités, tandis que les modèles linéaires sont efficaces mais ne parviennent pas à capturer les dynamiques non linéaires. De plus, de nombreux modèles de pointe (SOTA) reposent sur des hypothèses structurelles rigides (par exemple, des tailles de patch fixes, des MLP uniformes) ou nécessitent des ressources de calcul importantes, telles que des étapes de pré-calcul (par exemple, la SVD) ou des modèles de base externes, ceant leur déploiement dans des environnements de bord (edge) aux ressources limitées. Il existe un besoin critique pour une architecture légère, informatiquement efficace (complexité linéaire) et capable de modéliser de manière adaptative les dynamiques temporelles multi-échelles sans sacrifier la précision.

Méthodologie
Les auteurs proposent RhyMix (RHYthm MIXture), une architecture neuronale hybride légère conçue autour d'un paradigme de modélisation à double voie parallèle avec des mécanismes de porte adaptatifs (adaptive gating). L'architecture traite les signaux temporels via deux branches d'encodage coordonnées :

1. Voie de Prévision Cyclique : Cette branche incorpore un biais inductif saisonnier explicite via quatre tables d'encodage cyclique apprenables avec des périodes $P \in \{12, 24, 48, 168\}$ (représentant des cycles de demi-journée, journaliers, de deux jours et hebdomadaires). Elle utilise des poids de période apprenables pour accentuer dynamiquement les périodicités pertinentes pour chaque échantillon d'entrée.
2. Voie MSTCN-CA (Réseau Convolutionnel Temporel Multi-Échelle avec Attention de Canal) : Cette branche emploie un réseau temporel convolutionnel léger composé de deux blocs Temporels Multi-Échelles (TMS) empilés. Chaque bloc utilise quatre convolutions de profondeur dilatées (depthwise dilated convolutions) parallèles avec des taux de dilatation $d \in \{1, 2, 4, 8\}$ pour capturer les dépendances temporelles à travers différents champs récepteurs. Elle intègre une attention de canal pour moduler les caractéristiques multi-échelles en fonction des caractéristiques d'entrée.

Porte Adaptative et Fusion :
Une innovation clé est l'utilisation de portes adaptatives à plusieurs niveaux :

• Porte de Voie (Path Gating) : Une porte hybride (MLP) équilibre dynamiquement les contributions des voies Cyclique et MSTCN-CA en fonction des caractéristiques d'entrée.
• Porte de Tête (Head Gating) : Une porte de voie combine dynamiquement quatre têtes de prévision spécialisées pour chaque échantillon et canal. Ces têtes capturent des motifs temporels distincts :
  1. Projection Directe : Une couche linéaire.
  2. Décomposition Tendance-Saisonnalité : Utilisant une moyenne mobile adaptative.
  3. Extraction de Motifs Locaux : Utilisant des convolutions de profondeur (depthwise).
  4. Fusion Périodique : Utilisant des CNN 2D pour fusionner les entrées avec les encodages cycliques.

Le modèle utilise la Normalisation d'Instance Réversible (RevIN) pour la normalisation et la dénormalisation, garantissant une focalisation sur les motifs temporels relatifs. L'ensemble de l'architecture maintient une complexité linéaire $O(L \cdot C)$ par rapport à la longueur de la séquence ($L$) et aux canaux ($C$), évitant les coûts quadratiques associés à l'auto-attention ou aux projections basées sur la SVD.

Principales Contributions

1. Conception d'Architecture : Introduction de RhyMix, une architecture hybride combinant une modélisation cyclique multi-période explicite avec l'extraction de caractéristiques multi-échelles basée sur le TCN via une conception à double voie parallèle.
2. Mécanisme Adaptatif : Implémentation de mécanismes de porte adaptatifs qui combinent dynamiquement quatre têtes de prévision spécialisées et équilibrent deux voies d'encodage sur une base par échantillon, permettant au modèle de s'adapter à des motifs temporels spécifiques sans hypothèses structurelles fixes.
3. Efficacité : Atteinte de performances SOTA avec une taille de modèle compacte d'environ 40 269 paramètres (157 Ko) et une complexité linéaire, réduisant considérablement le nombre de paramètres par rapport aux modèles SOTA récents (par exemple, 10$\times$ de moins que Time-o1).
4. Performance : Validation sur 12 jeux de données de référence diversifiés (électricité, trafic, météo, finance) démontrant des performances supérieures ou compétitives, atteignant des résultats SOTA sur 10 des 12 jeux de données.

Résultats Expérimentaux
Les auteurs ont évalué RhyMix sur 12 jeux de données de référence publics (ETTh1/2, ETTm1/2, ECL, Traffic, Weather, Exchange, PEMS03/4/7/8) avec des fenêtres de regard en arrière (look-back) de $L=96$ et des horizons allant jusqu'à $H=720$.

• Précision : RhyMix a obtenu la meilleure performance (MSE/MAE le plus bas) sur 10 des 12 jeux de données. Il a surpassé les bases récentes incluant Time-o1, TimeMixer++, GCMNet, SEG-MOE, SOFTS, PatchTST et iTransformer.
• Efficacité : Le modèle a démontré une latence d'inférence de 4,47 ms par échantillon et une empreinte mémoire de pointe de 9,35 Mo.
• Études d'Ablation : La suppression systématique de composants (Voie Cyclique, Voie MSTCN-CA, Portes Adaptatives, Caractéristiques Périodiques, Conv Locale) a confirmé que chaque module contribue de manière synergique. Les caractéristiques périodiques ont été identifiées comme le composant le plus critique, tandis que la conception à double voie a fourni des gains complémentaires selon les caractéristiques du jeu de données (ex: Voie Cyclique pour ECL, MSTCN-CA pour ETTh1).
• Comparaison de Complexité : RhyMix évolue linéairement avec l'horizon ($O(H)$), alors que des modèles comme Time-o1 évoluent de manière quadratique ($O(H^2)$) en raison des matrices de projection. RhyMix utilise jusqu'à 99$\times$ moins de paramètres que TimeMixer++.

Signification et Revendications
L'article affirme que RhyMix résout le compromis entre la précision de la prévision et l'efficacité computationnelle. En intégrant des priors saisonniers explicites avec des convolutions multi-échelles pilotées par les données et un portage adaptatif, RhyMix capture diverses dynamiques temporelles tout en restant léger. Les auteurs positionnent RhyMix comme une solution pratique pour les appareils de bord (edge) aux ressources limitées et les applications en temps réel, offrant une architecture autonome qui ne nécessite ni pré-calcul ni modèles de base externes. Le travail suggère qu'une modélisation multi-rythme adaptative peut atteindre des performances SOTA sans la lourde surcharge de calcul des approches actuelles basées sur les Transformers ou les hybrides complexes.

Limites
Les auteurs reconnaissent que RhyMix présente des limites sur les jeux de données présentant de fortes dépendances spatiales inter-capteurs (par exemple, le jeu de données Traffic avec 862 capteurs), où des architectures de Dépendance de Canal (CD) spécialisées comme SOFTS ou iTransformer sont plus performantes. De plus, sur le jeu de données PEMS04 à un horizon long ($H=96$), RhyMix a été légèrement surpassé par MSTN-Transformer, suggérant que les mécanismes de porte adaptatifs peuvent être moins efficaces pour certaines prédictions à long horizon sur certaines distributions de données. Les auteurs notent que cela reflète un compromis de conception privilégiant l'apprentissage multi-échelle généraliste par rapport aux biais inductifs spécialisés.