Résumé Technique : Super-Linear

Énoncé du Problème

La prévision de séries temporelles (TSF) est cruciale dans des domaines tels que l'énergie, la finance et la santé. Bien que les récents grands modèles pré-entraînés (par exemple, Chronos, Time-MoE, TimesFM) aient démontré de solides capacités de généralisation en mode zéro-shot (ZS), ils souffrent de coûts computationnels significatifs, d'un nombre élevé de paramètres et d'une interprétabilité limitée. À l'inverse, bien que les modèles linéaires soient efficaces et rapides, un modèle linéaire unique manque souvent d'expressivité pour se généraliser à travers des ensembles de données diversifiés présentant des motifs périodiques variables. Cette limitation entraîne une « confusion fréquentielle », où un unique ensemble de poids peine à représenter plusieurs fréquences temporelles superposées, dégradant la précision dans les configurations zéro-shot.

Méthodologie

Les auteurs introduisent Super-Linear, un modèle léger et épars de type Mélange d'Experts (MoE) conçu pour combler le fossé entre l'efficacité des modèles linéaires et l'adaptabilité des architectures profondes.

Architecture Principale

Super-Linear remplace les architectures profondes non linéaires par une architecture modulaire composée de :

1. Experts Linéaires Spécialisés par Fréquence : Le modèle comprend $N$ experts linéaires. La plupart sont des « experts fréquentiels », chacun entraîné pour se spécialiser dans un régime de fréquence dominant spécifique ($\hat{\omega}_i$). Ils sont implémentés à l'aide de RLinear (une couche linéaire combinée à une normalisation par instance via RevIN) pour gérer les décalages de distribution.
2. Experts Complémentaires : Un ensemble d'experts linéaires non spécifiques aux fréquences, entraînés conjointement pour capturer les signaux temporels résiduels non gérés par les experts fréquentiels.
3. Experts Heuristiques : Des experts non apprenables, spécifiquement un prévisionniste « naïf » (dernière valeur) et un prévisionniste « moyenne » (moyenne de l'entrée), sont inclus pour fournir une robustesse dans les régimes de basse fréquence ou de séquences courtes.
4. Mécanisme de Gating Spectral : Un routeur léger et interprétable sélectionne dynamiquement les experts pertinents pour une entrée donnée. Il calcule les poids de gating basés sur la signature spectrale de l'entrée (périodogramme normalisé dérivé de la Transformée de Fourier Rapide). Le mécanisme emploie un gating épars, activant uniquement les $k$ meilleurs experts par entrée.

Cadre d'Entraînement

Super-Linear utilise un processus d'entraînement en deux étapes :

• Étape 1 (Pré-entraînement des Experts Fréquentiels) : Chaque expert fréquentiel est entraîné indépendamment sur des données alignées avec sa fréquence fondamentale désignée. Crucialement, les auteurs emploient des augmentations par rééchantillonnage (interpolation linéaire) extensives durant cette étape. Cela ne sert pas uniquement à l'augmentation de données, mais à exposer chaque expert à une abondance diverse d'instances fréquentielles, assurant que le modèle apprend des représentations fréquentielles robustes plutôt que des motifs spécifiques à un ensemble de données.
• Étape 2 (Entraînement du Routeur et Complémentaire) : Les poids des experts fréquentiels pré-entraînés sont gelés. Le routeur MoE et les couches d'experts complémentaires sont entraînés conjointement. Le routeur apprend à sélectionner dynamiquement l'expert le plus adapté en fonction des caractéristiques spectrales du signal d'entrée.

Adaptabilité

Le modèle gère les longueurs d'entrée variables (fenêtres d'observation) et les horizons de prévision grâce à :

• Heuristiques de Rééchantillonnage : Les entrées plus courtes que la longueur d'entraînement (512 pas) sont suréchantillonnées par interpolation linéaire ; les entrées plus longues sont sous-échantillonnées de manière adaptative pour préserver l'énergie du signal et aligner les fréquences avec la portée des experts.
• Déroulement Auto-régressif : Les horizons de prévision longs sont gérés via une génération auto-régressive.

Contributions Clés

1. Prévision Zéro-Shot Efficace : Super-Linear atteint des performances zéro-shot compétitives avec seulement 2,5 millions de paramètres, significativement moins que les modèles de base basés sur Transformer (par exemple, Timer-XL possède 84 millions de paramètres).
2. Conception Consciente de la Fréquence : L'article postule que la confusion fréquentielle est un goulot d'étranglement principal pour les modèles linéaires dans les configurations zéro-shot. En décomposant la tâche de prévision en experts spécialisés par fréquence, le modèle atténue cette interférence.
3. Construction de Données sur Architecture : Les auteurs démontrent que le rééchantillonnage et l'adaptation des entrées sont plus critiques pour la performance que la complexité architecturale. L'entraînement sur des régimes fréquentiels diversifiés via le rééchantillonnage permet au modèle de se généraliser efficacement sans des nombres massifs de paramètres.
4. Interprétabilité : Contrairement aux modèles MoE profonds complexes, la structure d'experts à couche unique de Super-Linear et son gating spectral permettent une analyse directe de la sélection des experts, révélant des liens clairs entre les taux d'échantillonnage, les motifs saisonniers et les experts activés.

Résultats Expérimentaux

Le modèle a été évalué sur des benchmarks standards (LTSF : ETT, Electricity, Traffic, Weather) et le benchmark complet GIFT-Eval.

• Performance Zéro-Shot : Super-Linear réduit l'erreur quadratique moyenne (MSE) moyenne de jusqu'à 26,2 % par rapport à des modèles éminents comme Chronos et TimesFM. Il surpasse Timer-XL en MSE et MAE sur plus du double de benchmarks tout en étant seulement 3 % de sa taille.
• GIFT-Eval : Sur le benchmark GIFT-Eval, Super-Linear atteint un score MASE compétitif (0,857), surpassant ou égalant des modèles fondateurs plus grands comme VisionTS, Moirai et TTM.
• Efficacité : Super-Linear offre des accélérations substantielles. Il est 8,3 fois plus rapide que Chronos-Bolt-Small et 383,3 fois plus rapide que Time-MoE pour une taille de lot de 64, tout en maintenant une précision compétitive.
• Robustesse : Le modèle démontre une robustesse supérieure face aux taux d'échantillonnage variables (par exemple, 10, 20, 30, 40, 50 minutes) par rapport aux modèles qui dépendent fortement de données d'entraînement échantillonnées à l'heure.
• Études d'Ablation : Le retrait de la stratégie de rééchantillonnage durant l'entraînement a causé la dégradation de performance la plus significative (le MASE est passé de 0,857 à 1,603), confirmant que la diversité fréquentielle dans la construction des données est le principal moteur du succès.

Importance et Revendications

L'article revendique que Super-Linear démontre que les modèles linéaires, lorsqu'ils sont combinés avec une architecture de mélange d'experts épars et une construction de données consciente de la fréquence, peuvent rivaliser avec ou surpasser les grands modèles fondateurs pré-entraînés complexes.

Les auteurs soulignent que la clé de ce succès n'est pas la complexité architecturale mais plutôt la construction de données — spécifiquement, l'utilisation du rééchantillonnage pour créer une diversité fréquentielle et l'utilisation d'un gating spectral pour assembler dynamiquement les prédictions. Cette approche offre une voie vers des modèles de prévision qui sont :

• Évolutifs : Fonctionnant efficacement sur un seul GPU avec un nombre minimal de paramètres.
• Interprétables : Permettant aux utilisateurs de comprendre quels motifs fréquentiels pilotent des prédictions spécifiques.
• Généralisables : Capables de transfert zéro-shot à travers des domaines et des taux d'échantillonnage diversifiés sans ajustement fin.

L'article conclut que, bien que les experts linéaires limitent les performances sur des séries hautement non linéaires ou chaotiques, le cadre proposé offre une alternative robuste, efficace et transparente à la tendance actuelle de mise à l'échelle des modèles de séries temporelles basés sur Transformer.