Retrieval Mechanisms Surpass Long-Context Scaling in Time Series Forecasting

Résumé technique : Les mécanismes de récupération surpassent l'extension du contexte long dans la prévision de séries temporelles

Énoncé du problème
L'article remet en cause l'hypothèse de « mise à l'échelle » prédominante dans les modèles de base pour les séries temporelles (TSFMs), qui postule que l'alimentation des modèles par des fenêtres de contexte historique plus longues (empruntées au traitement du langage naturel) améliore de manière monotone la qualité des prévisions. Les auteurs soutiennent que cette prémisse échoue dans les domaines stochastiques. Contrairement aux jetons linguistiques, qui conservent leur valeur sémantique quelle que soit leur position, les valeurs distantes dans les séries temporelles stochastiques constituent souvent du bruit haute fréquence plutôt qu'un signal. L'article émet l'hypothèse que l'expansion indiscriminée de la fenêtre de contexte conduit à un mode de défaillance nommé accumulation de bruit stochastique, où la volatilité historique non pertinente inonde les mécanismes d'attention, diluant la capacité du modèle à pondérer les motifs récents et informatifs.

Méthodologie et cadre expérimental
Pour valider empiriquement cette hypothèse, l'étude utilise le benchmark ETTh1 (Electricity Transformer Temperature), choisi pour sa volatilité stochastique haute fréquence qui rend la séparation du signal difficile. La conception expérimentale compare trois architectures de modèles sur différentes longueurs de fenêtre de rétrospection ($L \in \{720, 1440, 3000\}$) avec un horizon de prédiction fixe ($H=96$) :

1. Transformer Vanilla : Une architecture encodeur-décodeur standard ($d_{model}=512$, $n_{heads}=8$) pour observer le comportement de base de l'attention.
2. PatchTST : L'état de l'art (SOTA) actuel utilisant un découpage par patches indépendant des canaux ($P=16, S=8$) pour traiter efficacement les longues séquences.
3. Prévision augmentée par récupération (RAFT) : Une base qui maintient une fenêtre fixe courte ($L=720$) mais injecte des segments historiques pertinents via une récupération par similarité cosinus top-$k$, les traitant comme des variables exogènes dynamiques.

L'étude évalue également des modèles de base en zéro-shot (Chronos et Moirai) sur le même jeu de données pour déterminer si le pré-entraînement sur des corpus massifs peut surmonter les limites de l'extension du contexte long. Les métriques d'évaluation incluent l'erreur quadratique moyenne (MSE) et l'erreur absolue moyenne (MAE).

Résultats clés : La loi d'échelle inverse
Les expériences révèlent une loi d'échelle inverse pour les séries temporelles stochastiques, contredisant directement les lois d'échelle du TALN :

• Échec du contexte long : À mesure que la fenêtre de contexte s'élargit, l'erreur de prévision augmente. Pour PatchTST, l'augmentation de la fenêtre de 720 à 3 000 pas entraîne une baisse de 68 % des performances (la MSE passe de 0,385 à 0,647). Le Transformer Vanilla souffre encore plus gravement, avec une augmentation de la MSE d'environ 200 %.
• Inflation de l'entropie d'attention : L'analyse des mécanismes montre qu'à mesure que la longueur du contexte croît, l'entropie d'attention normalisée passe de 0,952 ($L=336$) à 0,989 ($L=3000$), s'approchant d'une distribution uniforme. Cela indique que le mécanisme d'attention dégénère en une moyenne sur des centaines de positions non pertinentes, perdant effectivement la capacité de distinguer le signal du bruit.
• Validation inter-domaines : La dégradation n'est pas spécifique à ETTh1. Sur le jeu de données Exchange Rate, les performances de PatchTST en contexte long se dégradent de 276,8 %, confirmant que l'accumulation de bruit est un problème structurel pour les processus stochastiques à forte volatilité.

Résultats : La supériorité de la récupération sélective
Le modèle RAFT surpasse toutes les configurations en contexte long et les modèles de base en zéro-shot :

• Performance : RAFT atteint une MSE de 0,379 avec une fenêtre fixe de 720 pas et une récupération sélective. Cela dépasse PatchTST à 720 pas (MSE 0,385) et surpasse nettement PatchTST à 3 000 pas (MSE 0,647).
• Comparaison en zéro-shot : Même les grands modèles de base pré-entraînés échouent à égaler RAFT. Chronos-T5-Small (MSE 0,483) et Moirai-1.1-R-Small (MSE 0,553) performent nettement moins bien que RAFT, démontrant que l'échelle du pré-entraînement ne compense pas l'absence de récupération de contexte ciblée dans les environnements stochastiques.
• Efficacité : RAFT est nettement plus efficace sur le plan computationnel, avec un entraînement en 2,13 minutes contre 83,47 minutes pour le Transformer Vanilla à 3 000 pas, tout en offrant une précision supérieure.

Signification et revendications
L'article affirme que la logique de « contexte long » des grands modèles de langage ne peut pas être transplantée directement dans le monde stochastique des séries temporelles. La contribution principale est l'identification de l'accumulation de bruit stochastique comme un mode de défaillance critique où l'augmentation du volume de contexte conduit à une diminution de la précision.

Les auteurs soutiennent que la qualité du contexte, et non le volume du contexte, est le déterminant de la précision des prévisions. En employant une récupération sélective, RAFT injecte un « biais inductif informé par le contexte » qui filtre le bruit avant que le mécanisme d'attention n'opère. L'article conclut que les futurs modèles de base doivent s'orienter architecturalement vers des mécanismes de récupération sélective plutôt que vers une expansion aveugle des fenêtres pour réaliser une prévision robuste, efficace et précise dans les domaines stochastiques. L'ouvrage suggère que l'intégration directe de la récupération dans le pré-entraînement (par exemple, des têtes de récupération dynamiques) représente la prochaine frontière pour les TSFMs.