Résumé technique : Mécanismes de mémoire dans les séries temporelles multivariées

Énoncé du problème

Les modèles de prévision de séries temporelles multivariées (MTS) opèrent dans des environnements non stationnaires caractérisés par des changements de régime, des dérives conceptuelles et l'évolution des relations entre variables. Bien que les modèles de deep learning modernes (ex. : Transformers, modèles d'espace d'état, modèles de fondation) conservent implicitement la dynamique historique via des paramètres, des états cachés ou des motifs d'attention, ils souffrent de trois limitations structurelles :

1. Intrication de la capacité : La capacité de mémoire est liée à la taille du modèle, nécessitant un réentraînement pour l'étendre.
2. Inspectabilité : L'expérience stockée est difficile à inspecter, à éditer ou à vérifier après l'entraînement.
3. Rigidité post-déploiement : L'adaptation à de nouveaux régimes repose souvent sur une normalisation ad hoc ou un réentraînement complet plutôt que sur des mises à jour de mémoire principled.

La littérature actuelle traite la « mémoire » de manière vague, confondant souvent la modélisation de contexte implicite (ex. : fenêtres d'attention) avec des systèmes de mémoire explicites. Il existe un manque de cadre unifié pour distinguer l'endroit où l'information est conservée, comment elle est accédée et comment elle évolue dans le temps.

Méthodologie : Le cadre des mécanismes de mémoire

Les auteurs proposent une définition formelle et une taxonomie en trois parties pour organiser la littérature de la prévision MTS basée sur les mécanismes de mémoire. Un mécanisme de mémoire est défini comme un composant identifiable qui conserve l'information au-delà de la transformation instantanée de l'entrée pour conditionner, adapter ou vérifier les prévisions.

Le cadre est formalisé via l'Équation (1) :
$$\hat{Y}_{t+1:t+H} = F_\theta(X_{t-L+1:t}, z_t)$$
$$z_t = \rho_\phi(q(X_{t-L+1:t}), M_t)$$
$$M_{t+1} = U_\psi(M_t, X_{t-L+1:t}, \hat{Y}_{t+1:t+H}, e_t)$$

Où $M_t$ est l'état de mémoire conservé, $q$ est la construction de la requête, $\rho_\phi$ est la fonction d'accès et $U_\psi$ est la fonction de mise à jour. Sur cette base, l'enquête organise les mécanismes en trois piliers :

1. Mécanismes au niveau de l'architecture (Représentation)

Ces mécanismes définissent où l'information est stockée au sein du calcul du modèle, généralement sans recherche externe.

• Mémoire paramétrique/d'état implicite : L'information est compressée dans des paramètres appris, des états cachés (RNN, modèles d'espace d'état comme xLSTM, Neural ODE) ou des patch embeddings (PatchTST).
• Mémoire structurée/de prototype : L'information relationnelle est stockée dans des matrices explicites, des graphes (FourierGNN), des opérateurs de fréquence ou des structures de corrélation.
• Mémoire de contexte de Fondation/LLM : Des priors temporels larges sont hérités de modèles pré-entraînés (TSFMs, LLMs) via des adaptateurs, des prompts ou de la distillation, plutôt que d'être stockés dans une base de données externe.
• Règle de frontière : Ces mécanismes sont architecturaux à moins que la méthode n'accède explicitement à un magasin persistant externe.

2. Mécanismes de recherche (Accès)

Ces mécanismes définissent comment un système lit un magasin externe persistant ($M$) distinct des paramètres du modèle ($\Theta$).

• Magasins d'exemplaires temporels : Récupération de segments de séries temporelles historiques basés sur la similitude (ex. : plus proche voisin, TimeRAF).
• Recherche hétérogène de type RAG : Récupération de texte, de métadonnées, d'événements ou de documents financiers aux côtés des données de séries temporelles (ex. : TS-RAG).
• Recherche associative et routage : Utilisation de réseaux de Hopfield ou de portes apprises pour récupérer des prototypes ou router des requêtes vers des adaptateurs spécifiques (ex. : STanHop, CABLE).
• Règle de frontière : Une méthode est classée comme « Recherche » si : (i) $M \cap \Theta = \emptyset$ (magasin externe), (ii) la prévision dépend fonctionnellement du contenu récupéré, et (iii) le magasin persiste à travers les étapes d'inférence.

3. Mécanismes d'évolution (Mise à jour)

Ces mécanismes définissent comment la mémoire change après le déploiement pour gérer la dérive, incluant les opérations d'Écriture, de Rafraîchissement, de Consolidation et d'Oubli.

• Écriture et Consolidation : Utilisation de buffers de rejeu, de voies d'adaptation lent-rapide ou de régularisation pour équilibrer plasticité et stabilité (ex. : CoSFan, Learning Fast and Slow).
• Rafraîchissement sous dérive : Mise à jour des statistiques internes, des opérateurs ou des choix de routage sans réentraînement complet (ex. : normalisation dynamique, décomposition basée sur Koopman).
• Oubli et Rétention : Suppression délibérée des régimes obsolètes ou des entrées empoisonnées tout en préservant les motifs saisonniers réutilisables, ce qui est particulièrement critique pour les modèles de fondation.

Contributions clés

1. Définition formelle : Le papier établit une définition rigoureuse des mécanismes de mémoire pour la prévision MTS, les distinguant de l'attention standard ou de la modélisation de contexte.
2. Taxonomie et règles de frontière : Il introduit une organisation en trois parties (Architecture, Recherche, Évolution) avec des critères spécifiques pour séparer les systèmes de mémoire explicites des caractéristiques architecturales implicites.
3. Protocole de revue : Un protocole de sélection est fourni pour classer les articles selon qu'ils exposent des composants de mémoire identifiables, séparant les « preuves de cadrage » (benchmarks/surveys) des réelles revendications de mécanismes.
4. Synthèse Défis-Feuille de route : Les auteurs cartographient les défis ouverts vers des directions de conception concrètes, allant au-delà d'une simple revue de littérature pour proposer un agenda de recherche.

Résultats et Synthèse

L'enquête ne présente pas de nouveaux benchmarks expérimentaux ou de comparaisons de performances quantitatives. À la place, ses « résultats » sont un paysage synthétisé du domaine :

• Asymétrie du domaine : Les mécanismes de niveau architecture sont omniprésents et matures, tandis que les mécanismes de recherche explicite et d'évolution post-déploiement sont moins systématiquement spécifiés.
• Écarts d'interface : Les systèmes de recherche actuels peinent souvent avec le « fossé de la modalité temporelle » (faire correspondre des requêtes multicanaux continues aux hypothèses symboliques de RAG) et le « compromis latence-utilité ».
• Déficits d'évaluation : Les métriques standards (MAE, MSE) ne parviennent pas à isoler les comportements spécifiques à la mémoire. Le papier propose un nouveau protocole d'évaluation (Tableau 4) incluant des tests de stress pour la mémoire obsolète, l'empoisonnement de la mémoire, les mises à jour retardées et les changements de structure de canal.

Signification et Revendications

Le papier affirme que la valeur principale de cette enquête est de déplacer l'attention de « quel modèle de backbone est le meilleur » vers « comment l'information conservée est représentée, accédée et mise à jour ».

• Mémoire auditable : Les auteurs soutiennent que les progrès futurs dépendent de la rendre les mécanismes de mémoire auditables. Les systèmes devraient exposer des interfaces pour lire, écrire, rafraîchir et supprimer la mémoire, permettant aux praticiens de vérifier pourquoi une prévision a été faite et quelle preuve historique l'a influencée.
• Au-delà de la performance : La signification réside dans l'adresse de la robustesse, de la sécurité et de l'interprétabilité. En traitant la mémoire comme un composant de système contrôlable plutôt que comme un sous-produit opaque de l'entraînement, le domaine peut mieux gérer la dérive conceptuelle, prévenir les hallucinations dans les modèles de fondation et atténuer l'empoisonnement de la mémoire.
• Agenda de recherche : Le papier positionne une feuille de route pour le développement de « mécanismes de mémoire auditables » qui incluent la validation, le score de fraîcheur et des politiques de suppression explicites, faisant passer le domaine vers des systèmes de prévision MTS plus fiables et maintenables.