Résumé Technique : TS-Memory

Problématique

Les modèles de fondation pour séries temporelles (TSFMs) ont démontré de fortes capacités de prévision zero-shot grâce à un pré-entraînement à grande échelle. Cependant, leur déploiement dans des scénarios réels est entravé par les décalages de distribution (ex: changements d'échelle, disparités saisonnières, variations de capteurs), qui dégradent sévèrement les performances des noyaux (backbones) gelés. Les stratégies d'adaptation existantes font face à un compromis fondamental :

1. Adaptation Paramétrique : Les méthodes de fine-tuning complet ou efficace en paramètres (ex: LoRA) adaptent les poids au domaine cible mais nécessitent de maintenir des copies distinctes du modèle pour chaque domaine (coûts de stockage/maintenance élevés) et risquent un oubli catastrophique des connaissances générales issues du pré-entraînement.
2. Récupération Non-Paramétrique : Les méthodes de génération augmentée par récupération (RAG) ou de mise en correspondance métrique préservent le noyau gelé en récupérant des instances historiques similaires depuis une base de données externe lors de l'inférence. Bien qu'efficaces, elles entraînent une latence d'inférence élevée qui croît linéairement avec la taille du magasin de données, ce qui les rend inadaptées au déploiement en temps réel ou sur des périphériques (edge).

Le défi central consiste à capturer l'adaptabilité robuste des méthodes basées sur la récupération tout en maintenant une inférence en temps constant et la simplicité de déploiement des adaptateurs paramétriques.

Méthodologie : Distillation de Mémoire Paramétrique

Les auteurs proposent TS-Memory, un cadre "Plug-and-Play" basé sur un nouveau paradigme appelé Distillation de Mémoire Paramétrique. L'idée centrale est que la "connaissance" fournie par la récupération en ligne (spécifiquement, la distribution prédictive impliquée par des entrées similaires) peut être compilée hors ligne en un module neural compact. Cela déplace le coût de la récupération de la phase d'inférence vers la phase d'entraînement.

TS-Memory fonctionne en deux étapes :

1. Construction de la Supervision Privilégiée (Hors ligne)

Pour éviter la fuite de données (leakage) lors des tests, un enseignant kNN (k-plus proches voisins) sans fuite est construit exclusivement à partir de l'ensemble d'entraînement.

• Base de Connaissances : Une base de données de contextes passés et de leurs futurs réalisés est construite en utilisant uniquement la division d'entraînement.
• Alignement de Décalage : Pour gérer les décalages de distribution (ex: décalages de niveau), les voisins candidats sont ré-alignés via un décalage de moyenne mobile calculé par canal avant la récupération.
• Agrégation de l'Enseignant : Pour une entrée donnée, les $K$ plus proches voisins sont récupérés. Leurs trajectoires futures sont agrégées en cibles de quantiles sensibles à la confiance ($\tilde{Q}_t$).
• Score de Confiance : Un score de confiance ($Conf_t$) est dérivé de la concentration des poids de récupération. Ce score indique la fiabilité de la distribution récupérée.

2. Distillation de Mémoire à Porte de Confiance (Entraînement)

Un module léger et apprenable (PlugMem) est entraîné pour prédire directement les cibles de quantiles de l'enseignant à partir du contexte d'entrée, sans accéder à la base de données externe.

• Architecture : PlugMem est un encodeur-décodeur Transformer léger qui fonctionne indépendamment du noyau TSFM gelé, assurant une compatibilité plug-and-play.
• Fonction de Perte : L'objectif d'entraînement combine trois composantes :
  • Supervision de la Tâche ($\mathcal{L}_{task}$) : Régression de quantile standard par rapport à la vérité terrain.
  • Distillation à Porte de Confiance ($\mathcal{L}_{align}$) : Le module s'aligne sur les cibles de quantiles de l'enseignant uniquement lorsque l'enseignant fournit un signal fiable. Cela est régulé par un indicateur binaire ($\chi_t$) où l'enseignant surpasse le noyau de base, pondéré par le score de confiance ($Conf_t$). Il distille spécifiquement la correction incrémentale ($\Delta$) par rapport au noyau pour éviter d'apprendre des biais globaux.
  • Régularisation de Stabilité ($\mathcal{L}_{reg}$) : Comprend une perte d'ancrage pour éviter le sur-ajustement lorsque la récupération est incertaine, et une perte de croisement pour garantir des sorties de quantiles monotones.

3. Inférence (Sans Récupération)

Lors de l'inférence, TS-Memory effectue un processus strictement sans récupération :

1. Le noyau gelé ($f_\theta$) génère les prédictions de quantiles de base.
2. Le module PlugMem ($g_\phi$) génère des prédictions de quantiles complémentaires.
3. La prévision finale est une interpolation linéaire par quantile des deux : $\hat{Q}_{final} = (1-\alpha)\hat{Q}_{base} + \alpha\hat{Q}_{mem}$.
   Cela résulte en une latence d'inférence de $O(1)$, indépendante de la taille des données historiques.

Contributions Clés

1. Changement de Paradigme : L'article introduit la Distillation de Mémoire Paramétrique, transformant la récupération coûteuse en ligne en un mécanisme de mémoire apprenable et hors ligne. Cela comble le fossé entre l'adaptation paramétrique et la récupération non-paramétrique.
2. Conception de TS-Memory : Un module léger qui distille les distributions kNN non-paramétriques en représentations paramétriques. Il présente un nouveau mécanisme de supervision à porte de confiance qui transfère sélectivement les connaissances uniquement lorsque les signaux de récupération sont fiables, évitant ainsi le transfert négatif issu de récupérations bruitées.
3. Efficacité et Performance : La méthode obtient des améliorations constantes tant pour la prévision ponctuelle que probabiliste à travers divers TSFM et benchmarks, tout en maintenant une latence d'inférence comparable au noyau gelé (surcoût de temps constant).

Résultats Expérimentaux

Les auteurs ont évalué TS-Memory sur huit benchmarks de prévision multivariée à long terme (ex: ETTh1/2, Electricity, Traffic, Weather) en utilisant quatre noyaux TSFM gelés (ChronosBolt, Chronos2, Sundial, TimesFM).

• Performance : TS-Memory a systématiquement surpassé le noyau gelé ("Origin") et les autres bases de comparaison d'adaptation.
  • Sur l'ensemble des paires jeu de données-noyau, il a réduit l'MSE de 5,8 % et la MAE de 2,1 % en moyenne.
  • Les améliorations maximales ont atteint 16,0 % pour l'MSE et 6,0 % pour la MAE.
  • Il a également amélioré les métriques probabilistes (CRPS), indiquant une meilleure calibration de l'incertitude, là où LoRA dégradait parfois les performances probabilistes.
• Efficacité :
  • Latence : Contra part des bases de comparaison de récupération en ligne (RAFT, TS-RAG) qui induisent une latence significative (jusqu'à +100 % en raison de la recherche), TS-Memory n'ajoute qu'un faible surcoût constant (~4-5 %), comparable au noyau gelé.
  • Stockage : Il nécessite de stocker uniquement un petit module plutôt que de multiples copies de modèles (Adaptation Paramétrique) ou une grande base de données vectorielle (Récupération Non-Paramétrique).
• Généralisation :
  • Transfert Inter-Modèles : Un PlugMem entraîné sur un noyau (ex: ChronosBolt-Base) a réussi à améliorer des variantes plus petites et même différentes familles de TSFM (ex: Sundial, TimesFM) sans ré-optimisation.
  • Décalage de Domaine : La méthode a montré une robustesse sous les décalages de distribution, les gains augmentant positivement avec l'alignement entre le domaine de la supervision de récupération et le domaine cible.

Signification et Revendications

L'article affirme que TS-Memory offre un compromis supérieur pour le déploiement pratique en satisfaisant simultanément trois exigences critiques :

1. Zéro Recherche d'Inférence : Il élimine les dépendances aux bases de données vectorielles externes lors de l'exécution.
2. Complexité Temporelle Constante : La latence d'inférence est de $O(1)$, indépendante de la taille de la base de connaissances.
3. Adaptation Non-Destructive : Il préserve le noyau gelé, évitant l'oubli catastrophique.

Les auteurs positionnent TS-Memory non pas comme un remplacement de la récupération, mais comme un mécanisme pour internaliser les bénéfices de la récupération dans un module léger. En distillant les "corrections de distribution" induites par la récupération, TS-Memory permet aux TSFM gelés de s'adapter aux domaines locaux avec la vitesse d'une passe directe standard, rendant l'adaptabilité basée sur la récupération réalisable pour les applications en temps réel et sur les périphériques (edge).

Limites Reconnues : Les auteurs notent que la méthode se concentre sur la prévision probabiliste à long horizon et gère actuellement les décalages additifs par canal. Elle pourrait rencontrer des difficultés face à des déformations temporelles complexes ou des changements de régime abrupts si le corpus de récupération correspond mal au domaine de déploiement, bien que le mécanisme de porte atténue ce risque.