🤖 machine learning

NeST: Neighborhood-aware semantic alignment and temporal modulation for LLM based time series forecasting

L'article propose NeST, un nouveau cadre qui améliore la prévision de séries temporelles basée sur les LLM en générant des prototypes textuels sensibles au voisinage, en les alignant avec des représentations temporelles via l'apprentissage contrastif, et en appliquant une modulation temporelle conditionnée par les prototypes pour atteindre une performance et une généralisation supérieures à travers divers benchmarks et tâches du monde réel.

Auteurs originaux : Jayanie Bogahawatte, Sachith Seneviratne, Maneesha Perera, Saman Halgamuge

Publié 2026-08-25

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Jayanie Bogahawatte, Sachith Seneviratne, Maneesha Perera, Saman Halgamuge

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Prédire l'avenir des nombres qui évoluent au fil du temps est une tâche qui façonne la manière dont nous alimentons nos villes, gérons nos finances et nous préparons face à la météo. Depuis des décennies, les scientifiques s'appuient sur des outils mathématiques spécialisés pour prévoir ces modèles, appelés séries temporelles. Ces outils fonctionnent bien lorsque les données se comportent de manière prévisible, mais ils peinent souvent lorsque les modèles sont complexes, désordonnés ou lorsqu'il y a très peu de données pour apprendre. Ces dernières années, un nouveau type d'intelligence artificielle appelé Modèle de Langage Étendu (Large Language Model) a émergé. Initialement entraînés pour comprendre le langage humain, ces modèles sont incroyablement doués pour repérer des motifs dans des séquences de mots. Comme les données de séries temporelles sont également une séquence, les chercheurs ont commencé à essayer d'enseigner à ces modèles de langage à prédire des nombres plutôt que des phrases. Le défi consiste à combler le fossé entre les mots discrets et distincts qu'un modèle de langage connaît et le flux continu et fluide des données du monde réel, comme la consommation d'électricité ou la température.

Une équipe de chercheurs de l'Université de Melbourne a développé une nouvelle méthode pour résoudre ce problème, baptisant leur cadre NeST. Leur approche se concentre sur la meilleure façon de traduire la compréhension du modèle de langage des mots en un guide pour comprendre le temps. Au lieu de forcer le modèle à simplement lire une liste de nombres comme s'il s'agissait de mots, ou d'utiliser des techniques lourdes nécessitant des quantités massives de puissance de calcul, NeST crée un ensemble de « prototypes textuels ». Considérez ces prototypes comme des ancres représentatives soigneusement choisies qui capturent les voisinages locaux de sens au sein du vaste vocabulaire du modèle de langage. Les chercheurs ont entraîné le système pour s'assurer que ces ancres restent fidèles à la structure originale de la connaissance du modèle de langage, plutôt que de dériver vers des zones où le modèle n'a aucune compréhension réelle.

Une fois ces ancres textuelles établies, le système les aligne avec les données de séries temporelles réelles qu'il doit prédire. Il y parvient en trouvant les correspondances les plus proches entre les données et les ancres textuelles, garantissant que la connaissance sémantique du modèle de langage est directement pertinente pour les motifs numériques. Crucialement, au lieu de mélanger le texte et les nombres d'une manière qui pourrait confondre le rythme interne du modèle, NeST utilise les ancres textuelles pour ajuster doucement les données. Il ajuste l'échelle et déplace les caractéristiques numériques, permettant au modèle de langage d'appliquer sa sagesse apprise sans perturber le rythme naturel de la série temporelle. Ce processus est efficace, ne nécessitant des modifications que sur une petite fraction des paramètres du modèle tout en préservant l'intégralité de son vaste savoir.

Les résultats de cette nouvelle approche sont robustes et cohérents à travers une grande variété de tests. Testé sur des références standards pour la prévision à long terme, telles que la prédiction de la demande d'électricité ou du flux de trafic, NeST a surpassé les meilleures méthodes actuelles, réduisant les erreurs de prédiction de 1,2 % en moyenne. Cela peut sembler être un petit chiffre, mais dans le monde de la prévision, même de minuscules améliorations peuvent conduire à des économies significatives et à une meilleure prise de décision. La méthode s'est également révélée remarquablement efficace lorsque les données étaient rares. Dans les situations où le modèle devait apprendre à partir d'une infime fraction des données disponibles, ou lorsqu'il devait prédire un nouveau type de données qu'il n'avait jamais vu auparavant, NeST a maintenu une grande précision, réduisant les erreurs de près de 5 % par rapport aux autres approches.

Au-delà des tests standards, les chercheurs ont appliqué NeST à un défi du monde réel : la prévision de la production d'énergie des panneaux solaires distribués. La génération d'énergie solaire est notoirement difficile à prédire car elle dépend des fluctuations météorologiques et varie selon les lieux. Le système a été testé sur neuf ensembles de données provenant de stations solaires dans diverses zones géographiques. Dans chaque cas, NeST a délivré la meilleure performance globale, améliorant la précision des prédictions de 3,3 % en moyenne par rapport aux méthodes existantes conçues spécifiquement pour l'énergie solaire. Cela suggère que le cadre n'est pas seulement une amélioration théorique, mais un outil pratique capable de gérer la nature désordonnée et variable des systèmes énergétiques réels.

Le succès de NeST réside dans sa capacité à respecter la nature unique du langage et du temps. En préservant les relations géométriques au sein du vocabulaire du modèle de langage et en utilisant celles-ci pour guider les données numériques sans imposer une connexion rigide, les chercheurs ont créé un système qui est à la fois flexible et précis. Les visualisations de leur travail montrent que leur méthode maintient les ancres textuelles fermement enracinées dans les régions denses et significatives de la connaissance du modèle de langage, contrairement aux méthodes précédentes qui permettaient à ces ancres de dériver vers des espaces vides ou non pertinents. Cet alignement minutieux permet au modèle de tirer parti de sa compréhension profonde des motifs pour faire de meilleures prédictions, même lorsque les données sont bruitées ou incomplètes.

En fin de compte, ce travail démontre que les modèles de langage étendus peuvent être efficacement adaptés à la prévision de séries temporelles sans perdre leurs forces fondamentales. Le cadre NeST offre un moyen d'intégrer la connaissance textuelle dans la prédiction numérique qui est à la fois efficace sur le plan computationnel et hautement précis. Alors que le monde génère de plus en plus de données et fait face à des défis de prévision plus complexes, des méthodes comme celle-ci fournissent une voie fiable, prouvant que les outils que nous utilisons pour comprendre le langage peuvent aussi nous aider à comprendre les rythmes du monde physique. Les conclusions suggèrent qu'avec la bonne approche, le fossé entre le texte et le temps peut être comblé, menant à des prédictions plus précises dans des domaines allant de la gestion de l'énergie à la planification économique.

Résumé Technique : NeST – Alignement Sémantique Sensible au Voisinage et Modulation Temporelle pour la Prévision de Séries Temporelles basée sur les LLM

1. Énoncé du Problème

Adapter les grands modèles de langage (LLM), qui sont pré-entraînés sur des données textuelles discrètes, pour prévoir des signaux de séries temporelles continus présente des défis importants. Bien que le réglage fin (fine-tuning) des LLM permette cette adaptation, les méthodes actuelles font face à trois limitations principales :

Intégration de Prompts Inefficace : Les approches existantes combinent souvent les modalités textuelles et de séries temporelles par une simple concaténation ou par des mécanismes d'attention croisée gourmands en paramètres. Cela crée un couplage rigide qui peut perturber la structure temporelle intrinsèque des plongements (embeddings) de séries temporelles et offre un contrôle limité sur la manière dont les priors sémantiques interagissent avec les caractéristiques temporelles.
Apprentissage de Prototypes Sous-optimal : Les méthodes actuelles génèrent des prototypes textuels via un sondage linéaire (linear probing) ou des ensembles prédéfinis fixes. Ces approches échouent souvent à préserver la structure géométrique de l'espace de plongement des jetons de mots pré-entraînés, ce qui conduit à des prototypes qui peuvent se situer en dehors du manifold valide du LLM. Cela est particulièrement préjudiciable dans les régimes de peu d'exemples (few-shot), où une supervision limitée peut provoquer un surapprentissage.
Décomposition Temporelle Inadéquate : De nombreuses méthodes reposent sur des techniques de décomposition (par exemple, STL) pour apprendre les plongements de séries temporelles. Cependant, ces techniques peuvent ne pas capturer de manière adéquate les dynamiques temporelles complexes et non stationnaires courantes dans les applications du monde réel.

2. Méthodologie : Le Cadre NeST

Les auteurs proposent NeST (Neighborhood-aware Semantic Alignment and Temporal Modulation), un cadre conçu pour formuler un nouveau prompt de série temporelle intégré au texte pour le réglage fin des LLM. L'architecture se compose de cinq modules :

Module 1 : Apprentissage de la Représentation des Séries Temporelles

La série temporelle multivariée d'entrée est partitionnée en canaux univariés. Chaque canal est normalisé à l'aide de la Normalisation d'Instance Réversible (RevIN) pour atténuer les décalages de distribution. Les données sont ensuite divisées en patchs (fenêtres temporelles locales) à l'aide d'une couche de plongement de patch (convolution 1D) suivie d'une couche linéaire pour générer les plongements de patch de séries temporelles ( $P^{(i)}$ ) et un plongement d'entrée global ( $Z^{(i)}$ ).

Module 2 : Apprentissage de Prototypes Textuels Sensibles au Voisinage

Au lieu d'apprendre les prototypes uniquement via la perte de prévision, NeST introduit un mécanisme pour préserver la géométrie sémantique du LLM.

Initialisation : Un ensemble de prototypes textuels apprenables ( $E$ ) est initialisé.
Optimisation : Les prototypes sont optimisés pour agir comme des centroïdes pour les voisinages locaux des plongements de jetons de mots pré-entraînés ( $W$ ). Ceci est réalisé en minimisant l'erreur quadratique moyenne (MSE) entre chaque jeton de mot gelé et son prototype de texte le plus proche. Cela garantit que les prototypes restent dans les régions denses du manifold de plongement pré-entraîné, préservant ainsi les priors sémantiques.

Module 3 : Alignement basé sur l'Apprentissage Contrastif du Plus Proche Voisin (NNCL)

Pour aligner les prototypes textuels appris avec les représentations de séries temporelles, NeST utilise un objectif d'apprentissage contrastif du plus proche voisin.

Ensemble de Support : Une file d'attente FIFO (First-In-First-Out) ( $Q$ ) maintient un grand ensemble de prototypes textuels provenant des lots précédents pour approximer la distribution complète.
Objectif Contrastif : Pour un plongement de série temporelle donné $Z^{(i)}$ , les $k$ plus proches voisins des prototypes textuels sont récupérés de l'ensemble de support. Une perte contrastive ( $L_{NNCL}$ ) est calculée pour rapprocher le plongement de la série temporelle de ces prototypes textuels pertinents, garantissant que les prototypes sont représentatifs des caractéristiques de la série temporelle.

Module 4 : Modulation Temporelle Conditionnée par le Prototype Textuel

Ce module intègre l'information sémantique dans la série temporelle sans modifier la séquence de jetons ni introduire de jetons auxiliaires.

Agrégation : Les $k$ plus proches prototypes textuels récupérés sont agrégés en un vecteur de contexte textuel global ( $C$ ).
Modulation : Une fonction de projection légère mappe $C$ vers des paramètres d'échelle ( $\gamma$ ) et de décalage ( $\beta$ ) par caractéristique.
Application : Ces paramètres sont appliqués aux plongements de patch de séries temporelles via une interpolation résiduelle : $P^{(i)*} = \gamma \odot P^{(i)} + \beta$ . Cela module de manière adaptative les caractéristiques temporelles en fonction du contexte sémantique tout en préservant la structure temporelle intrinsèque.

Module 5 : Réglage Fin du LLM et Sortie

Les plongements modulés servent de prompt d'entrée au LLM. Pour maintenir le prior pré-entraîné et réduire la charge de calcul, NeST gèle les couches d'attention multi-têtes et les couches de propagation avant (feed-forward) du LLM. Seuls les plongements positionnels et les paramètres de normalisation de couche sont ajustés. La sortie du LLM est aplatie et transmise à une couche linéaire pour générer la prévision finale.

Perte Totale : L'objectif d'optimisation combine la perte de prévision ( $L_{forecast}$ ), la perte d'apprentissage de prototype ( $L_{proto}$ ) et la perte d'alignement contrastif ( $L_{NNCL}$ ), pondérées par un hyperparamètre $\lambda$ .

3. Contributions Clés

Apprentissage de Prototypes Textuels Sensibles au Voisinage : Un mécanisme qui apprend des prototypes textuels en préservant explicitement la structure du voisinage local au sein de l'espace de plongement des jetons de mots du LLM pré-entraîné, agissant comme des ancres représentatives pour les régions sémantiques.
Alignement Cross-modal basé sur le NNCL : L'introduction d'un objectif d'apprentissage contrastif du plus proche voisin pour aligner les prototypes textuels appris avec les représentations de séries temporelles, utilisant un ensemble de support pour améliorer la robustesse dans les scénarios de peu d'exemples.
Modulation Temporelle Conditionnée par Prototype : Un mécanisme de conditionnement par caractéristique qui injecte la sémantique textuelle dans les représentations de séries temporelles via une mise à l'échelle et un décalage adaptatifs, évitant le couplage rigide et le coût computationnel de la concaténation de jetons ou de l'attention croisée.
Évaluation Empirique Complète : Démontre des performances de pointe (state-of-the-art) sur des benchmarks de prévision à long terme, à court terme, de peu d'exemples (few-shot) et de zéro exemple (zero-shot).
Validation en Conditions Réelles : Application réussie à la prévision de la puissance photovoltaïque (PV) distribuée sur neuf jeux de données, démontrant la robustesse dans les scénarios d'intégration des énergies renouvelables.

4. Résultats Expérimentaux

Les auteurs ont évalué NeST sur sept jeux de données de référence pour la prévision à long terme (ETTh1, ETTh2, ETTm1, ETTm2, Weather, Traffic, et ECL), le benchmark M4 pour la prévision à court terme, et neuf jeux de données PV réels.

Prévision à Long Terme : NeST a obtenu une réduction moyenne de 1,2 % de la MSE par rapport aux deuxièmes meilleures méthodes de l'état de l'art (SOTA) sur les sept benchmarks de prévision à long terme. Il a systématiquement surpassé les bases comme S2TS-LLM, Time-LLM et PatchTST.
Prévision Few-shot : En utilisant seulement 10 % des données d'entraînement, NeST a montré une forte performance, obtenant les meilleurs résultats sur trois des quatre jeux de données ETT et démontrant sa robustesse dans des conditions de rareté de données.
Prévision Zero-shot : Dans des configurations de transfert de domaine (entraînement sur un jeu de données, test sur un autre), NeST a surpassé les bases existantes dans sept des huit scénarios de transfert, avec des réductions de MSE allant de 1,9 % à 11,5 % selon la paire de transfert.
Prévision à Court Terme (Benchmark M4) : NeST a obtenu les meilleurs scores SMAPE (11,940) et MASE (1,607) parmi les méthodes comparées, montifiant une performance compétitive à travers divers intervalles d'échantillonnage.
Prévision PV Réelle : Sur les jeux de données de puissance PV distribuée, NeST a amélioré le score $R^2$ moyen de 4,9 % sur le premier jeu de données (cinq stations) par rapport à la deuxième meilleure méthode (une approche basée sur LLM spécifiquement conçue pour la prévision PV) et de 1,2 % sur le second jeu de données (quatre stations).
Études d'Ablation : Les expériences ont confirmé que chaque composant (apprentissage sensible au voisinage, NNCL et modulation temporelle) contribue positivement à la performance, les gains les plus significatifs étant observés dans les contextes few-shot.
Visualisation : Les visualisations UMAP ont confirmé que les prototypes de NeST restent ancrés dans les régions denses du manifold des jetons pré-entraînés, contrairement aux méthodes de sondage linéaire qui produisent des structures isolées.

5. Signification et Revendications

L'article affirme que NeST comble l'écart critique concernant l'intégration efficace des modalités textuelles et des séries temporelles pour la prévision basée sur les LLM. En préservant la géométrie sémantique du LLM et en utilisant une stratégie de modulation efficace en paramètres, NeST offre un cadre généralisable qui :

Améliore la Généralisation : Démontre de fortes capacités zero-shot et few-shot, cruciales pour les scénarios avec des données étiquetées limitées.
Préserve l'Intégrité Temporelle : Évite de perturber la structure temporelle intrinsèque des données de séries temporelles par une concaténation de jetons rigide.
Offre une Utilité Pratique : Prouve son efficacité non seulement sur les benchmarks académiques standards, mais aussi sur des tâches de prévision d'énergie renouvelable complexes et réelles impliquant des données non stationnaires et variables.

Les auteurs positionnent NeST comme un cadre robuste et pratique pour adapter les LLM à diverses tâches de prévision de séries temporelles sans nécessiter de modifications architecturales étendues ou de mécanismes d'attention coûteux en calcul.