🤖 machine learning

NeST: Neighborhood-aware semantic alignment and temporal modulation for LLM based time series forecasting

Het artikel stelt NeST voor, een nieuw framework dat LLM-gebaseerde tijdreeksvoorspelling verbetert door buurtbewuste tekstprototypes te genereren, deze uit te lijnen met temporele representaties via contrastief leren, en prototype-geconditioneerde temporele modulatie toe te passen om superieure prestaties en generalisatie over diverse benchmarks en real-world taken te bereiken.

Oorspronkelijke auteurs: Jayanie Bogahawatte, Sachith Seneviratne, Maneesha Perera, Saman Halgamuge

Gepubliceerd 2026-08-25

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Jayanie Bogahawatte, Sachith Seneviratne, Maneesha Perera, Saman Halgamuge

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het voorspellen van de toekomst van getallen die in de loop van de tijd veranderen, is een taak die vormgeeft aan hoe we onze steden van energie voorzien, onze financiën beheren en ons voorbereiden op het weer. Decennialang hebben wetenschappers vertrouwd op gespecialiseerde wiskundige hulpmiddelen om deze patronen te voorspellen, ook wel tijdreeksen genoemd. Deze hulpmiddelen werken goed wanneer de data zich op voorspelbare manieren gedraagt, maar ze worstelen vaak wanneer de patronen complex of rommelig zijn, of wanneer er heel weinig data is om van te leren. In de afgelopen jaren is er een nieuw soort kunstmatige intelligentie, een Large Language Model, opgekomen. Deze modellen zijn oorspronkelijk getraind om menselijke taal te begrijpen en zijn ongelooflijk goed in het herkennen van patronen in reeksen woorden. Omdat tijdreeksdata ook een sequentie is, zijn onderzoekers begonnen met het proberen te leren aan deze taalmodellen om getallen te voorspellen in plaats van zinnen. De uitdaging ligt in het overbruggen van de kloof tussen de discrete, afzonderlijke woorden die een taalmodel kent en de vloeiende, continue stroom van realwerkelijke data zoals elektriciteitsverbruik of temperatuur.

Een team onderzoekers aan de Universiteit van Melbourne heeft een nieuwe methode ontwikkeld om dit probleem op te lossen, die zij het framework NeST noemen. Hun aanpak richt zich op de vraag hoe de begrip van het taalmodel van woorden het beste kan worden vertaald naar een gids voor het begrijpen van tijd. In plaats van het model te dwingen om simpelweg een lijst met getallen te lezen alsof het woorden zijn, of door gebruik te maken van zware technieken die enorme hoeveelheden rekenkracht vereisen, creëert NeST een reeks "tekstprototypes". Zie deze prototypes als zorgvuldig gekozen representatieve ankers die de lokale buurten van betekenis binnen de enorme woordenschat van het taalmodel vastleggen. De onderzoekers trainden het systeem om ervoor te zorgen dat deze ankers trouw blijven aan de oorspronkelijke structuur van de kennis van het taalmodel, in plaats van af te drijven naar gebieden waar het model geen echt begrip van heeft.

Zodra deze tekstankers zijn vastgesteld, stemt het systeem ze af op de werkelijke tijdreeksdata die het moet voorspellen. Dit doet het door de dichtstbijzijnde overeenkomsten te vinden tussen de data en de tekstankers, waardoor wordt gewaarborgd dat de semantische kennis van het taalmodel direct relevant is voor de specifieke patronen in de getallen. Cruciaal is dat NeST, in plaats van de tekst en de getallen op een manier te mengen die het interne ritme van het model zou kunnen verwarren, de tekstankers gebruikt om de data voorzichtig aan te passen. Het schaalt en verschuift de numerieke kenmerken, waardoor het taalmodel zijn geleerde wijsheid kan toepassen zonder het natuurlijke ritme van de tijdreeks te verstoren. Dit proces is efficiënt en vereist wijzigingen aan slechts een klein deel van de instellingen van het model, terwijl de rest van de enorme kennis intact blijft.

De resultaten van deze nieuwe aanpak zijn robuust en consistent over een grote verscheidenheid aan tests. Wanneer getest op standaard benchmarks voor langetermijnvoorspelling, zoals het voorspellen van de elektriciteitsvraag of verkeersdoorstroming, presteerde NeST beter dan de huidige beste methoden, waarbij de voorspellingsfouten gemiddeld met 1,2 procent werden verminderd. Dit lijkt misschien een klein getal, maar in de wereld van voorspellingen kunnen zelfs minimale verbeteringen leiden tot aanzienlijke besparingen en betere besluitvorming. De methode bleek ook opmerkelijk effectief wanneer data schaars was. In situaties waarin het model moest leren van slechts een fractie van de beschikbare data, of wanneer het een nieuw type data moest voorspellen dat het nog nooit eerder had gezien, behield NeST een hoge nauwkeurigheid en verminderde de fouten met bijna 5 procent vergeleken met andere benaderingen.

Buiten de standaardtests pasten de onderzoekers NeST toe op een real-world uitdaging: het voorspellen van de energieopbrengst van gedistribueerde zonnepanelen. De opwekking van zonne-energie is berucht moeilijk te voorspellen omdat het afhangt van fluctuerende weersomstandigheden en varieert per locatie. Het systeem werd getest op negen verschillende datasets van zonnestations uit diverse geografische gebieden. In elk geval leverde NeST de beste algehele prestaties op, waarbij de nauwkeurigheid van de voorspellingen gemiddeld met 3,3 procent werd verbeterd ten opzichte van bestaande methoden die specifiek voor zonne-energie zijn ontworpen. Dit suggereert dat het framework niet alleen een theoretische verbetering is, maar een praktisch instrument dat in staat is om de rommelige, variabele aard van real-world energiesystemen aan te kunnen.

Het succes van NeST ligt in het vermogen om de unieke aard van zowel taal als tijd te respecteren. Door de geometrische relaties binnen de woordenschat van het taalmodel te bewaren en deze te gebruiken om de numerieke data te sturen zonder een rigide verbinding af te dwingen, hebben de onderzoekers een systeem gecreëerd dat zowel flexibel als precies is. De visualisaties van hun werk laten zien dat hun methode de tekstankers stevig geworteld houdt in de dichte, betekenisvolle regio's van de kennis van het taalmodel, in tegen tegenstelling tot eerdere methoden die deze ankers lieten afdrijven naar lege of irrelevante ruimtes. Deze zorgvuldige afstemming stelt het model in staat om zijn diepe begrip van patronen te benutten om betere voorspellingen te doen, zelfs wanneer de data ruis bevat of incompleet is.

Uiteindelijk laat dit werk zien dat large language models effectief kunnen worden aangepast voor tijdreeksvoorspelling zonder hun kernsterktes te verliezen. Het NeST-framework biedt een manier om tekstuele kennis te integreren in numerieke voorspelling die zowel computationeel efficiënt als zeer accuraat is. Naarmate de wereld meer data genereert en geconfronteerd wordt met complexere voorspellingsuitdagingen, bieden methoden zoals deze een betrouwbaar pad vooruit, wat bewijst dat de instrumenten die we gebruiken om taal te begrijpen, ons ook kunnen helpen om de ritmes van de fysieke wereld te begrijpen. De bevindingen suggereren dat met de juiste aanpak de kloof tussen tekst en tijd overbrugd kan worden, wat leidt tot nauwkeurigere voorspellingen in velden variërend van energiebeheer tot economische planning.

Technische Samenvatting: NeST – Neighborhood-aware Semantic Alignment and Temporal Modulation voor LLM-gebaseerde Tijdreeksvoorspelling

1. Probleemstelling

Het aanpassen van Large Language Models (LLM's), die zijn voorgetraind op discrete tekstgegevens, voor het voorspellen van continue tijdreeks-signalen brengt aanzienlijke uitdagingen met zich mee. Hoewel fine-tuning van LLM's deze aanpassing mogelijk maakt, kampen huidige methoden met drie primaire beperkingen:

Ineffectieve Prompt-integratie: Bestaande benaderingen combineren tekstuele en tijdreeks-modaliteiten vaak via eenvoudige concatenatie of parameter-zware cross-attention mechanismen. Dit creëert een rigide koppeling die de intrinsieke temporele structuur van tijdreeks-embeddings kan verstoren en beperkte controle biedt over hoe semantische priors interageren met temporele kenmerken.
Suboptimale Prototype-lering: Huidige methoden genereren tekstprototypes via lineaire probing of vooraf gedefinieerde sets. Deze benaderingen slagen er vaak niet in de geometrische structuur van de voorgetrainde woordtoken-embeddingruimte te behouden, wat leidt tot prototypes die buiten het geldige manifold van de LLM kunnen liggen. Dit is bijzonder nadelig in few-shot regimes waar beperkt toezicht kan leiden tot overfitting.
Inadequate Temporele Decompositie: Veel methoden vertrouwen op decompositietechnieken (bijv. STL) om tijdreeks-embeddings te leren. Echter, deze technieken kunnen complexe, niet-stationaire temporele dynamiek die gebruikelijk is in real-world applicaties niet adequaat vastleggen.

2. Methodologie: Het NeST-framework

De auteurs stellen NeST (Neighborhood-aware Semantic Alignment and Temporal Modulation) voor, een framework ontworpen om een nieuwe tekst-geïntegreerde tijdreeks-prompt te formuleren voor het fine-tunen van LLM's. De architectuur bestaat uit vijf modules:

Module 1: Tijdreeks Representatie-lering

De input multivariate tijdreeks wordt opgedeeld in univariate kanalen. Elk kanaal wordt genormaliseerd met behulp van Reversible Instance Normalization (RevIN) om distributieverschuivingen te mitigeren. De data wordt vervolgens verdeeld in patches (lokale tijdvensters) met behulp van een patch embedding laag (1D convolutie) gevolgd door een lineaire laag om tijdreeks patch-embeddings ( $P^{(i)}$ ) en een globale input-embedding ( $Z^{(i)}$ ) te genereren.

Module 2: Neighborhood-aware Tekst Prototype-lering

In plaats van prototypes uitsluitend te leren via forecasting loss, introduceert NeST een mechanisme om de semantische geometrie van de LLM te behouden.

Initialisatie: Een set leerbare tekstprototypes ( $E$ ) wordt geïnitialiseerd.
Optimalisatie: Prototypes worden geoptimaliseerd om te fungeren als zwaartepunten voor lokale buurten van de voorgetrainde woordtoken-embeddings ( $W$ ). Dit wordt bereikt door de Mean Squared Error (MSE) te minimaliseren tussen elk bevroren woordtoken en zijn dichtstbijzijnde tekstprototype. Dit zorgt ervoor dat prototypes binnen de dichte regio's van de voorgetrainde embedding-manifold blijven, waardoor semantische priors behouden blijven.

Module 3: Op Nearest-Neighbor Contrastive Learning (NNCL) gebaseerde Alignment

Om de geleerde tekstprototypes af te stemmen op de tijdreeks-representaties, gebruikt NeST een Nearest-Neighbor Contrastive Learning objectief.

Support Set: Een First-In-First-Out (FIFO) wachtrij ( $Q$ ) houdt een grote set tekstprototypes van voorgaande batches bij om de volledige distributie te benaderen.
Contrastief Objectief: Voor een gegeven tijdreeks-embedding $Z^{(i)}$ worden de top- $k$ nearest-neighbor tekstprototypes opgehaald uit de support set. Een contrastieve loss ( $L_{NNCL}$ ) wordt berekend om de tijdreeks-embedding dichter naar deze relevante tekstprototypes te trekken, wat ervoor zorgt dat de prototypes representatief zijn voor de tijdreeks-kenmerken.

Module 4: Text Prototype Conditioned Temporal Modulation

Deze module integreert semantische informatie in de tijdreeks zonder de token-sequentie te wijzigen of hulp-tokens te introduceren.

Aggregatie: De top- $k$ opgehaalde tekstprototypes worden geaggregeerd tot een globale tekstuele contextvector ( $C$ ).
Modulatie: Een lichtgewicht projectiefunctie brengt $C$ in kaart naar feature-wise schaal ( $\gamma$ ) en verschuivingsparameters ( $\beta$ ).
Toepassing: Deze parameters worden toegepast op de tijdreeks patch-embeddings via residuele interpolatie: $P^{(i)*} = \gamma \odot P^{(i)} + \beta$ . Dit schaalt en verschuift de temporele kenmerken adaptief op basis van de semantische context, terwijl de intrinsieke temporele structuur behouden blijft.

Module 5: LLM Fine-tuning en Output

De gemoduleerde embeddings dienen als de input-prompt voor de LLM. Om de voorgetrainde prior te behouden en de computationele overhead te verminderen, bevriest NeST de multi-head attention en feed-forward lagen van de LLM. Alleen de positionele embeddings en de layer normalization parameters worden gefinetuned. De LLM-output wordt geflaten en door een lineaire laag geleid om de uiteindelijke voorspelling te genereren.

Totale Loss: Het optimalisatie-objectief combineert de forecasting loss ( $L_{forecast}$ ) met de prototype learning loss ( $L_{proto}$ ) en de contrastieve alignment loss ( $L_{NNCL}$ ), gewogen door een hyperparameter $\lambda$ .

3. Belangrijkste Bijdragen

Neighborhood-aware Tekst Prototype-lering: Een mechanisme dat tekstprototypes leert door expliciet de lokale buurtstructuur binnen de voorgetrainde LLM woordtoken-embeddingruimte te behouden, wat fungeert als representatieve ankers voor semantische regio's.
Op NNCL gebaseerde Cross-modal Alignment: De introductie van een Nearest-Neighbor Contrastive Learning objectief om geleerde tekstprototypes af te stemmen op tijdreeks-representaties, waarbij een support set wordt gebruikt om robuustheid in few-shot scenario's te verbeteren.
Prototype Conditioned Temporal Modulation: Een feature-wise conditioneringsmechanisme dat tekstuele semantiek injecteert in tijdreeks-representaties via adaptieve schaling en verschuiving, waardoor de rigide koppeling en computationele kosten van token-concatenatie of cross-attention worden vermeden.
Uitgebreide Empirische Evaluatie: Heeft state-of-the-art prestaties aangetoond over langetermijn-, kortetermijn-, few-shot- en zero-shot forecasting benchmarks.
Real-world Validatie: Succesvolle toepassing op gedistribueerde fotovoltaïsche (PV) vermogensvoorspellingen over negen datasets, wat robuustheid demonstreert in scenario's voor de integratie van hernieuwbare energie.

4. Experimentele Resultaten

De auteurs evalueerden NeST op zeven benchmark datasets voor langetermijnvoorspelling (ETTh1, ETTh2, ETTm1, ETTm2, Weather, Traffic, en ECL), de M4 benchmark voor kortetermijnvoorspelling, en negen real-world PV-datasets.

Langetermijnvoorspelling: NeST behaalde een gemiddelde reductie van 1,2% in MSE vergeleken met de op één na beste SOTA-methoden over de zeven langetermijnvoorspellingsbenchmarks. Het presteerde consistent beter dan baselines zoals S2TS-LLM, Time-LLM en PatchTST.
Few-shot Voorspelling: Met slechts 10% van de trainingsdata liet NeST sterke prestaties zien, waarbij het de beste resultaten behaalde op drie van de vier ETT-datasets en robuustheid demonstreerde in data-arme condities.
Zero-shot Voorspelling: In cross-domain transfer settings (trainen op één dataset, testen op een andere), presteerde NeST beter dan bestaande baselines in zeven van de acht transfer-scenario's, met MSE-reducties variërend van 1,9% tot 11,5% afhankelijk van het transfer-paar.
Kortetermijnvoorspelling (M4 Benchmark): NeST behaalde de beste SMAPE (11.940) en MASE (1.607) onder de vergeleken methoden, wat een competitieve prestatie laat zien over verschillende bemonsteringsintervallen.
Real-world PV Voorspelling: Op gedistribueerde PV-vermogensdatasets verbeterde NeST de gemiddelde $R^2$ -score met 4,9% op de eerste dataset (vijf stations) vergeleken met de op één na beste methode (een LLM-gebaseerde aanpak specifelijk ontworpen voor PV-voorspelling) en met 1,2% op de tweede dataset (vier stations).
Ablatie-studies: Experimenten bevestigden dat elk component (Neighborhood-aware learning, NNCL, en Temporal Modulation) positief bijdraagt aan de prestaties, waarbij de meest significante winsten werden waargenomen in few-shot settings.
Visualisatie: UMAP-visualisaties bevestigden dat de prototypes van NeST binnen de dichte regio's van de voorgetrainde token-manifold blijven, in tegen tegenstelling tot lineaire probing methoden die geïsoleerde structuren produceren.

5. Betekenis en Claims

Het artikel beweert dat NeST het kritieke gat aanpakt in het effectief integreren van tekstuele en tijdreeks-modaliteiten voor LLM-gebaseerde forecasting. Door de semantische geometrie van de LLM te behouden en een parameterefficiënt modulatiestrategie te gebruiken, biedt NeST een generaliseerbaar framework dat:

Generalisatie Verbetert: Demonstreert sterke zero-shot en few-shot capaciteiten, wat cruciaal is voor scenario's met beperkte gelabelde data.
Temporele Integriteit Behoudt: Voorkomt het verstoren van de intrinsieke temporele structuur van tijdreeks-data door middel van rigide token-concatenatie.
Praktisch Nut Biedt: Bewijst effectief te zijn, niet alleen op standaard academische benchmarks, maar ook in complexe, real-world scenario's voor hernieuwbare energie-voorspelling die te maken hebben met niet-stationaire en variabele data.

De auteurs positioneren NeST als een robuust, praktisch framework voor het aanpassen van LLM's aan diverse tijdreeks-voorspellingsopdrachten zonder uitgebreide architecturale wijzigingen of computationeel dure attention-mechanismen te vereisen.