🤖 machine learning

Efficient Test-Time Scaling for LLM-based Time Series Forecasting

Het artikel introduceert SCALER, een coarse-to-fine framework dat een lichtgewicht Transformer combineert met de iteratieve residuele verfijning van een LLM voor het bereiken van efficiënte, nauwkeurige langetermijn tijdreeksvoorspellingen met aanzienlijk verminderde computationele kosten.

Oorspronkelijke auteurs: Xuan-May Le, Minh-Tuan Tran, Ling Luo, Uwe Aickelin, Dinh Phung, Trung Le

Gepubliceerd 2026-08-11

📖 7 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Xuan-May Le, Minh-Tuan Tran, Ling Luo, Uwe Aickelin, Dinh Phung, Trung Le

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je het weer voor de komende twee weken probeert te voorspellen. Je kent de algemene regels: het is zomer, dus het is meestal warm, en er komt misschien volgende week dinsdag een storm aan. Maar als je probeert de exacte temperatuur voor elk uur te raden, kan je brein beginnen af te dwalen. Je vergeet misschien dat het in juli warm zou moeten zijn en voorspelt per ongeluk sneeuw, of je raakt zo gefocust op het minuscule detail van een wolk dat je het grote plaatje uit het oog verliest. Dit is de uitdaging van tijdreeksvoorspelling (time series forecasting): het gebruik van historische gegevens om te raden wat er hierna gebeurt. Decennialang hebben wetenschappers computermodellen gebouwd om dit te doen voor alles van aandelenmarkten tot elektriciteitsnetten. Recentelijk zijn ze begonnen met het gebruik van Large Language Models (LLMs) — hetzelfde soort superintelligente AI dat essays schrijft en met je chat — om het raden te doen. Deze AI-modellen zijn geweldig in het begrijpen van patronen, maar wanneer ze wordt gevraagd om een langere periode te voorspellen, kunnen ze in de war raken, duur zijn in gebruik, of vormen gaan verzinnen die niet lijken op de echte wereld.

De paper die je nu gaat lezen, pakt een specifiek probleem aan: hoe maak je deze AI-modellen beter in langetermijnvoorspellingen zonder ze traag, duur of gevoelig te maken voor het "afdrijven" van de koers. De auteurs introduceren een nieuwe methode genaamd SCALER. Zie dit als een tweestaps-proces waarbij een snelle, eenvoudige schetskunstenaar eerst de ruwe contouren van een bergketen tekent, en er vervolgens een gedetailleerde schilder komt om de bomen en rotsen toe te voegen, maar alleen binnen de grenzen van die oorspronkelijke schets. Dit zorgt ervoor dat de uiteindelijke afbeelding op een berg lijkt, en niet op een willekeurige groene vlek. De onderzoekers hebben hun methode getest op echte gegevens en ontdekten dat hun methode niet alleen nauwkeuriger is, maar ook veel sneller en goedkoper dan andere chique AI-trucs die proberen "harder na te denken" door tegelijkertijd vele verschillende gissingen te draaien.

Het Probleem: Wanneer AI Verdwaalt in de Details

Voorspellen is moeilijk. Als je een standaard AI vraagt om te raden wat de temperatuur zal zijn voor de volgende 720 uur (30 dagen), probeert deze het vaak in één grote sprong te doen. Soms krijgen ze de grote trends goed, maar soms zien ze het bos door de bomen niet meer.

Onlangs probeerden onderzoekers een nieuwe aanpak genaamd test-time scaling. Stel je voor dat je een toets maakt, en in plaats van alleen je eerste antwoord op te schrijven, je de kans krijgt om erover na te denken, drie verschillende antwoorden op te schrijven, het beste te kiezen, en het vervolgens te herschrijven om het nog beter te maken. Dit "langzame denken" maakt AI vaak slimmer. Echter, voor tijdreeksen heeft deze aanpak twee grote gebreken:

Het is duur: Het meerdere keren draaien van de AI om het beste antwoord te kiezen, kost veel rekenkracht en tijd.
Het wordt rommelig: Als de AI het antwoord steeds blijft aanpassen, kan het per ongeluk de hele vorm van de voorspelling veranderen. Het kan beginnen met het voorspellen van een platte lijn terwijl de echte data een golf is, of andersom. Dit wordt een global-shape mismatch genoemd.

De Oplossing: SCALER (De Schets-en-Verfijning Strategie)

De auteurs stellen SCALER voor, wat staat voor een Coarse-to-fine Scaling framework. In plaats van de AI te vragen de hele toekomst in één keer te raden of om miljoenen verschillende gissingen te draaien, verdeelt SCALER de taak in twee duidelijke, efficiënte fasen.

Fase 1: De Snelle Schets (Coarse-Shape Voorspelling)
Eerst kijkt een klein, lichtgewicht AI-model (denk aan een snelle, eenvoudige schetskunstenaar) naar de historische gegevens en tekent een zeer ruwe, lage-resolutie afbeelding van de toekomst. Het maakt zich geen zorgen over elk klein detail; het legt alleen de grote zaken vast: de algemene trend (gaat het omhoog of omlaag?), de seasonaliteit (herhaalt er een patroon zich?) en de algemene vorm.

Waarom dit helpt: Door eerst deze "grote lijn" vast te leggen, zorgt het systeem ervoor dat de uiteindelijke voorspelling niet afdrijft naar onzin. Het is als het tekenen van de omtrek van een huis voordat je de ramen gaat schilderen.

Fase 2: Het Gedetailleerde Schilderen (Fixed-Step Verfijning)
Vervolgens neemt de grote, krachtige LLM (de gedetailleerde schilder) het over. Maar deze begint niet vanaf nul. De AI kijkt naar de ruwe schets uit Fase 1 en de historische gegevens, en voegt vervolgens de details toe. Cruciaal is dat dit gebeurt in een vast aantal stappen.

In plaats van willekeurig te gokken en het beste antwoord te kiezen (wat traag en duur is), voegt SCALER details toe in een specifieke volgorde: eerst de middelgrote details, en dan de minuscule details.
Bij elke stap is de AI "verankerd" aan de oorspronkelijke ruwe schets. Dit voorkomt dat de AI per ongeluk de vorm van het huis verandert terwijl het de ramen schildert.
Omdat de stappen vaststaan en de AI alleen kleine gaten (residuen) hoeft op te vullen in plaats van alles opnieuw te raden, verbruikt het veel minder rekenkracht.

Wat Ze Vonden: Sneller, Goedkoper en Slimmer

De onderzoekers testten SCALER op een grote verscheidenheid aan echte gegevens, waaronder elektriciteitsverbruik, verkeersstromen, weerpatronen en zelfs grieptrends. Ze vergeleken het met andere sterke AI-modellen en de "langzame denk"-methoden die proberen vele kandidaten te genereren.

Dit laten de cijfers zien:

Nauwkeurigheid: SCALER versloeg de andere modellen consequent. Op lange termijn voorspellingen (het voorspellen van 720 uur vooruit) maakte het minder fouten dan de concurrentie. Op de ETTh1 dataset behaalde het bijvoorbeeld een Mean Squared Error (MSE) van 0,376, waarmee het de op één na beste methode met 0,403 versloeg.
Snelheid en Kosten: Hier blinkt SCALER echt uit. De auteurs vonden dat hun methode ongeveer 7 keer sneller is dan standaard test-time scaling methoden. Waar andere methoden mogelijk veel tijd nodig hebben om de beste gok te genereren en te selecteren, volgt SCALER gewoon zijn vaste plan.
Stabiliteit: Wanneer de voorspellingshorizon erg lang werd (tot 2160 uur), begonnen andere modellen te falen en zagen hun voorspellingen er totaal niet meer uit als de echte data. SCALER bleef echter stabiel. De "ruwe schets"-anker hield de AI op koers, zelfs bij het kijken ver in de toekomst.

Waarom Dit Belangrijk Is

De paper betoogt dat we niet de AI "harder" hoeven te laten nadenken door haar duizenden keren te laten draaien om betere resultaten te krijgen. In plaats daarvan kunnen we haar slimmer laten denken door haar een duidelijke structuur te geven. Door het "grote plaatje" te scheiden van de "fijne details", slaagt SCALER erin om de globale vorm van de voorspelling correct te houden, terwijl het toch de kleine, belangrijke schommelingen vastlegt.

De auteurs testten ook hoe goed dit werkt met verschillende groottes van AI-hersenen. Ze vonden dat de methode ook met kleinere modellen goed werkte, maar dat het gebruik van een groter model (zoals LLaMA-7B) de beste resultaten gaf. Ze controleerden ook of de methode werkte op data die het nog nooit eerder had gezien (zero-shot forecasting), en het presteerde beter dan andere methoden die voor elke nieuwe dataset opnieuw getraind moesten worden.

Kortom, SCALER suggereert dat het geheim van het voorspellen van de toekomst niet alleen het gooien van meer rekenkracht op het probleem is. Het gaat erom een plan te hebben: teken eerst de omtrek, vul daarna de details in, en vergeet niet het grote plaatje in beeld te houden terwijl je schildert. Deze aanpak biedt een manier om zeer nauwkeurige, langetermijnvoorspellingen te doen zonder dat het een fortuin kost of de computer overbelast.

Technische Samenvatting: Efficiënte Test-Time Scaling voor LLM-gebaseerde Tijdreeksvoorspelling (SCALER)

Probleemstelling

Lange-termijn tijdreeksvoorspelling (TSF) vereist dat modellen globale structuren, zoals trends en seizoensgebondenheid, behouden terwijl ze tegelijkertijd fijnmazige lokale variaties vastleggen. Hoewel Large Language Models (LLMs) nieuwe generatieve perspectieven voor TSF hebben geïntroduceerd, kampen bestaande benaderingen met twee kritieke beperkingen wanneer zij de inferentietijd opschalen om de nauwkeurigheid te verbeteren:

Computationele Kosten: Iteratieve verfijnings- en kandidaatselectiestrategieën (bijv. "slow-thinking" inferentie) zijn computationeel duur. De kosten voor inferentie groeien snel met de lengte van de voorspellingshorizon, wat vaak lange prompts of dure reward-model-gebaseerde selectie vereist.
Global-Shape Mismatch: Herhaalde lokale correcties tijdens iteratieve verfijning kunnen accumuleren, wat leidt tot "global-shape drift". Naarmate de horizon zich uitstrekt, vervormen deze methoden vaak trends en seizoensfasen, waardoor ze er niet in slagen de structurele integriteit van de voorspelling te behouden.

Methodologie: SCALER

De auteurs stellen SCALER voor, een tweestaps, coarse-to-fine framework ontworpen om efficiënte test-time scaling voor LLM-gebaseerde voorspelling mogelijk te maken. De kernfilosofie is het ontkoppelen van de voorspelling van de globale structuur van de verfijning van lokale details.

1. Architectuuroverzicht

SCALER werkt via een gedeelde encoder en twee afzonderlijke stadia:

Gedeelde Multi-Scale Encoder: Een patch-gebaseerde encoder ( $E$ ) tokenizeert de historische tijdreeks in een continue sequentie ( $Z_I$ ). Het maakt gebruik van prototype-gebaseerde cross-attention om tijdreeks-patches uit te lijnen met de embedding-ruimte van de LLM.
Stadium I: Global Coarse-Shape Forecaster: Een lichtgewicht Transformer ( $F$ ) voorspelt een expliciete, gedownscaleerde "coarse shape" ( $\hat{S}_1$ ) van de toekomstige horizon. Dit stadium richt zich uitsluitend op laagfrequente dynamiek (trends, seizoensgebondenheid, regimeveranderingen) bij een gereduceerde resolutie.
Stadium II: Fixed-Step Multi-Scale Refinement: Een vooraf getrainde LLM ( $G$ $G$ ) fungeert als verfijner. In plaats van de volledige sequentie in één pass te genereren of oneindig te itereren, voert het een vaste $K$ $K$ -staps verfijningslus uit.
- Initialisatie: De context wordt geïnitialiseerd met historie-tokens ( $Z_I$ ) en de coarse shape tokens ( $Z_S = [\hat{S}_1]$ ).
- Verfijningslus: In elke stap $k$ voorspelt de LLM een fijnere schaal token-block ( $\hat{S}_k$ ), geconditioneerd op de historie en de eerder voorspelde grovere context.
- Progressie: Het voorspelde blok wordt toegevoegd aan de context voor de volgende stap, waardoor lokale details progressief worden verrijkt zonder af te wijken van het globale traject vastgesteld in Stadium I.
- Decoding: De uiteindelijke token-set wordt terug gedecodeerd naar de oorspronkelijke tijdreeksresolutie.

2. Training en Inferentie

Training: Het model wordt getraind met een samengestelde verliesfunctie:
- $\mathcal{L}_{shape}$ : MSE-loss tussen de voorspelde coarse shape en de gedownscalede grondwaarheid.
- $\mathcal{L}_{refine}$ : Scale-wise MSE-loss voor de token-blocks die in elke verfijningsstap worden gegenereerd.
- $\mathcal{L}_{ts}$ : MSE-loss in de oorspronkelijke tijdreeksruimte voor de uiteindelijke reconstructie.
Inferentie: Het proces is deterministisch en budgetvriendelijk. Het omvat een enkele forward pass van de lichtgewicht forecaster gevolgd door een vast aantal verfijningsstappen ( $K$ ). Het vermijdt kandidaatgeneratie, sampling of reward-model selectie, wat zorgt voor voorspelbare inferentiekosten.

Belangrijkste Bijdragen

SCALER Framework: Een nieuw tweestaps architectuur die een lichtgewicht globale forecaster combineert met een vooraf getrainde LLM refiner. Dit ontwerp verankert het verfijningsproces expliciet aan een voorspelde globale vorm, wat de lange-termijn drift mitigeert.
Efficiënte Test-Time Scaling: De introductie van een vaste, coarse-to-fine verfijningsplanning. Door alleen compacte token-blocks te genereren die geconditioneerd zijn op een vorm-anker, vermindert de methode de last van het verwerken van tokens aanzienlijk vergeleken met standaard iteratieve scaling.
Empirische Validatie: Uitgebreide experimenten die aantonen dat SCALER sterke baselines (inclusief standaard deep learning modellen en andere LLM-gebaseerde forecasters) overtreft in lange-termijn, korte-termijn en zero-shot settings.

Experimentele Resultaten

Het paper evalueert SCALER op standaard benchmarks (ETT, ECL, Traffic, Weather, ILI, M3, M4) over drie scenario's:

Lange-termijn Voorspelling: SCALER bereikt de beste of bijna-beste nauwkeurigheid (MSE/MAE) op de meeste datasets (bijv. ETTh1, ETTh2, Weather, Traffic). Het staat op nummer één in de meerderheid van de dataset-horizon paren, waarbij het LLM-gebaseerde baselines zoals TimeReasoner, LVICL en TimeLLM overtreft.
Korte-termijn Voorspelling: Op M4-stijl metrieken (sMAPE, MASE, OWA) behaalt SCALER de laagste fout over alle scenario-groepen (Jaar, Kwartaal, Maand, Overig), waarbij het consequent zowel deep learning als LLM-gebaseerde concurrenten overtreft.
Zero-Shot Voorspelling: In cross-dataset transfer taken (M3 $\leftrightarrow$ M4) demonstreert SCALER robuuste generalisatie en behaalt het de laagste gemiddelde sMAPE zonder doel-domein adaptatie.
Efficiëntie:
- SCALER is ongeveer 7 keer sneller in gemiddelde inferentietijd dan standaard test-time scaling forecasters (bijv. TimeReasoner).
- Het bereikt een superieur nauwkeurigheid-efficiëntie evenwicht (Pare Pareto-front), waarbij het betere nauwkeurigheid biedt dan snelle baselines (zoals PatchTST) met slechts een bescheiden extra kostenpost, en aanzienlijk betere efficiëntie dan hoog-nauwkeurige iteratieve methoden.
Ablatie-studies:
- Het verwijderen van de globale forecaster leidt tot hogere fouten, wat de noodzaak van expliciete globale vormmodellering bevestigt.
- Het gebruik van full-resolution tokens in de globale forecaster verhoogt de kosten zonder de nauwkeurigheid te verbeteren.
- SCALER presteert beter dan strategieën die vertrouwen op beschrijving-tokens of reward-model selectie, die hoge inferentiekosten meten voor marginale winsten.
- Het framework is robuust over verschillende LLM backbones (van GPT-2 tot LLaMA-7B) en de diepte van de globale forecaster.

Betekenis en Claims

Het paper claimt dat SCALER het fundamentele compromis tussen nauwkeurigheid en efficiëntie in lange-horizon LLM-voorspelling aanpakt. Door de verfijning te verankeren aan een expliciete, lichtgewicht voorspelling van de vorm, zorgt de methode ervoor dat:

Global Drift wordt voorkomen: Het beperkt de updates van de LLM zodat ze consistent blijven met lange-termijn trends en seizoensgebondenheid, een veelvoorkomend falenpunt bij iteratieve verfijning.
Overhead wordt Verminderd: Het elimineert de noodzaak voor dure kandidaatselectie en lange prompts, waardoor test-time scaling praktisch inzetbaar wordt.
Robuustheid wordt Verbeterd: De methode degradeert minder abrupt naarmate de voorspellingshorizon zich uitstrekt, waarbij structurele coherentie behouden blijft waar andere methoden falen.

De auteurs concluderen dat SCALER een implementatievriendelijke, vormgetrouwe benadering van test-time scaling biedt, met een voorspelbaar inferentiebudget terwijl de voorspellingskwaliteit aanzienlijk wordt verbeterd ten opzichte van bestaande LLM-gebaseerde methoden.