TimeRFT: Stimulating Generalizable Time Series Forecasting for TSFMs via Reinforcement Finetuning

1. Probleemstelling

Time Series Foundation Models (TSFMs) hebben veelbelovende resultaten laten zien in zero-shot forecasting door gebruik te maken van geünificeerde, grootschalige pre-training. Het aanpassen van deze modellen aan specifieke downstream-taken via Supervised Fine-Tuning (SFT) stuit echter op twee kritieke beperkingen:

1. Overfitting op Spurious Correlaties: Wereldwijde tijdreeksen zijn niet-stationair en stochastisch. SFT neigt ertoe specifieke temporale patronen en ruis in beperkte trainingsdata te memoriseren, wat leidt tot slechte generalisatie wanneer toekomstige testdata distributieveranderingen ondergaat.
2. Gevoeligheid voor Data-regimes: De prestaties van SFT verslechteren aanzienlijk in few-shot scenario's of wanneer trainingsdata oninformatieve samples bevat (bijvoorbeeld hoge ruis of triviale patronen), waardoor generalisatie over diverse niveaus van data-beschikbaarheid faalt.

Het paper betoogt dat huidige SFT-paradigma's het mechanisme missen om diverse voorspellingstrajecten te exploreren en onnuttige trainingsignalen te filteren, wat een verschuiving naar Reinforcement Finetuning (RFT) noodzakelijk maakt.

2. Methodologie: TimeRFT

De auteurs stellen TimeRFT voor, een reinforcement finetuning-paradigma dat specifiek is ontworpen voor TSFMs. Het maakt gebruik van het Group Relative Policy Optimization (GRPO)-algoritme, maar introduceert twee nieuwe, taakspecifieke trainingsrecepten om de uitdagingen van het toepassen van RL op tijdreeksen te overwinnen.

A. Temporele Beloningsmechanisme op Basis van Voorspellingskwaliteit

In tegenstelling tot Large Language Models (LLMs), waar stap-voor-stap beloningen moeilijk te definiëren zijn, hebben tijdreeksen ground-truth labels. TimeRFT maakt hier gebruik van om een dicht, fijnmazig beloningssysteem te creëren dat elke voorspellingstap ($t$) en variabele ($d$) beoordeelt vanuit drie complementaire perspectieven:

1. Accuraatheidsbeloning ($r_{acc}$): Gebaseerd op genormaliseerde Mean Squared Error (nMSE) om puntsgewijze precisie te waarborgen.
2. Variabiliteitsbeloning ($r_{var}$): Meet de gelijkenis van lokale fluctuaties tussen voorspelde en werkelijke patches met behulp van KL-divergentie op softmax-getransformeerde distributies. Dit voorkomt dat modellen vlakke lijnen voorspellen.
3. Frequentiebeloning ($r_{freq}$): Gebruikt de Fast Fourier Transform (FFT) om globale en hoogfrequente temporale patronen af te stemmen, waardoor over-verzachting wordt voorkomen.
4. Synergetische Bonus: Een multiplicatieve term die accuraatheid combineert met de twee karakteristieke beloningen om voorspellingen te stimuleren die zowel accuraat als structureel realistisch zijn.

De uiteindelijke beloning is een gewogen som van deze componenten, wat een holistische evaluatie van de voorspellingskwaliteit biedt.

B. Verfijnde Voordelsschatting

Standaard GRPO normaliseert beloningen binnen een groep van gesamplede outputs. TimeRFT verbetert dit door:

• Ground-Truth Gidsing: Het expliciet opnemen van de ground-truth sequentie als een "perfecte" sample in de beloningsgroep om het beleid naar de juiste richting te sturen.
• Gedeeltelijke Beloningsvorming: Om trainingsinstabiliteit te voorkomen die wordt veroorzaakt door het enorme beloningsverschil tussen de ground truth en modelvoorspellingen, wordt een logaritmische truncatiefunctie toegepast op hoge beloningen. Dit zorgt voor stabiele gradiëntupdates zonder het model te dwingen doelen te passen die buiten zijn huidige capaciteit liggen.

C. Data-selectie op Basis van Voorspellingsmoeilijkheid

Om te voorkomen dat het model leert van oninformatieve samples, filtert TimeRFT de trainingsdataset voordat RFT begint. Het selecteert samples met gematigde voorspellingsmoeilijkheid:

• Te Gemakkelijk: Samples waarbij het voorgeöordeelde model al goed presteert (hoge Prediction Interval Coverage Probability, PICP) bieden geen leersignaal.
• Te Moeilijk: Samples met hoge onzekerheid of ruis (lage PICP of hoge Spectrale Entropie) veroorzaken instabiele gradiënten en mode-collapse.
• Selectiecriteria: De methode filtert samples weg waarbij PICP te hoog is (>70% voor 50% interval) of te laag is (<70% voor 90% interval), of waarbij Spectrale Entropie (SE) te hoog is (>0,5). Alleen "matig moeilijke" samples worden gebruikt voor training.

3. Belangrijkste Bijdragen

1. Pionierende RFT voor TSFMs: TimeRFT is een van de eerste werken die reinforcement learning toepast om Time Series Foundation Models te finetunen, en zo voorbijgaat aan de beperkingen van SFT.
2. Taakspecifieke Trainingsrecepten:
   • Een hybride beloningsontwerp dat niet alleen punt-accuraatheid evalueert, maar ook temporale structuur (variabiliteit en frequentie).
   • Een moeilijkheidsbewuste data-selectiestrategie die trainingsdata curateert om stabiele en informatieve RL-signalen te waarborgen.
3. Verfijnde Voordelberekening: Een nieuwe methode die ground-truth gidsing en beloningsvorming integreert om beleidsoptimalisatie in tijdreekscontexten te stabiliseren.

4. Experimentele Resultaten

De auteurs evalueerden TimeRFT op 8 real-world datasets (die energie, mobiliteit, weer en cloud-domeinen bestrijken) over univariate, multivariate en covariaat-informatieve voorspellings taken.

• Prestaties vs. SFT: TimeRFT presteerde consequent beter dan op SFT gebaseerde baselines (TimeSFT, TimeLP, TimeLoRA) en naïef GRPO.
  • Few-Shot (5% data): Bereikte een gemiddelde reductie van 10,17% in MSE en 7,04% reductie in MAE ten opzichte van de beste SFT-methoden.
  • Full-Shot (100% data): Behield superioriteit, met een gemiddelde reductie van 6,00% in MSE ten opzichte van de op één na beste methode.
• Generalisatie: In zero-shot transfer-experimenten (trainen op één domein, testen op een ander) toonde TimeRFT aanzienlijk betere overdraagbaarheid, met een reductie van MSE van 4,56% ten opzichte van de op één na beste methode. Dit bevestigt het vermogen om ongezette temporale distributieveranderingen aan te pakken.
• Ablatiestudies: Het verwijderen van een component (beloningsontwerp, data-selectie of KL-beperking) leidde tot prestatieachteruitgang, wat de noodzaak van het volledige framework valideert.
• Schaalbaarheid: TimeRFT toonde superieure sample-efficiëntie, verbeterde snel met kleine hoeveelheden data, en behield robuuste prestaties naarmate de voorspellingshorizonnen toenamen.

5. Betekenis

• Paradigmaverschuiving: Dit werk daagt de dominantie van SFT in TSFM-aanpassing uit en toont aan dat Reinforcement Finetuning een robuustere aanpak is voor het hanteren van niet-stationaire en onzekere tijdreeksdata.
• Robuustheid tegen Distributieveranderingen: Door diverse on-policy sequenties te exploreren in plaats van trainingsdata te memoriseren, biedt TimeRFT een oplossing voor het kritieke probleem van temporale distributieveranderingen in real-world toepassingen.
• Praktisch Nut: De voorgestelde data-selectiestrategie biedt een praktische richtlijn voor het cureren van hoogwaardige trainingssets, wat cruciaal is voor industriële toepassingen waar de datakwaliteit varieert.
• Toekomstige Richting: Het opent een nieuwe weg voor het toepassen van geavanceerde RL-technieken (zoals die gebruikt in LLM-resoneren) op tijdreeksanalyse, met potentieel uitbreiding naar multimodale begrips- en redeneertaken.

Kortom, TimeRFT biedt een uitgebreid framework dat gebruikmaakt van reinforcement learning om Time Series Foundation Models accurater, generaliseerbaarder en veerkrachtiger te maken tegen de complexiteit van real-world data.