⚡ electrical engineering

TimeRFT: Stimulating Generalizable Time Series Forecasting for TSFMs via Reinforcement Finetuning

TimeRFT führt ein Reinforcement-Finetuning-Paradigma für Zeitreihen-Foundation-Modelle ein, das einen auf Prognosequalität basierenden temporalen Belohnungsmechanismus und eine auf Schwierigkeitsgraden beruhende Datenselektionsstrategie nutzt, um die Grenzen des überwachten Fine-Tunings zu überwinden und dadurch die Generalisierung sowie die Vorhersagegenauigkeit über diverse Datenregime und Verteilungsverschiebungen hinweg zu verbessern.

Ursprüngliche Autoren: Siyang Li, Yize Chen, Zijie Zhu, Yuxin Pan, Yan Guo, Ming Huang, Hui Xiong

Veröffentlicht 2026-05-04

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Siyang Li, Yize Chen, Zijie Zhu, Yuxin Pan, Yan Guo, Ming Huang, Hui Xiong

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben einen superklugen, weit gereisten Zeitreisenden (das Time Series Foundation Model oder TSFM). Dieser Reisende hat Milliarden von Geschichtsbüchern gelesen (massive Vorab-Trainingsdaten) und kennt die allgemeinen Rhythmen der Zeit: wie sich die Jahreszeiten wandeln, wie der Verkehr fließt und wie der Energieverbrauch steigt und fällt. Er ist hervorragend darin, fundierte Vermutungen über die Zukunft anzustellen, ohne jemals eine bestimmte Stadt zuvor gesehen zu haben (Zero-Shot-Prognose).

Wenn Sie diesen Reisenden jedoch bitten, das Wetter für Ihre spezifische Stadt morgen vorherzusagen, strauchelt er manchmal. Warum? Weil Ihre Stadt einzigartige Eigenheiten hat, und der Reisende könnte zu sehr darauf fokussiert sein, die genauen Details der wenigen Tage zu memorieren, die Sie ihm gezeigt haben, anstatt die wirklichen Muster zu lernen. Dies ist das Problem, das der Artikel als Overfitting bezeichnet.

Die Autoren dieses Artikels, TimeRFT, schlagen einen neuen Weg vor, um diesen Zeitreisenden mit einer Methode namens Reinforcement Finetuning zu unterrichten. Anstatt ihm nur ein Lehrbuch mit den „richtigen Antworten" zu geben (so wie es aktuelle Methoden tun), lassen sie den Reisenden üben, Fehler machen und aus der Qualität seiner Vermutungen lernen.

Hier ist die Funktionsweise von TimeRFT, aufgeschlüsselt in einfache Konzepte:

1. Das Problem: Der „Bulimie-lernende" Student vs. der „Entdecker"

Aktuelle Methoden (genannt SFT) sind wie ein Student, der für eine Prüfung lernt. Sie memorieren die spezifischen Übungsfragen (die Trainingsdaten) perfekt. Wenn die Prüfungsfragen genau wie die Übungsfragen aussehen, bestehen sie mit Bravour. Aber wenn die Prüfung eine leicht andere Wendung hat (ein „Distribution Shift"), scheitern sie, weil sie die zugrunde liegende Logik nicht verstanden haben; sie haben nur die Antworten auswendig gelernt.

TimeRFT ist wie ein Entdecker. Anstatt nur zu memorieren, probiert der Entdecker viele verschiedene Wege aus, sieht, welche zum Schatz führen, und lernt das Terrain kennen. Das macht ihn viel besser darin, neue, unerwartete Situationen zu bewältigen.

2. Die zwei geheimen Zutaten

Um dieses „Entdecker"-Training für Zeitreihen funktionsfähig zu machen, haben die Autoren zwei spezielle Trainingsrezepte erfunden:

A. Der „Multi-Sinn"-Bewertungsbogen (Prognose-Qualitäts-Belohnung)

Beim normalen Training prüfen Sie nur: „Ist die Zahl richtig?" (Genauigkeit).
TimeRFT sagt: „Das reicht nicht! Ist die Form der Vorhersage richtig? Ist die Stimmung richtig?"

Stellen Sie sich vor, Sie prognostizieren den Aktienmarkt.

Alter Weg: Sie erhalten Punkte nur, wenn Ihr vorhergesagter Preis nahe am tatsächlichen Preis liegt.
TimeRFT-Weg: Sie erhalten Punkte für drei Dinge:
1. Genauigkeit: War die Zahl nah dran?
2. Variabilität: Wackelte und sprang die Vorhersage wie der echte Markt, oder war es eine flache, langweilige Linie?
3. Frequenz: Hat die Vorhersage das schnelle „Summen" und das langsame „Brummen" der Markttrends eingefangen?

Es ist wie die Bewertung eines Musikers. Sie prüfen nicht nur, ob er die richtigen Noten getroffen hat (Genauigkeit); Sie prüfen auch, ob er den richtigen Rhythmus (Variabilität) und das richtige Tempo (Frequenz) gehalten hat. TimeRFT gibt dem Modell einen „Bonus", wenn es alle drei richtig macht, und ermutigt es so, realistische, hochwertige Vorhersagen zu erstellen.

B. Der „Goldlöckchen"-Filter (Auswahl der Prognose-Schwierigkeit)

Stellen Sie sich vor, Sie unterrichten einen Schüler.

Wenn Sie ihm ein Problem geben, das zu einfach ist (wie „Was ist 2+2?"), wird er gelangweilt und lernt nichts Neues.
Wenn Sie ihm ein Problem geben, das zu schwer ist (wie „Lösen Sie die Quantenphysik"), wird er frustriert und gibt auf.
Sie wollen Goldlöckchen-Probleme: Genau die richtige Menge an Herausforderung.

TimeRFT scannt die Daten automatisch und verwirft die „zu leichten" und „zu schweren" Beispiele. Es behält nur die „genau richtigen" Zeitreihendaten. Dies stellt sicher, dass das Modell immer aus Daten lernt, die herausfordernd genug sind, um interessant zu sein, aber nicht so verrückt, dass sie das Vertrauen des Modells brechen.

3. Das Ergebnis: Ein robusterer Reisender

Der Artikel testete diese Methode an realen Daten wie Energienetzen, Wetter und Verkehr.

Das Ergebnis: Die mit TimeRFT trainierten Modelle waren viel besser darin, die Zukunft vorherzusagen als die „bulimie-lernenden" Modelle. Sie memorisierten nicht nur die Vergangenheit; sie lernten die Regeln des Spiels.
Der Vorteil: Wenn die Zukunft anders aussah als die Vergangenheit (was sie immer tut), geriet das TimeRFT-Modell nicht in Panik. Es generalisierte gut und bewältigte neue Situationen mit höherer Genauigkeit.

Zusammenfassende Analogie

Stellen Sie sich SFT als einen Schüler vor, der eine Stadtkarte auswendig gelernt hat. Wenn Sie ihn bitten, einen Weg zu gehen, den er auswendig gelernt hat, ist er perfekt. Aber wenn eine Straße gesperrt ist oder ein neues Gebäude erscheint, verirrt er sich.

TimeRFT ist ein Schüler, der hinausgeht und die Stadt erkundet, Punkte dafür erhält, dass er bemerkt, wie der Verkehr fließt, wie sich Schatten bewegen und wie die Stadt atmet. Selbst wenn ein neues Gebäude erscheint, kann er erraten, wo es passt, weil er die Logik der Stadt versteht, nicht nur die Karte.

Der Artikel behauptet, dass wir durch die Verwendung dieses „Entdecker"-Ansatzes mit dem „Multi-Sinn-Bewertungsbogen" und dem „Goldlöckchen-Filter" Zeitreihenmodelle bauen können, die intelligenter, anpassungsfähiger und weniger anfällig dafür sind, durch Änderungen in den Daten getäuscht zu werden.

1. Problemstellung

Time Series Foundation Models (TSFMs) haben durch die Nutzung einheitlicher großskaliger Vorab-Trainings vielversprechende Ergebnisse beim Zero-Shot-Forecasting gezeigt. Die Anpassung dieser Modelle an spezifische nachgelagerte Aufgaben mittels Supervised Fine-Tuning (SFT) stößt jedoch auf zwei kritische Einschränkungen:

Überanpassung an spuriose Korrelationen: Reale Zeitreihen sind nicht-stationär und stochastisch. SFT neigt dazu, spezifische zeitliche Muster und Rauschen in begrenzten Trainingsdaten auswendig zu lernen, was zu einer schlechten Generalisierung führt, wenn zukünftige Testdaten Verteilungsverschiebungen unterliegen.
Empfindlichkeit gegenüber Datenregimen: Die Leistung von SFT verschlechtert sich in Few-Shot-Szenarien erheblich oder wenn die Trainingsdaten uninformative Stichproben enthalten (z. B. hohes Rauschen oder triviale Muster) und versagt darin, über verschiedene Verfügbarkeitsspiegel von Daten hinweg zu generalisieren.

Das Papier argumentiert, dass aktuelle SFT-Paradigmen den Mechanismus fehlt, diverse Vorhersagetrajektorien zu explorieren und unnütze Trainingssignale zu filtern, was einen Wechsel hin zu Reinforcement Finetuning (RFT) erforderlich macht.

2. Methodik: TimeRFT

Die Autoren schlagen TimeRFT vor, ein Reinforcement-Finetuning-Paradigma, das speziell für TSFMs entwickelt wurde. Es nutzt den Group Relative Policy Optimization (GRPO)-Algorithmus, führt jedoch zwei neuartige, aufgaben spezifische Trainingsrezepte ein, um die Herausforderungen der Anwendung von RL auf Zeitreihen zu bewältigen.

A. Vorhersagequalitätsbasierter zeitlicher Belohnungsmechanismus

Im Gegensatz zu Large Language Models (LLMs), bei denen schrittweise Belohnungen schwer zu definieren sind, verfügen Zeitreihen über Ground-Truth-Labels. TimeRFT nutzt dies aus, um ein dichtes, fein abgestuftes Belohnungssystem zu schaffen, das jeden Vorhersageschritt ( $t$ ) und jede Variable ( $d$ ) aus drei komplementären Perspektiven bewertet:

Genauigkeitsbelohnung ( $r_{acc}$ ): Basierend auf dem normalisierten mittleren quadratischen Fehler (nMSE), um eine punktgenaue Präzision sicherzustellen.
Variabilitätsbelohnung ( $r_{var}$ ): Misst die Ähnlichkeit lokaler Schwankungen zwischen vorhergesagten und tatsächlichen Patches mittels KL-Divergenz auf softmax-transformierten Verteilungen. Dies verhindert, dass Modelle flache Linien vorhersagen.
Frequenzbelohnung ( $r_{freq}$ ): Nutzt die Fast Fourier Transform (FFT), um globale und hochfrequente zeitliche Muster auszurichten und eine Überglättung zu verhindern.
Synergetischer Bonus: Ein multiplikativer Term, der die Genauigkeit mit den beiden charakteristischen Belohnungen kombiniert, um Vorhersagen zu fördern, die sowohl genau als auch strukturell realistisch sind.

Die finale Belohnung ist eine gewichtete Summe dieser Komponenten und bietet eine ganzheitliche Bewertung der Vorhersagequalität.

B. Verfeinerte Vorteilsschätzung

Standard-GRPO normalisiert Belohnungen innerhalb einer Gruppe von gesampelten Ausgaben. TimeRFT verbessert dies durch:

Ground-Truth-Leitlinie: Die explizite Einbeziehung der Ground-Truth-Sequenz als „perfektes" Sample in der Belohnungsgruppe, um die Policy in die richtige Richtung zu lenken.
Stückweise Belohnungsformung: Um Trainingsinstabilität zu verhindern, die durch die massive Belohnungslücke zwischen Ground Truth und Modellvorhersagen verursacht wird, wird eine logarithmische Trunkierungsfunktion auf hohe Belohnungen angewendet. Dies gewährleistet stabile Gradienten-Updates, ohne das Modell zu zwingen, Ziele zu erreichen, die über seine aktuelle Kapazität hinausgehen.

C. Vorhersageschwierigkeitsbasierte Datenselektion

Um zu verhindern, dass das Modell aus uninformativen Stichproben lernt, filtert TimeRFT den Trainingsdatensatz vor Beginn des RFT. Es wählt Stichproben mit moderater Vorhersageschwierigkeit aus:

Zu einfach: Stichproben, bei denen das vortrainierte Modell bereits gut abschneidet (hohe Prediction Interval Coverage Probability, PICP), bieten kein Lernsignal.
Zu schwer: Stichproben mit hoher Unsicherheit oder Rauschen (niedrige PICP oder hohe spektrale Entropie) verursachen instabile Gradienten und Mode-Collapse.
Auswahlkriterien: Die Methode filtert Stichproben heraus, bei denen die PICP zu hoch ist (>70 % für 50 %-Intervall) oder zu niedrig (<70 % für 90 %-Intervall), oder bei denen die spektrale Entropie (SE) zu hoch ist (>0,5). Nur „moderat schwierige" Stichproben werden für das Training verwendet.

3. Hauptbeiträge

Pionierarbeit bei RFT für TSFMs: TimeRFT ist eines der ersten Werke, das Reinforcement Learning zur Feinabstimmung von Time Series Foundation Models anwendet und damit über die Grenzen von SFT hinausgeht.
Aufgabenspezifische Trainingsrezepte:
- Ein hybrides Belohnungsdesign, das nicht nur die Punktgenauigkeit, sondern auch die zeitliche Struktur (Variabilität und Frequenz) bewertet.
- Eine schwierigkeitsbewusste Datenselektionsstrategie, die Trainingsdaten kuratiert, um stabile und informative RL-Signale sicherzustellen.
Verfeinerte Vorteilsberechnung: Eine neuartige Methode, die Ground-Truth-Leitlinien und Belohnungsformung integriert, um die Policy-Optimierung im Kontext von Zeitreihen zu stabilisieren.

4. Experimentelle Ergebnisse

Die Autoren evaluierten TimeRFT auf 8 realen Datensätzen (abdeckend die Bereiche Energie, Mobilität, Wetter und Cloud) über univariate, multivariate und kovariateninformierte Vorhersageaufgaben hinweg.

Leistung im Vergleich zu SFT: TimeRFT übertraf konsistent SFT-basierte Baselines (TimeSFT, TimeLP, TimeLoRA) und naives GRPO.
- Few-Shot (5 % Daten): Erzielte eine durchschnittliche Reduktion des MSE um 10,17 % und eine Reduktion des MAE um 7,04 % im Vergleich zu den besten SFT-Methoden.
- Full-Shot (100 % Daten): Behielt die Überlegenheit bei und zeigte eine durchschnittliche Reduktion des MSE um 6,00 % gegenüber der zweitbesten Methode.
Generalisierung: In Zero-Shot-Transfer-Experimenten (Training in einer Domäne, Test in einer anderen) zeigte TimeRFT eine signifikant bessere Übertragbarkeit und reduzierte den MSE um 4,56 % im Vergleich zur zweitbesten Methode. Dies bestätigt die Fähigkeit, mit nicht gesehenen zeitlichen Verteilungsverschiebungen umzugehen.
Ablationsstudien: Das Entfernen einer beliebigen Komponente (Belohnungsdesign, Datenselektion oder KL-Beschränkung) führte zu einer Leistungsverschlechterung und validierte die Notwendigkeit des gesamten Rahmens.
Skalierbarkeit: TimeRFT zeigte eine überlegene Stichprobeneffizienz, verbesserte sich schnell mit kleinen Datenmengen und behielt eine robuste Leistung bei, wenn die Vorhersagehorizonte zunahmen.

5. Bedeutung

Paradigmenwechsel: Diese Arbeit stellt die Dominanz von SFT bei der Anpassung von TSFMs in Frage und zeigt, dass Reinforcement Finetuning ein robusterer Ansatz für den Umgang mit nicht-stationären und unsicheren Zeitreihendaten ist.
Robustheit gegenüber Verteilungsverschiebungen: Durch die Exploration diverser on-policy-Sequenzen anstatt des Auswendiglernens von Trainingsdaten bietet TimeRFT eine Lösung für das kritische Problem zeitlicher Verteilungsverschiebungen in realen Anwendungen.
Praktischer Nutzen: Die vorgeschlagene Datenselektionsstrategie bietet eine praktische Richtlinie für die Kuratierung hochwertiger Trainingssets, was für industrielle Anwendungen entscheidend ist, bei denen die Datenqualität variiert.
Zukünftige Richtung: Sie eröffnet einen neuen Weg für die Anwendung fortschrittlicher RL-Techniken (wie sie beim LLM-Reasoning verwendet werden) auf die Zeitreihenanalyse, mit potenzieller Ausweitung auf multimodale Verständnis- und Reasoning-Aufgaben.

Zusammenfassend bietet TimeRFT einen umfassenden Rahmen, der Reinforcement Learning nutzt, um Time Series Foundation Models genauer, generalisierbarer und widerstandsfähiger gegenüber den Komplexitäten realer Daten zu machen.