Regression Models Meet Foundation Models: A Hybrid-AI Approach to Practical Electricity Price Forecasting

Die Arbeit stellt FutureBoosting vor, einen hybriden KI-Ansatz, der die Vorhersagekraft von Regressionsmodellen für Strompreise durch die Integration von aus einem eingefrorenen Zeitreihen-Foundation-Modell generierten Merkmalen signifikant verbessert und dabei sowohl historische Muster als auch Feature-Interaktionen effektiv nutzt.

Das Wesentliche

Das große Problem: Der Strompreis ist ein wildes Tier

Stellen Sie sich den Strommarkt wie einen wilden, unvorhersehbaren Ozean vor. Die Preise für Strom schwanken nicht nur, sie toben. Sie können plötzlich von 50 Euro auf 1000 Euro hochschießen oder tief ins Bodenlose fallen. Das liegt daran, dass das Angebot (wie viel Wind weht, wie viel Sonne scheint) und die Nachfrage (wie viel Strom die Fabriken brauchen) sich ständig ändern.

Bisher gab es zwei Hauptmethoden, um diese Wellen vorherzusagen:

1. Die "Großen Propheten" (Foundation Models): Das sind riesige, künstliche Intelligenzen, die auf Millionen von Daten trainiert wurden. Sie sind wie ein Seeräuber, der die Wellenbewegungen des Ozeans perfekt versteht. Sie wissen, wie das Wasser normalerweise fließt. Aber sie haben ein Problem: Sie schauen oft nur auf das Wasser, nicht auf den Wind oder die Strömung, die gerade kommt. Sie wissen nicht, dass morgen ein Sturm aufzieht, weil sie nur die Vergangenheit analysieren.
2. Die "Karten-Leser" (Regression-Modelle): Das sind klassische Statistiker. Sie sind wie ein Erfahrener Kapitän, der die aktuelle Karte und den Wetterbericht genau kennt. Sie wissen genau, wie sich Wind und Strömung heute auswirken. Aber sie sind blind für die langfristigen Muster des Ozeans. Wenn ein ganz neuer, unbekannter Sturm aufkommt, geraten sie in Panik, weil sie keine Erfahrung damit haben.

Die Lösung: FutureBoosting – Das perfekte Team

Die Autoren dieses Papiers haben eine geniale Idee: Warum nicht beide zusammenbringen?

Sie nennen ihre Methode FutureBoosting. Stellen Sie sich das wie ein Duett aus einem Orchester und einem Jazzmusiker vor:

• Schritt 1: Der Orchester-Leiter (Der Foundation Model)
  Zuerst lassen wir den riesigen KI-Propheten (den "Seeräuber") arbeiten. Er schaut in die Vergangenheit und sagt voraus: "Hey, basierend auf den Mustern der letzten Jahre, wird der Stromverbrauch morgen wahrscheinlich so aussehen, und der Wind wird wahrscheinlich so wehen."
  Wichtig: Er sagt diese Dinge voraus, bevor wir sie tatsächlich messen können. Er füllt die Lücken in unserer Zukunftsvorhersage.

• Schritt 2: Der Jazzmusiker (Der Regression-Modell)
  Dann nehmen wir diese Vorhersagen des Orchesters und geben sie unserem erfahrenen Kapitän (dem "Jazzmusiker"). Dieser Kapitän sagt: "Ah, danke! Ich sehe, dass der Orchester-Leiter einen hohen Wind erwartet. Aber ich kenne auch die aktuellen Karten. Wenn ich die Vorhersage des Orchesters mit meinem Wissen über die aktuellen Strömungen kombiniere, kann ich den genauen Preis berechnen."

Das Ergebnis ist ein Hybrid-System: Der "Seeräuber" liefert die langfristigen Muster und die Erwartungen für die Zukunft, und der "Kapitän" nutzt diese Informationen, um die exakte Preisvorhersage zu treffen, indem er alle Faktoren (Wetter, Verbrauch, Netzkapazität) zusammenführt.

Warum ist das so toll?

1. Es ist billig und schnell: Die riesige KI muss nicht neu trainiert werden (was teuer und langsam ist). Sie wird einfach "eingefroren" und ihre Vorhersagen werden nur als zusätzliche Informationen genutzt. Das ist wie ein Plug-and-Play-System: Einfach einstecken und loslegen.
2. Es funktioniert bei Extremen: Bei ganz normalen Tagen machen beide Methoden okay. Aber wenn der Strompreis explodiert (wie bei einem Sturm), versagen die alten Methoden oft. FutureBoosting hingegen erkennt die Gefahr früher, weil es die "Zukunftserwartungen" des Orchesters nutzt, um den Sturm vorherzusehen.
3. Es ist verständlich: Man kann genau nachvollziehen, warum das System einen hohen Preis vorhersagt. Es zeigt auf: "Wir sagen 1000 Euro voraus, weil der Orchester-Leiter einen hohen Wind erwartet hat und die Karte zeigt, dass das Netz voll ist."

Das Ergebnis

In Tests mit echten Daten aus China (und auch aus Deutschland und Frankreich) hat sich gezeigt, dass dieses Team aus "Orchester und Kapitän" viel besser ist als jeder Solist allein.

• Die Fehler bei der Vorhersage wurden um über 30 % reduziert.
• Das System ist so effizient, dass es sogar auf normalen Computern läuft, ohne riesige Supercomputer zu benötigen.

Zusammenfassend:
Die Autoren haben einen Weg gefunden, die Intelligenz riesiger KI-Modelle mit der praktischen Erfahrung klassischer Statistik zu verbinden. Sie nutzen die KI, um die Zukunft zu "erahnen", und die Statistik, um diese Ahnung in einen präzisen, handlungsrelevanten Plan zu verwandeln. Für Stromhändler bedeutet das: Weniger Risiko, bessere Gewinne und ein stabilerer Markt.

Technische Zusammenfassung

1. Problemstellung

Die Vorhersage von Strompreisen (Electricity Price Forecasting, EPF) ist aufgrund extremer Volatilität, Nichtlinearität und Nicht-Stationarität der Märkte eine enorme Herausforderung. Das Paper identifiziert zwei Hauptprobleme bei den aktuellen State-of-the-Art-Ansätzen:

• Zeitreihen-Foundation-Modelle (TSFMs): Modelle wie Chronos, Timer-XL oder Moirai sind auf großen, diversen Datensätzen vortrainiert und excelieren darin, zeitliche Abhängigkeiten zu erfassen (Zero-Shot-Fähigkeit). Sie nutzen jedoch oft nicht ausreichend die Korrelationen zwischen verschiedenen Variablen (Cross-Variate) und vernachlässigen nicht-periodische Muster, die für die Preisbildung entscheidend sind. Zudem sind sie in realen Szenarien oft nicht robust genug gegenüber schweren Verteilungsschwänzen (Heavy Tails) und extremen Preisspitzen.
• Regressionsmodelle: Klassische Modelle (z. B. Gradient Boosting Trees wie LightGBM) sind hervorragend darin, Interaktionen zwischen Merkmalen zu modellieren, benötigen jedoch für die Vorhersage zukünftige Eingangsdaten, die zum Zeitpunkt der Prognose noch nicht verfügbar sind (z. B. zukünftige Last oder Erzeugung). Sie ignorieren wichtige historische Treiber, die nur als Zeitreihe vorliegen.

Das Ziel ist es, eine Lücke zu schließen, die beide Stärken kombiniert: Die Fähigkeit von TSFMs, historische Muster zu generalisieren, und die Stärke von Regressionsmodellen, domänenspezifische Zusammenhänge zu nutzen.

2. Methodik: FutureBoosting

Die Autoren schlagen ein neues Paradigma namens FutureBoosting vor. Es handelt sich um eine hybride, zweistufige Architektur, die TSFMs und Regressionsmodelle koppelt, ohne das TSFM feinabzustimmen (Fine-Tuning).

Der Prozess gliedert sich in zwei Stufen:

1. Stufe 1: Feature-Augmentation durch TSFM (Forecasting):

   • Ein vortrainiertes, „eingefrorenes" (frozen) TSFM wird im Zero-Shot-Modus verwendet.
   • Es prognostiziert zukünftige, zum Planungszeitpunkt noch nicht verfügbare Treiber (z. B. Systemlast, erneuerbare Erzeugung), die als Eingabe für die Preisvorhersage dienen würden, aber noch nicht gemessen sind.
   • Diese Vorhersagen werden als augmented features (erweiterte Merkmale) extrahiert. Das TSFM dient hier als „Wissensquelle" für zeitliche Erwartungen.

2. Stufe 2: Cross-Variate Regression (Regressing):

   • Es wird ein erweiterter Merkmalsatz (Enriched Feature Set) erstellt, der folgende Komponenten vereint:
     • Die vom TSFM prognostizierten zukünftigen Treiber (aus Stufe 1).
     • Zukünftig verfügbare exogene Variablen (z. B. Wettervorhersagen, Produktionspläne).
     • Domänen-spezifisch konstruierte Faktoren (z. B. „Thermal Auction Space" – die verfügbare Kapazität für konventionelle Kraftwerke; „Renewable Ratio" – Anteil erneuerbarer Energien).
   • Ein leichtgewichtiges Regressionsmodell (in den Experimenten LightGBM) wird auf diesem angereicherten Merkmalsatz trainiert, um den finalen Strompreis (Day-Ahead oder Real-Time) vorherzusagen.

Vorteil des Ansatzes: Das TSFM muss nicht für den spezifischen Markt nachtrainiert werden (was rechenintensiv ist), sondern liefert lediglich hochwertige Vorhersagen als Eingabe für das Regressionsmodell. Das Regressionsmodell lernt dann, wie diese zeitlichen Erwartungen mit anderen Faktoren interagieren, um den Preis zu bestimmen.

3. Wichtige Beiträge

• Neues Paradigma (FutureBoosting): Eine hybride Architektur, die die Generalisierungsfähigkeit von Foundation Models mit der Interpretierbarkeit und Effizienz von Regressionsmodellen verbindet.
• Leichtgewichtiges Framework: Ein „Plug-and-Play"-System, das verschiedene TSFMs (univariat und multivariat) und verschiedene Regressoren unterstützt. Es ist ressourcenschonend, da keine teure Feinabstimmung (Fine-Tuning) des großen Modells erforderlich ist.
• Domänenwissen-Integration: Die Einführung spezifisch für Energiemärkte konstruierter Faktoren (z. B. Thermal Auction Space), die die Struktur des Angebots abbilden.
• Erklärbarkeit (XAI): Durch den Einsatz von SHAP-Werten (Shapley Additive Explanations) wird der Entscheidungsprozess des Modells transparent gemacht, was für Marktteilnehmer essenziell ist.

4. Ergebnisse und Evaluation

Die Methode wurde auf realen Daten des chinesischen Strommarktes (Shanxi) und einem öffentlichen Benchmark (RealE für Frankreich und Deutschland) evaluiert.

• Leistung auf Shanxi-Daten (China):
  • FutureBoosting übertrifft sowohl reine Zero-Shot-TSFMs als auch reine Regressionsmodelle (LightGBM ohne TSFM-Features) signifikant.
  • Im Vergleich zu Zero-Shot-TSFMs konnte der Mean Absolute Error (MAE) um mehr als 30% reduziert werden (z. B. 32,40% Verbesserung bei Day-Ahead, 24,98% bei Real-Time).
  • Selbst im Vergleich zum besten Fine-tuned-Modell (Chronos2 mit LoRA) erreichte FutureBoosting ein sehr ähnliches oder besseres Ergebnis bei deutlich geringerem Rechenaufwand.
• Leistung auf RealE (Europa):
  • Auch hier zeigte FutureBoosting konsistente Verbesserungen gegenüber reinen Baselines, mit MAE-Reduktionen von bis zu 18-26% gegenüber Zero-Shot-TSFMs.
• Effizienz:
  • Das Training und die Inferenz von FutureBoosting sind extrem schnell. Im Vergleich zum Fine-Tuning (LoRA), das mehrere GPUs und Stunden benötigt, läuft FutureBoosting auf einer einzelnen GPU (oder sogar nur CPU bei gecachten TSFM-Ergebnissen) in wenigen Minuten.
• Extremwerte:
  • Das Modell zeigt besondere Stärken bei der Vorhersage von extremen Preisspitzen und -tälern, wo reine TSFMs oft zu stark glätten oder verzerrte Vorhersagen liefern.

5. Bedeutung und Fazit

Das Paper demonstriert, dass der direkte Wettstreit zwischen Foundation Models und klassischen ML-Modellen im Bereich der Strompreisvorhersage nicht der richtige Ansatz ist. Stattdessen bietet FutureBoosting einen praktischen, robusten und interpretierbaren Weg, um die Stärken beider Welten zu vereinen.

• Praktische Relevanz: Da das System keine aufwendige Feinabstimmung erfordert und auf Standard-Hardware läuft, ist es ideal für den industriellen Einsatz in Echtzeit-Handelssystemen (wie bereits in der Zusammenarbeit mit Xingzhixun gezeigt).
• Wissenschaftlicher Beitrag: Es liefert einen neuen Baustein für die Zeitreihenvorhersage, bei dem generische Foundation-Modelle als Feature-Engine für domänenspezifische Regressionsaufgaben genutzt werden, anstatt sie als End-to-End-Lösung zu verwenden.

Zusammenfassend bietet FutureBoosting eine hochpräzise, skalierbare und erklärbare Lösung für die komplexe Aufgabe der Strompreisprognose in volatilen Märkten.