📊 statistics

Online forecast reconciliation using linear models

Dieses Paper führt ein Online-Framework für die adaptive Rekonsiliation hierarchischer Prognosen unter Verwendung von linearer Regression und Ridge-Schätzung ein, einschließlich eines rekursiven Inferenzalgorithmus, der im PyOnlineForecast-Paket implementiert und durch eine Fallstudie zur Lastprognose in der Fernwärme validiert wurde.

Ursprüngliche Autoren: Tobias Rønlev-Knudsen, Henrik Madsen, Jan Kloppenborg Møller

Veröffentlicht 2026-06-23

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Tobias Rønlev-Knudsen, Henrik Madsen, Jan Kloppenborg Møller

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen vorherzusagen, wie viel Wärme ein Stadtviertel morgen benötigen wird. Sie haben ein Team von Prognostikern. Einige schauen sich nur ein spezifisches Haus an (die „untere“ Ebene), während andere ganze Straßen oder den gesamten Bezirk betrachten (die „obere“ Ebene).

Das Problem? Die Prognostiker sind oft uneinig. Die Person, die für den gesamten Bezirk prognostiziert, sagt vielleicht: „Wir benötigen 100 Einheiten Wärme“, während die Summe der drei Straßenvorhersagen besagt: „Wir benötigen 110 Einheiten Wärme“. Diese Inkonsistenz ist unordentlich und verwirrend. In der Welt der Daten wird dies als Mangel an Kohärenz bezeichnet.

Dieses Paper präsentiert eine neue, intelligente Methode, um diese Unstimmigkeiten in Echtzeit zu beheben, unter Verwendung einer Methode namens Online Forecast Reconciliation (Online-Prognoseabgleich). So funktioniert es, heruntergebrochen auf einfache Konzepte:

1. Die Hierarchie: Ein Stammbaum der Daten

Betrachten Sie Ihre Daten wie einen Stammbaum.

Die Großeltern (Obere Ebene): Dies sind die großen, aggregierten Zahlen (z. B. die Gesamtwärme für den gesamten Bezirk).
Die Kinder (Untere Ebene): Dies sind die spezifischen, detaillierten Zahlen (z. B. die Wärme für einzelne Häuser).
Die Regel: Die Zahl der „Großeltern“ muss gleich der Summe aller „Kinder“-Zahlen sein. Wenn die Mathematik nicht aufgeht, ist die Prognose fehlerhaft.

2. Das Problem: Das Raten der „Korrektur“

Normalerweise haben Sie zwei Möglichkeiten, um die Mathematik zu korrigieren:

Bottom-Up (Von unten nach oben): Ignorieren Sie die Großeltern. Addieren Sie einfach die Zahlen der Kinder und nennen Sie es die Sache damit. (Schnell, aber Sie ignorieren das große Ganze).
Top-Down (Von oben nach unten): Ignorieren Sie die Kinder. Verteilen Sie die Zahl der Großeltern einfach auf die Kinder. (Einfach, aber Sie ignorieren die Details).

Das Paper schlägt einen dritten Weg vor: Einen „Magischen Vermittler“. Anstatt sich für eine Seite zu entscheiden, betrachtet dieser Vermittler sowohl das große Ganze als sie auch die Details, berechnet die Fehler, die die Prognostiker in der Vergangenheit gemacht haben, und nutzt diese Historie, um die Zahlen sanft so anzupassen, dass sie perfekt aufgehen und gleichzeitig so genau wie möglich sind.

3. Der „Online“-Teil: Lernen beim Fahren

Die meisten alten Methoden sind wie ein Foto zu machen, es in einer Dunkelkammer zu entwickeln und dann das Ergebnis anzuschauen. Man muss warten, bis alle Daten vorliegen, um die Prognose zu korrigieren.

Dieses Paper führt eine Online-Methode ein. Stellen Sie sich vor, Sie fahren ein Auto und reparieren gleichzeitig den Motor. Während jede Stunde (oder jede Minute) neue Daten eingehen, aktualisiert das System sofort sein „Gedächtnis“ und passt seine Vorhersagen an. Es wartet nicht bis zum Ende des Tages; es lernt und passt sich jetzt sofort an.

4. Das Geheimrezept: „Ridge Regression“ (Die Schrumpfung)

Wie entscheidet das System, wie viel Vertrauen es den „Großeltern“ gegenüber den „Kindern“ entgegenbringen soll?

Die Analogie: Stellen Sie sich vor, Sie versuchen, das Gewicht einer Wassermelone zu erraten. Sie haben eine Waage (die Daten) und ein Bauchgefühl (die vorherige Schätzung).
Das Problem: Manchmal ist die Waage etwas wackelig (verrauschte Daten), oder Sie haben noch nicht genug Daten. Wenn Sie der Waage zu 100 % vertrauen, erhalten Sie vielleicht eine verrückte Zahl.
Die Lösung: Das Paper verwendet eine Technik namens Ridge Regression. Betrachten Sie dies als einen „Shrinkage“-Regler (Schrumpfungsregler). Er zieht die wilden, verrauschten Vorhersagen sanft in Richtung eines sicheren, vernünftigen Zentrums (wie Null oder eines einfachen Durchschnitts). Dies verhindert, dass das System überreagiert, wenn ein einzelner merkwürdiger Datenpunkt auftritt. Es ist wie die Anweisung an die Prognostiker: „Gerate nicht in Panik, wenn ein Haus heute ein wenig mehr Wärme verbraucht; lassen Sie uns die Gesamtprognose stabil halten.“

5. Der Praxistest: Aufwärmen von Dänemark

Die Autoren testeten dies an einem realen Problem: Fernwärme in Aarhus, Dänemark.

Sie mussten den Wärmeverbrauch für drei verschiedene Bereiche (Süd, Ost, West) eines Stadtviertels vorhersagen.
Sie erstellten eine Hierarchie, bei der sie die Wärme für jede Stunde vorhersagten (1 Stunde im Voraus, 2 Stunden im Voraus... bis zu 24 Stunden im Voraus) und diese dann zu 6-Stunden-, 12-Stunden- und 24-Stunden-Gesamtwerten summierten.
Das Ergebnis: Durch die Verwendung ihres „Online-Vermittlers“ mit dem „Shrinkage“-Regler konnten sie die Prognosen genauer machen, insbesondere für die längerfristigen Vorhersagen (wie 24 Stunden im Voraus).

6. Die wichtigste Erkenntung

Das Paper zeigt, dass man sich nicht zwischen dem „Großen Ganzen“ und den „Details“ entscheiden muss. Indem man einen smarten, mathematisch basierten Vermittler nutzt, der sich in Echtzeit selbst aktualisiert und das Rauschen sanft glättet, erhält man eine Prognose, die:

Konsistent ist: Die Zahlen gehen immer korrekt auf.
Adaptiv ist: Sie lernt sofort aus neuen Daten.
Genau ist: Sie reduziert Fehler, insbesondere bei längerfristigen Vorhersagen.

Die Autoren haben auch ein kostenloses Software-Tool (genannt PyOnlineForecast) veröffentlicht, mit dem jeder diese Methoden anwenden kann, sodass man kein Mathematik-Genie sein muss, um diesen „Magischen Vermittler“ auf die eigenen Datenprobleme anzuwenden.

Technisches Resümee: Online-Prognoseabgleich mittels linearer Modelle

Problemstellung

Die Prognoseabgleichung (Forecast Reconciliation) ist eine Technik, die eingesetzt wird, um Kohärenz zwischen Prognosen von Zeitreihen mit hierarchischen Strukturen sicherzustellen. Diese Strukturen legen lineare Nebenbedingungen fest (z. B. muss die Summe der regionalen Lasten der Teilregionen der gesamten regionalen Last entsprechen). Während traditionelle Methoden zur Abgleichung (wie die Optimale Kombination) in Offline-Umgebungen erfolgreich waren, basieren sie häufig auf der Methode der kleinsten Quadrate (Ordinary Least Squares, OLS) oder der verallgemeinerten kleinsten Quadrate (Generalized Least Squares, GLS), welche die Batch-Verarbeitung historischer Daten erfordern.

In praktischen Anwendungen, wie etwa der Lastprognose für Fernwärme, müssen Prognosen regelmäßig aktualisiert werden, sobald neue Beobachtungen verfügbar werden. Bestehende Online- und adaptive Methoden für hierarchische Prognosen stützen sich oft auf spezifische Shrinkage-Schätzer (z. B. MinT mit Ledoit-Wolf-Shrinkage), lassen jedoch einen einheitlichen Rahmen für die rekursive Parameterschätzung, die Quantifizierung von Unsicherheit und die explizite Modellierung von Fehlerkorrelationen in einem multivariaten Setting vermissen. Die Herausforderung besteht darin, ein Framework zu entwickeln, das das Online-Lernen und die adaptive Anpassung für hierarchische Zeitreihen unterstützt und gleichzeitig eine rigorose Quantifizierung der Unsicherheit sowohl für Parameter als sie auch für Prognosen bietet.

Methodik

1. Formalisierung von Hierarchien über Graphen

Die Autoren formalisieren hierarchische Strukturen als gerichtete Bäume $H = (Y, E)$ , wobei Knoten Systemzustände repräsentieren und Kanten Summenbeschränkungen definieren.

Summenmatrix ( $S$ ): Definiert basierend auf der Erreichbarkeit von Knoten der untersten Ebene (Blätter) von den obersten Ebenen aus. Die hierarchischen Beschränkungen werden als $Sy_{bot} = y_{top}$ ausgedrückt, wobei $y_{bot}$ und $y_{top}$ Vektoren der Zustände der unteren bzw. oberen Ebenen sind.
Ziel der Abgleichung: Das Ziel ist es, eine Projektionsmatrix $P$ zu finden, sodass die abgeglichenen Prognosen $\tilde{y}_t = S P \hat{y}_t$ die hierarchischen Beschränkungen erfüllen, wobei $\hat{y}_t$ die Basisschätzungen darstellt.

2. Multivariates lineares Modell mit Matrix-Normalverteilung

Der Kern des vorgeschlagenen Frameworks behandelt die Prognoseabgleichung als ein Problem eines linearen Modells (Linear Model, LM).

Modellformulierung: Anstatt von unabhängigen Residuen auszugehen, verwenden die Autoren ein multivariates lineares Modell, bei dem die Residuen einer Matrix-Normalverteilung folgen:
$Y = X\theta + E, \quad E \sim MN(0, U, V)$
Hierbei ist $Y$ die Antwortmatrix (Fehler der Basisschätzungen der untersten Ebene), $X$ die Designmatrix, die aus der Differenz zwischen den oberen und unteren Basisschätzungen konstruiert wurde, $\theta$ die Abgleichsgewichte, $U$ die Zeilenkovarianz (temporale Korrelation) und $V$ die Spaltenkovarianz (kreuzsektionale Korrelation).
Verbindung zu Møller et al. (2024a): Das Framework baut auf dem Ergebnis auf, dass die Abgleichung als LM der Basisschätzungsfehler der untersten Ebene dargestellt werden kann. Dies ermöglicht die Anwendung der Standard-LM-Theorie auf die hierarchische Prognoseabgleichung.

3. Regularisierung und Ridge-Regression

Die Parameterschätzung wird als Ridge-Regressionsproblem formuliert, um Kollinearität zu handhaben und Stabilität zu gewährleisten.

Zielfunktion: Die Autoren minimieren eine gewichtete Mahalanobis-ähnliche Norm:
$J(\theta) = \|X\theta - Y\|_{P,R}^2 + \|\theta - \theta_0\|_{Q,R}^2$
Diese Formulierung verbindet Ridge-Regression, Bayessche Schätzung (Maximum A Posteriori) und Shrinkage-Methoden.
Shrinkage-Interpretation: Durch die Wahl spezifischer Priors für $\theta_0$ und $Q$ stellt die Ridge-Lösung den MinT-Shrinkage-Schätzer wieder her. Die Autoren untersuchen auch einfachere Priors, wie etwa $\theta_0 = 0$ , was im Grenzwert einer starken Regularisierung einem Bottom-Up-Ansatz entspricht.

4. Rekursive Inferenz für Online-Settings

Um die Online-Prognose zu ermöglichen, leiten die Autoren rekursive Update-Gleichungen ab, die von der rekursiven kleinsten Quadrate (Recursive Least Squares, RLS) inspiriert sind.

Annahmen: Die Methode setzt voraus, dass die Residuen über die Zeit unabhängig sind ( $U$ ist diagonal), und verwendet exponentielle Gewichtung ( $P$ ist eine diagonale Matrix mit abfallenden Gewichten $\lambda^{t-s}$ ).
Update-Gleichungen: Die hinreichenden Statistiken ( $K_t, L_t, H_t$ ) werden zu jedem Zeitschritt $t$ rekursiv aktualisiert:
$K_{t+1} = \lambda K_t + x_{t+1}x_{t+1}^\top$
$L_{t+1} = \lambda L_t + x_{t+1}y_{t+1}^\top$
$H_{t+1} = \lambda^2 H_t + u_{t+1}x_{t+1}x_{t+1}^\top$
Dies ermöglicht effiziente Parameteraktualisierungen ohne die Notwendigkeit, die gesamte Historie erneut zu verarbeiten.
Unsicherheitsquantifizierung: Das Framework liefert die prädiktive Verteilung für neue Beobachtungen, einschließlich der Kovarianz der abgeglichenen Prognosen, abgeleitet aus den Eigenschaften der Matrix-Normalverteilung.

5. Implementierung

Die Methodik wird in dem Open-Source-Python-Paket PyOnlineForecast implementiert. Die Implementierung behandelt die Abgleichung als eine zusammengesetzte Transformation, die:

Die Basisschätzungen in obere und untere Ebenen aufteilt.
Design- und Antwortmatrizen konstruiert (unter Berücksichtigung von Back-Shifting für temporale Hierarchien).
Die rekursive Ridge-Regression anwendet, um die Basisschätzungsfehler der untersten Ebene vorherzusagen.
Vorhersagen aggregiert und verschiebt, um kohärente, abgeglichene Prognosen zu erzeugen.

Kernbeiträge

Einheitliches Framework: Die Arbeit präsentiert ein Framework, das die hierarchische Prognoseabgleichung mit multivariaten linearen Modellen vereint und Matrix-Normalverteilungen nutzt, um Residuen zu charakterisieren.
Online- und adaptiver Algorithmus: Es wird ein rekursives Inferenzschema auf Basis der Ridge-Regression abgeleitet, das effiziente Online-Updates der Abgleichparameter und Unsicherheitsschätzungen ermöglicht.
Graphentheoretische Formalisierung: Hierarchien werden mittels Graphentheorie und transitiiver Hülle formal definiert, um die Summenmatrix zu konstruieren, was eine rigorose strukturelle Definition bietet.
Open-Source-Implementierung: Die Autoren stellen das PyOnlineForecast-Paket zur Verfügung, das als praktisches Werkzeug zur Implementierung dieser Methoden dient (basierend auf dem R-Paket onlineforecast).
Theoretische Verbindungen: Die Arbeit diskutt explizit die Verbindungen zwischen Ridge-Regression, Bayesscher Schätzung und Shrinkage-Schätzern (MinT) im Kontext der hierarchischen Prognoseabgleichung.

Ergebnisse: Fallstudie zur Fernwärmelastprognose

Die vorgeschlagene Methodik wurde anhand einer Fallstudie zur Fernwärmelastprognose (DH) für drei Gebiete in Aarhus, Dänemark, unter Verwendung einer temporalen Hierarchie (stündliche, 6-stündige, 12-stündige und 24-stündige Aggregationen) demonstriert.

Leistungsverbesserung: Die Prognoseabgleichung verbesserte die Genauigkeit konsistent über alle Regionen, Aggregationsstufen und Prognosehorizonte hinweg im Vergleich zu den Basisschätzungen. Die relative Reduktion des Root Mean Squared Error (RRMSE) war in allen getesteten Szenarien positiv.
Aktualisierungsfrequenz: Die Studie verglich die Aktualisierung der Parameter jede Stunde (Hauptfall) gegenüber einer Aktualisierung alle 24 Stunden (Fälle 1-3).
- Stündliche Updates: Boten die beste Vorhersageleistung und stabile Varianzschätzungen.
- Tägliche Updates: Führten zu weniger stabilen Varianzschätzungen und generell geringerer Genauigkeit. Die Autoren führen dies auf die reduzierte Häufigkeit der Parameteranpassung an Systemänderungen zurück.
Effekte der Regularisierung:
- Für kurze Horizonte verbesserte eine höhere Regularisierung (die Gewichte in Richtung Null/Bottom-Up drängt) die Leistung, da die Basisschätzungen für kurze Horizonte bereits präzise und dynamisch sind.
- Für längere Horizonte lieferte eine geringere Regularisierung bessere Ergebnisse, da der Abgleichprozess die Struktur der Hierarchie effektiv nutzte, um die Fehler der Basisschätzungen zu korrigieren.
Unsicherheit: Das rekursive Schema konnte die Varianz der Vorhersagefehler erfolgreich verfolgen, wobei die Autoren anmerken, dass die Schätzunsicherheit der Varianzmatrix $V$ selbst in der aktuellen Implementierung nicht vollständig in die prädiktive Verteilung einbezogen wurde.

Bedeutung und Ansprüche

Die Arbeit beansprucht, dass ihre primäre Bedeutung darin liegt, eine Referenz für die Implementierung der hierarchischen Prognoseabgleichung mittels multivariater linearer Modelle in einem Online-Setting zu bieten.

Praktischer Nutzen: Das Framework adressiert die praktische Notwendigkeit regelmäßiger Prognoseaktualisierungen in dynamischen Systemen (wie der Fernwärme), in denen Daten sequenziell eintreffen.
Flexibilität: Durch die Formulierung der Abgleichung als regularisiertes lineares Modell ermöglicht der Ansatz die Verwendung verschiedener Regularisierungstechniken (z. B. Lasso, Elastic Net) und Methoden der Unsicherheitsquantifizierung über den Standard-MinT hinaus.
Bescheidenheit: Die Autoren räumen Einschränkungen ein, wie etwa die Annahme unabhängiger Residuen in der rekursiven Ableitung und die potenzielle künstliche Autokorrelation in temporalen Hierarchien durch wiederholte Beobachtungen. Sie schlagen vor, dass zukünftige Arbeiten allgemeinere Kovarianzstrukturen (z. B. Tensor-Normalverteilungen) und anspruchsvollere Priors für die Varianzschätzung untersuchen könnten.

Die Arbeit zeigt, dass hierarchische Online-Prognosen machbar und vorteilhaft sind, insbesondere wenn die Parameter-Updates häufig erfolgen und die Regularisierung auf den Prognosehorizont und die Aggregationsstufe abgestimmt ist.