Horizon-dependent forecast ranking under structural change: a rolling-origin benchmark for global COVID-19 incidence

Diese Studie zeigt, dass bei der Vorhersage globaler COVID-19-Inzidenzen unter strukturellen Änderungen die Leistung von Prognosemodellen stark vom Vorhersagehorizont abhängt, wobei einfache Basismodelle wie der Drift- und die saisonale Naive-Methode oft komplexeren statistischen Verfahren überlegen bleiben.

Das Wesentliche

Stellen Sie sich vor, Sie versuchen, das Wetter für die nächsten Tage vorherzusagen. Aber das Wetter ist nicht nur unbeständig; es ändert sich plötzlich von einem klaren Sommertag zu einem Wintersturm, und gleichzeitig beginnen immer mehr Menschen, ihre eigenen Wetterstationen zu bauen und ihre Daten zu melden. Genau in diesem chaotischen Szenario hat diese Studie versucht, die besten Methoden zu finden, um die Anzahl der neuen COVID-19-Fälle weltweit vorherzusagen.

Hier ist die Geschichte der Studie, einfach erklärt:

1. Das große Problem: Die Welt ändert sich ständig

In der normalen Welt funktionieren Vorhersagemodelle oft gut, weil sich Dinge langsam ändern. Aber während der Pandemie passierte alles auf einmal:

• Strukturelle Brüche: Plötzlich gab es neue Varianten, Lockdowns oder Impfkampagnen.
• Wachsende Berichterstattung: Am Anfang meldeten nur wenige Länder Daten, später fast alle. Das sah aus wie ein explosionsartiger Anstieg der Fälle, war aber teilweise nur, weil wir plötzlich mehr sahen.

Die Forscher sagten sich: „Wenn wir ein Modell nehmen, das für gestresste Daten gemacht ist, und es einfach auf die ganze Zeit anwenden, werden wir scheitern."

2. Die Methode: Der „Rollende Start"

Stellen Sie sich einen Marathon vor. Ein herkömmlicher Test würde den Läufer nur einmal starten lassen und schauen, wie er die erste Meile läuft.
Diese Studie machte etwas anderes: Sie ließen das Modell wiederholt starten.

• Sie sagten: „Okay, wir wissen alles bis zum 1. März. Was passiert am 2. März?" -> Starten, testen, Ergebnis notieren.
• Dann: „Wir wissen alles bis zum 2. März. Was passiert am 3. März?" -> Starten, testen, Ergebnis notieren.

Dies nennt man einen „Rollenden Ursprung". Es ist wie ein Simulator, der die Realität nachahmt, in der wir jeden Tag neue Informationen erhalten und unsere Vorhersage sofort anpassen müssen.

3. Die Wettbewerber: Einfache Intuition vs. Komplexe Mathematik

Die Studie ließ verschiedene „Läufer" gegeneinander antreten:

• Der Naive (Der Träumer): „Gestern waren es 100 Fälle, also werden es heute auch 100 sein." (Einfach, aber oft überraschend gut).
• Der Drift (Der Trendfolger): „Die Zahlen steigen jeden Tag um 50. Also werde ich morgen 50 mehr annehmen." (Er erkennt die Richtung).
• Der Saisonale Naive (Der Wochenplaner): „Gestern war Sonntag, also schauen wir auf den letzten Sonntag." (Versucht, wöchentliche Muster zu finden).
• Die Schwergewichte (ARIMA, ETS, Prophet): Das sind die komplexen mathematischen Modelle, die versuchen, jede kleine Welle und jeden Kurvenzug zu berechnen. Sie sind wie hochentwickelte Wettercomputer.

4. Das Ergebnis: Es kommt darauf an, wann Sie schauen

Das wichtigste Ergebnis der Studie ist wie ein Satz: „Es gibt keinen einzigen Gewinner für alle Distanzen."

• Für 1 Tag voraus (Morgen): Der Drift (der Trendfolger) war oft der Schnellste. Wenn die Zahlen gerade steil nach oben schießen, ist es besser, einfach weiter in die gleiche Richtung zu schauen, als ein komplexes Modell zu bauen.
• Für 3 Tage voraus: Hier gewann überraschend der Saisonale Naive. Warum? Weil die Menschen am Wochenende oft weniger testen oder melden. Dieses wöchentliche Muster war so stark, dass es die komplexen Modelle schlug.
• Für 7 und 14 Tage voraus: Der Drift war wieder der König. Aber hier holte auch das ETS-Modell (ein cleveres Glättungs-Modell) auf. Die komplexen Modelle wurden besser, je weiter man in die Zukunft schaute, aber sie waren nicht immer besser als der einfache Trendfolger.
• Der Prophet: Das Modell „Prophet" (ein beliebtes Tool von Facebook) lief schlecht. Es sagte die Zahlen falsch voraus, aber es war so vorsichtig, dass es riesige „Wetterwarnungen" (sehr breite Intervalle) ausspuckte. Es sagte zwar „Es könnte alles Mögliche passieren" (was technisch stimmt), aber das half den Planern nicht wirklich, weil die Spanne zu groß war.

5. Die große Lektion: Einfachheit schlägt oft Komplexität

Die Studie zeigt etwas Erstaunliches: In einer Welt, die sich so schnell und chaotisch ändert wie während der Pandemie, sind einfache Modelle oft schwer zu schlagen.

Warum? Weil die globalen Zahlen wie ein riesiger Ozean sind. Wenn Sie einen kleinen Stein (eine lokale Ausbruchswelle) werfen, sieht man das im Ozean kaum. Aber wenn der ganze Ozean steigt (globaler Trend), hilft es am meisten, einfach zu sagen: „Der Ozean steigt weiter."

Die komplexen Modelle versuchen, jeden kleinen Wellengang zu berechnen, aber in einem so lauten, chaotischen Umfeld (wo sich auch die Art der Datenerhebung ändert) verlieren sie manchmal den Fokus.

Zusammenfassung für den Alltag

Stellen Sie sich vor, Sie planen eine Reise:

• Wenn Sie wissen wollen, ob es morgen regnet, reicht oft ein Blick aus dem Fenster (Drift).
• Wenn Sie wissen wollen, ob es nächste Woche regnet, hilft es, den Kalender zu prüfen (Saisonale Naive).
• Wenn Sie zwei Wochen im Voraus planen, ist es besser, den allgemeinen Trend zu beobachten, als zu versuchen, jedes einzelne Wolkenmuster zu berechnen.

Die Botschaft: Man sollte nicht blindlings auf das „teuerste" oder „komplexeste" Vorhersagemodell vertrauen. Man muss immer fragen: „Wie weit in die Zukunft schaue ich?" und „Wie stabil ist die Welt gerade?" Manchmal ist der einfachste Weg der beste.

Technische Zusammenfassung

Titel

Horizontabhängiges Forecast-Ranking unter strukturellen Veränderungen: Ein Rolling-Origin-Benchmark für die globale COVID-19-Inzidenz

1. Problemstellung

Die Kurzfrist-Prognose von Infektionskrankheiten ist besonders schwierig, wenn Überwachungszeitreihen stark nicht-stationär sind und durch strukturelle Brüche sowie sich wandelnde Berichtssysteme beeinflusst werden. Während der COVID-19-Pandemie änderten sich Übertragungsdynamiken, Immunitätslagen und Meldepraktiken rasch, was zu abrupten Niveau- und Wachstumsänderungen in den Daten führte.
Herausforderungen bestehen darin:

• Nicht-Stationarität: Die Datenverteilung ändert sich über die Zeit drastisch.
• Strukturelle Brüche: Änderungen in der Datenerfassung (z. B. Anzahl der meldepflichtigen Länder) verzerren die Zeitreihe.
• Horizont-Abhängigkeit: Die Leistung von Modellen variiert stark je nach Prognosehorizont (1, 3, 7, 14 Tage).
• Fragilität herkömmlicher Validierung: Ein einmaliges Train-Test-Split kann irreführend sein, wenn es zufällig mit einer atypischen Phase zusammenfällt.

2. Methodik

Die Studie verwendet einen transparenten statistischen Benchmark für die globale tägliche COVID-19-Inzidenz vom 22. Januar bis zum 27. Juli 2020 ($T=188$ Tage).

Daten und Zielvariable:

• Quelle: Johns Hopkins University (JHU) CSSE Reports.
• Ziel: Tägliche neue Fälle ($y_t$). Zur Varianzstabilisierung wird auch $z_t = \log(1 + y_t)$ verwendet.
• Robustheitscheck: Eine alternative Zielvariable basierend auf der Differenz kumulierter bestätigter Fälle.

Prognose-Protokoll (Rolling-Origin):

• Anstelle eines statischen Train-Test-Splits wird ein Rolling-Origin (Walk-Forward)-Verfahren verwendet.
• Modelle werden bei jedem Ursprung $t$ nur mit Daten bis $t-1$ neu geschätzt.
• Minimale Trainingslänge: 56 Tage.
• Prognosehorizonte ($h$): 1, 3, 7 und 14 Tage.
• Metriken: MAE, RMSE, sMAPE, MASE (alle auf der ursprünglichen Inzidenzskala berechnet).

Vergleichene Modelle:

1. Basislinien (Persistence-basiert):
   • Naive: $\hat{y}_{t+h} = y_t$
   • Seasonal Naive (s=7): $\hat{y}_{t+h} = y_{t+h-7}$
   • Drift: Extrapolation des historischen Trends.
2. Transformierte statistische Modelle (auf $\log(1+y_t)$ geschätzt):
   • ARIMA(log1p): Modellordnung via AIC gewählt.
   • ETS(log1p): Exponentielle Glättung (State-Space), Modellwahl via AIC.
3. Referenz-Modell:
   • Prophet(log1p): Dekomposition in Trend und Saisonalität (hier nur wöchentlich).

Statistische Tests:

• Diebold-Mariano (DM) Test: Zur Prüfung der statistischen Signifikanz von Leistungsunterschieden zwischen Modellenpaaren.
• Retrospektive Regime-Segmentierung: Identifikation von Strukturbrüchen auf der varianzstabilisierten Skala ($z_t$), um Fehler nach Phasen zu stratifizieren (nicht für das Training verwendet, um Informationsleckage zu vermeiden).

Robustheitsanalysen:

• Variation der Segmentierungsparameter (Anzahl der Bruchpunkte).
• Vergleich von expandierenden vs. gleitenden Trainingsfenstern.
• Analyse auf "Coverage-stabilisierten" Teilstichproben (ab 180 meldepflichtigen Ländern).
• Vergleich verschiedener Zielvariablen-Definitionen.

3. Wichtige Beiträge

1. Horizont-spezifischer Benchmark: Demonstration, dass kein einzelnes Modell über alle Horizonte hinweg dominiert; die Rangfolge ist stark vom Horizont abhängig.
2. Regime-bewusste Evaluation: Trennung von strukturellen Phasen zur Analyse, wie sich die Modellleistung während der Pandemiephasen ändert, ohne die Modelle selbst zu verzerren.
3. Robustheit gegenüber Design-Entscheidungen: Nachweis, dass die Hauptergebnisse stabil bleiben, unabhängig von der Fenstergröße, der Stichprobenselektion oder der Definition der Zielvariable.
4. Empirische Einsicht: Bestätigung, dass einfache Baselines unter strukturellen Veränderungen oft schwer zu schlagen sind.

4. Ergebnisse

Hauptbenchmark (Vollstichprobe):

• Drift-Modell: Erzielte die besten Ergebnisse (niedrigster MAE) bei den Horizonten 1, 7 und 14 Tagen.
• Seasonal Naive: War bei 3 Tagen am besten (Hinweis auf verbleibende wöchentliche Berichtsmuster).
• ARIMA vs. ETS:
  • Bei kurzen Horizonten (1, 3 Tage) war ARIMA(log1p) leicht überlegen oder gleichauf.
  • Bei längeren Horizonten (7, 14 Tage) übertraf ETS(log1p) ARIMA(log1p) signifikant.
• Prophet: Zeigte schlechte Punktvorhersagen (hoher MAE). Hohe nominale Konfidenzintervall-Abdeckung (Coverage) wurde nur durch extrem breite Intervalle erreicht (mangelnde Schärfe).

Statistische Signifikanz (Diebold-Mariano Test):

• Drift war ARIMA und ETS bei mehreren Horizonten signifikant überlegen.
• ETS(log1p) war ARIMA(log1p) bei 7 und 14 Tagen signifikant überlegen.
• Bei 1 Tag waren ETS und ARIMA statistisch nicht unterscheidbar.

Strukturelle Phasen (Regime-Analyse):

• Die Rangfolge änderte sich je nach Phase (z. B. frühe Ausbreitung vs. hohe Inzidenz), aber die Horizont-Abhängigkeit blieb bestehen.
• Drift und ETS blieben in allen Phasen konkurrenzfähig.

Robustheitsanalysen:

• Fenstergröße: Gleitende Fenster (insb. 84 Tage) verbesserten die ETS-Leistung bei mittleren und langen Horizonten im Vergleich zu expandierenden Fenstern.
• Coverage-Stabilisierung: Nach Ausschluss der frühen Phase mit wachsender Berichterstattung (ab 180 Ländern) änderten sich die Kurzfrist-Rankings (ETS wurde bei 3 Tagen stärker), aber das übergeordnete Muster der Horizont-Abhängigkeit und die Stärke einfacher Baselines blieben erhalten.
• Zielvariable: Die Wahl zwischen gemeldeten Fällen und rekonstruierten Differenzen hatte keinen Einfluss auf die Modellrangfolge.

5. Bedeutung und Schlussfolgerungen

Praktische Implikationen für die öffentliche Gesundheit:

• Horizont-spezifische Modellwahl: Ein Modell, das für 1-Tage-Prognosen gut ist, muss nicht für 14-Tage-Prognosen geeignet sein. Operationalen Aufgaben (z. B. Bettenplanung vs. tägliche Überwachung) sollten entsprechende Horizonte zugewiesen werden.
• Wiederentdeckung einfacher Baselines: Modelle wie "Drift" und "Naive" sind unter strukturellen Veränderungen oft schwer zu schlagen und sollten als ernsthafte Referenzmodelle behandelt werden, nicht nur als triviale Vergleichspunkte.
• Evaluation unter Unsicherheit: Die Bewertung von Prognosen muss explizit strukturelle Brüche und Änderungen in der Datenerfassung berücksichtigen. Rolling-Origin-Protokolle sind hierfür essenziell.

Fazit:
Die Studie zeigt, dass bei epidemischen Zeitreihen mit starken strukturellen Veränderungen keine universelle "beste" Methode existiert. Die Leistung ist stark vom Prognosehorizont abhängig. Einfache statistische Baselines bleiben oft konkurrenzfähig, während komplexere Modelle (wie ETS) bei längeren Horizonten Vorteile bieten können. Prophet erwies sich in diesem Kontext als ungeeignet für Punktvorhersagen. Die Ergebnisse unterstreichen die Notwendigkeit einer horizon-spezifischen, robusten Evaluierung, die sich nicht auf aggregierte Zusammenfassungen verlässt.