Evaluation of short-term multi-target respiratory forecasts over winter 2024-25 in England using sub-ensemble contribution analyses

Diese Studie bewertet die kurzfristigen, multi-target Vorhersagen für Influenza und COVID-19-Hospitalisierungen in England im Winter 2024/25 durch Sub-Ensemble-Analysen, um die Leistung einzelner Modelle zu quantifizieren und Zielkonflikte zwischen der Vorhersage von absoluten Fallzahlen und Trends zu identifizieren, um zukünftige Ensemble-Modelle zu optimieren.

Das Wesentliche

Stellen Sie sich vor, das Gesundheitssystem in England ist wie ein riesiges, komplexes Schiff, das durch stürmische Wintergewässer navigiert. Die Wellen sind hier nicht Wasser, sondern Grippe- und Coronavirus-Fälle, die in Krankenhäusern landen. Die Kapitäne dieses Schiffes – also die Gesundheitsbehörden – brauchen eine präzise Wettervorhersage, um zu wissen, wann sie Segel setzen oder Anker werfen müssen, damit das Schiff nicht kentert.

Dieser wissenschaftliche Bericht ist im Grunde eine Rückblick-Analyse (ein „Nach-der-Schlacht-Bericht") über die Vorhersagen für den Winter 2024/25. Hier ist die Geschichte dahinter, einfach erklärt:

1. Der große Orchester-Vergleich

Stellen Sie sich vor, es gibt viele verschiedene Orchester (die einzelnen Computermodelle), die jeweils versuchen, die nächste Symphonie (die Anzahl der Patienten) vorherzusagen.

• Das Problem: Manchmal klingt ein einzelnes Orchester toll, manchmal ein anderes. Aber was passiert, wenn man alle Orchester zusammenbringt, um ein riesiges, gemeinsames Orchester (ein „Ensemble") zu bilden?
• Die Herausforderung: Es ist schwer zu sagen, welches Instrument (welches Modell) wirklich zum Erfolg beiträgt und welches eher Störgeräusche macht. Besonders schwierig ist es, wenn man nicht nur die Anzahl der Patienten vorhersagen will, sondern auch die Richtung (wird es besser oder schlimmer?).

2. Der Testlauf: Die „Zeitmaschine"

Die Forscher haben eine Art Zeitmaschine gebaut. Sie haben die Vorhersagen, die im Winter 2024/25 tatsächlich gemacht wurden, noch einmal durchgespielt, aber dieses Mal mit einem Trick: Sie haben das große Orchester aufgeteilt in viele kleine Gruppen (Sub-Ensembles).

• Sie haben sich gefragt: „Was wäre passiert, wenn wir nur die Geigen genommen hätten? Oder nur die Trompeten?"
• Sie haben dann gemessen, welche Gruppe am besten die Wellen vorhergesagt hat.

3. Die Ergebnisse: Nicht immer ist „mehr" besser

Hier kommt die überraschende Wendung, die wie ein Kochrezept klingt:

• Bei der Grippe: Das große, gemischte Orchester (das offizielle Ensemble) war sehr gut darin, die Anzahl der Patienten vorherzusagen (fast 50 % besser als kleine Gruppen). Aber! Wenn es darum ging, die Richtung des Trends zu erraten, waren die kleinen Gruppen manchmal sogar besser.
• Bei Corona: Hier war das große Orchester im Vergleich zu den besten kleinen Gruppen eher wie ein verstimmt gespieltes Instrument. Es war in der Vorhersage der Zahlen und der Richtung deutlich schlechter als einige optimierte Kleingruppen.

4. Der „Zwischenmensch" (Der Trade-off)

Die Forscher haben entdeckt, dass es wie bei einer Waage ist: Man kann nicht immer beides perfekt haben.

• Wenn Sie versuchen, die genaue Zahl der Patienten perfekt vorherzusagen, verlieren Sie manchmal das Gefühl für die Richtung (steigt es oder fällt es?).
• Wenn Sie sich nur auf die Richtung konzentrieren, können die Zahlen danebenliegen.
• Die Analyse hat gezeigt, dass es keine „perfekte" Gruppe gibt, die in allem gewinnt. Es ist ein ständiges Abwägen, wie bei einem Autofahrer, der entscheiden muss: Will ich schneller fahren (bessere Zahlen) oder sicherer (bessere Trendrichtung)?

5. Was bedeutet das für die Zukunft?

Die Nachricht ist eigentlich sehr beruhigend:

• Die offiziellen Vorhersagen waren zuverlässig und gut kalibriert. Sie haben das Schiff sicher durch den Winter gelenkt.
• Aber die Analyse zeigt den Kapitänen jetzt, wie sie das Orchester in Zukunft noch besser zusammenstellen können. Sie wissen jetzt, welche Instrumente in welchen Phasen des Sturms (z. B. am Anfang der Welle vs. am Ende) am wichtigsten sind.

Zusammenfassend:
Dieser Bericht sagt uns, dass das Mischen vieler Vorhersagen eine starke Waffe ist, aber man muss genau wissen, welche Modelle man mischt und wofür. Es ist wie beim Kochen: Manchmal braucht man eine große Schüssel mit allem, manchmal reicht eine kleine, perfekt abgemessene Zutat, um den perfekten Geschmack zu erzielen. Die Wissenschaftler haben nun die Rezepte für die nächsten Winterstürme verfeinert.

Technische Zusammenfassung

Technische Zusammenfassung: Evaluation kurzfristiger Multi-Ziel-Respiratorik-Prognosen für den Winter 2024/25 in England

1. Problemstellung

Die Epidemievorhersageforschung bewertet Ensembles und deren Komponentenmodelle typischerweise mithilfe probabilistischer Bewertungskriterien (Scoring Rules). Eine zentrale Herausforderung besteht jedoch darin, den spezifischen Einfluss einzelner Modelle auf die Gesamtperformance des Ensembles zu quantifizieren. Dies ist besonders schwierig, wenn mehrere Vorhersageziele (z. B. absolute Fallzahlen und Trendrichtung) und verschiedene räumliche Skalen gleichzeitig betrachtet werden müssen. Das Ziel der Studie ist es, diese Lücke zu schließen, indem analysiert wird, wie sich die Kombination verschiedener Modelle auf die Genauigkeit der Vorhersagen für Influenza und COVID-19 auswirkt.

2. Methodik

Die Autoren führten eine retrospektive Simulation der operativen Vorhersagen für den Winter 2024/25 in England durch, wobei sie die im operativen Einsatz befindlichen Komponentenmodelle nutzten. Die Methodik umfasste folgende Schritte:

• Vorhersageziele: Prognosen für Hospitalisierungen aufgrund von Influenza und COVID-19.
• Bewertungsmetriken:
  • pcWIS (per capita Weighted Interval Score): Zur Bewertung der Genauigkeit der absoluten Fallzahlen (Counts).
  • RPS (Ranked Probability Score): Zur Bewertung der Genauigkeit der ordinalen Trendrichtung (z. B. steigend, fallend, stabil).
• Analyseverfahren:
  • Vergleich: Gegenüberstellung der operativen retrospektiven Vorhersagen mit verschiedenen Sub-Ensembles (Kombinationen aus Teilmodellen).
  • Generalized Additive Models (GAMs): Einsatz von GAMs, um den erwarteten Score-Veränderungseffekt zu schätzen, der durch die Einbeziehung eines spezifischen Modells in ein Sub-Ensemble entsteht. Dies erlaubt eine feine Granularität bei der Analyse, welche Modelle in welchen Phasen der Epidemie am effektivsten sind.
  • Pareto-Analyse: Identifikation von Pareto-optimalen Sub-Ensembles, um zu verstehen, welche Kombinationen einen optimalen Kompromiss zwischen den unterschiedlichen Bewertungskriterien (Trendrichtung vs. absolute Zahlen) bieten.

3. Schlüsselergebnisse

Die Analyse lieferte differenzierte Einblicke in die Performance der operativen Ensembles im Vergleich zu optimalen Sub-Ensembles:

• Influenza:
  • Das operative Ensemble erzielte nationale pcWIS-Werte von $5,20 \times 10^{-7}$ und RPS-Werte von $0,234$.
  • Hinsichtlich der absoluten Fallzahlen (pcWIS) zeigte das operative Ensemble eine 47 %ige Verbesserung gegenüber den Sub-Ensembles.
  • Im Gegensatz dazu war das operative Ensemble bei der Trendrichtung (RPS) im Durchschnitt 22 % schlechter als die besten Sub-Ensembles.
• COVID-19:
  • Das operative Ensemble zeigte hier deutliche Schwächen im Vergleich zu den retrospektiven Sub-Ensembles.
  • Es war im Durchschnitt 43 % schlechter beim pcWIS und 265 % schlechter beim RPS als die optimierten Sub-Ensembles.
• Dynamische Einflüsse: Die Sub-Ensemble-Simulation zeigte, dass einzelne Modelle die Ensemble-Performance in verschiedenen Phasen der Epidemie unterschiedlich stark beeinflussten (keine statische "beste" Kombination).
• Trade-off: Die Pareto-Analyse offenbarte einen deutlichen Zielkonflikt (Trade-off): Die Optimierung eines Ensembles für die relative Trendrichtung führt oft nicht zur Optimierung für die absolute Anzahl der Hospitalisierungen und umgekehrt.

4. Hauptbeiträge

• Methodische Innovation: Die Studie kombiniert GAMs und Pareto-Analysen, um nicht nur die Gesamtperformance, sondern auch die phasenabhängige Effektivität einzelner Modelle in Multi-Ziel-Szenarien zu bewerten.
• Quantifizierung von Trade-offs: Sie liefert empirische Belege dafür, dass es schwierig ist, ein einzelnes Ensemble zu finden, das sowohl Trendrichtungen als auch absolute Zahlen gleichzeitig optimal vorhersagt.
• Operative Validierung: Durch den Vergleich mit den tatsächlichen operativen Vorhersagen des Winter 2024/25 wird die praktische Relevanz der Analyse für die Gesundheitsbehörden (UKHSA) unterstrichen.

5. Bedeutung und Interpretation

Die Analyse zeigt, dass die Vorhersagen des UKHSA (UK Health Security Agency) gut kalibriert waren und in vielen Aspekten mit der Performance optimaler Ensembles vergleichbar waren. Die identifizierten Diskrepanzen (insbesondere bei COVID-19 und der Trendrichtung) verdeutlichen jedoch den Bedarf an einer dynamischeren Modellauswahl.

Die gewonnenen Erkenntnisse aus den GAM- und Pareto-Analysen dienen als Leitfaden für die zukünftige Modellauswahl und die Zusammensetzung von Ensembles. Sie helfen den Vorhersageteams, fundierte Entscheidungen zu treffen, ob sie ein Ensemble eher auf die Genauigkeit der Fallzahlen oder auf die korrekte Vorhersage des Epidemieverlaufs (Trend) ausrichten sollten, je nach den aktuellen Anforderungen der Gesundheitspolitik. Dies ist ein entscheidender Schritt zur Verbesserung der Unterstützung für Führungskräfte im Gesundheitswesen bei der Planung von Hospitalisierungsdruck.