Quantifying advances in infectious disease forecast skill across seasons and pathogens
Diese Studie führt eine neuartige Metrik zur Bewertung der Vorhersagegüte ein, die Prognosen mit Hindcasts und Baseline-Benchmarks vergleicht, um zu zeigen, dass sich Ensemble- und Team-Prognosen für Influenza und COVID-19 im letzten Jahrzehnt im Allgemeinen in ihrer Qualität verbessert haben, trotz gemischter Ergebnisse für COVID-19.
Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung eines Preprints, das nicht peer-reviewed wurde. Dies ist kein medizinischer Rat. Treffen Sie keine Gesundheitsentscheidungen auf Grundlage dieses Inhalts. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie versuchen, das Wetter in einem Monat vorherzusagen. Sie kennen die allgemeinen Muster der Jahreszeiten, aber der genaue Pfad eines Sturms, der exakte Tag, an dem es regnen wird, oder wie stark der Wind wehen wird, bleibt eine Vermutung. Die Vorhersage von Infektionskrankheiten funktioniert ganz ähnlich. Anstatt Wolken und Fronten verfolgen Wissenschaftler Viren und Bakterien und nutzen Daten darüber, wie viele Menschen krank werden, wie viele im Krankenhaus liegen und wie viele sterben. Das Ziel ist es, den Gesundheitsbehörden einen Vorsprung zu verschaffen, damit sie Medikamente aufstocken, Krankenhausbetten vorbereiten und Gemeinschaften warnen können, bevor eine Welle von Krankheiten eintrifft. Seit über einem Jahrzehnt führen Forscher in den Vereinigten Staaten ein massives, gemeinschaftliches Experiment durch, um zu sehen, ob sie bei diesen Vorhersagen besser werden können. Sie haben Tausende von Vorhersagen von Dutzenden verschiedener Teams gesammelt, die alles von der saisonalen Grippe bis zur globalen Pandemie von COVID-19 abdecken. Aber eine entscheidende Frage blieb bestehen: Werden diese Vorhersagen tatsächlich mit der Zeit besser oder drehen sie sich nur im Kreis?
Um dies zu beantworten, entwickelten ein Team von Forschern der Northeastern University und der Centers for Disease Control and Prevention eine neue Art, Erfolg zu messen. In der Vergangenheit verglichen Wissenschaftler Vorhersagen mit Scores, die ihnen sagten, welches Modell besser als ein anderes für eine bestimmte Woche war, aber diese Scores waren schwer über verschiedene Krankheiten oder verschiedene Jahre hinweg vergleichbar. Ein Score, der für eine milde Grippesaison gut aussah, konnte für ein chaotisches Pandemiejahr schlecht aussehen – nicht weil das Modell versagt hatte, sondern weil die Situation selbst schwieriger vorherzusagen war. Die Forscher brauchten ein Lineal, das Fortschritte fair messen konnte, unabhängig davon, wie unübersichtlich die Daten waren. Sie entwickelten einen „Skill-Score“, eine Kennzahl, die jede Vorhersage gegen zwei spezifische Referenzpunkte vergleicht. Der erste ist ein „Hindcast“, ein perfekter Rückblick. Stellen Sie sich vor, Sie könnten die Zukunft sehen und dann genau aufschreiben, was passiert ist, unter Berücksichtigung aller Rauschen und Fehler bei der Datenerhebung. Dies stellt das absolut Beste dar, was man theoretisch erreichen könnte. Der zweite Referenzpunkt ist eine „Baseline“, eine einfache Vermutung, die ein Computer ohne komplexe Modellierung treffen könnte. Indem sie maßen, wie viel besser eine echte Vorhersage gegenüber einer einfachen Vermutung ist und wie nah sie dem perfekten Rückblick kommt, konnten die Forscher endlich sehen, ob sich das Feld wirklich weiterentwickelt.
Das Team wandte dieses neue Messinstrument auf mehr als 2,5 Millionen Vorhersagen an, die über zehn Jahre generiert wurden. Sie untersuchten Vorhersagen für grippeähnliche Erkrankungen, Krankenhauseinweisungen und Todesfälle sowie ähnliche Zielgrößen für COVID-19. Sie testeten diese Vorhersagen gegen drei verschiedene Arten einfacher Baselines: eine, die nur auf die langfristige Geschichte der Krankheit blickte, eine, die davon ausging, dass die nächste Woche exakt wie die letzte Woche aussehen würde, und eine, die dem jüngsten Trend der Daten folgte. Die Ergebnisse waren eindeutig für die saisonale Grippe. Die kollektive Anstrengung aller Vorhersageteams, bekannt als Ensemble, übertraf konsequent die einfachen Vermutungen. Wichtiger noch: Die Qualität dieser Vorhersagen verbesserte sich stetig über die Zeit. Eine Vorhersage, die vier Wochen im Voraus für die jüngste Grippesaison gemacht wurde, war genauer als eine Vorhersage, die nur eine Woche im Voraus während des ersten Jahres der Herausforderung gemacht wurde. Dies deutet darauf hin, dass die Teams, während sie mehr Zeit hatten, mehr Daten zum Studieren und bessere Werkzeuge zur Nutzung, tatsächlich besser darin geworden sind, die Zukunft der Grippe zu sehen.
Die Geschichte von COVID-19 war komplizierter und spiegelte die einzigartigen Herausforderungen einer neuen Krankheit wider. In den frühen Tagen der Pandemie, als es fast keine historischen Daten zum Lernen gab, waren die Vorhersagen überraschend gut darin, Fälle und Todesfälle vorherzusagen und die einfachen Baselines zu übertreffen. Doch als sich die Pandemie entwickelte und die Spielregeln änderten sich – etwa als sich die Testmethoden änderten oder Meldesysteme aktualisiert wurden – sank die Genauigkeit der Vorhersagen. Die Modelle hatten Schwierigkeiten, mit diesen plötzlichen Änderungen in der Art und Weise der Datenerhebung Schritt zu halten. Während die Vorhersagen für Krankenhauseinweisungen schließlich Anzeichen von Verbesserung zeigten, wiesen die Prognosen für tägliche Fälle und Todesfälle nicht denselben klaren Aufwärtstrend auf. Dies verdeutlicht eine wichtige Lektion: Vorhersagen funktionieren am besten, wenn die Muster der Krankheit stabil und die Daten konsistent sind. Wenn sich der Boden unter den Modellen verschiebt, haben selbst die klügsten Algorithmen Mühe, den Halt zu finden.
Die Forscher fanden heraus, dass die erfolgreichsten Vorhersagen nicht nur das Ergebnis besserer Mathematik oder schnellerer Computer waren, sondern besserer Daten und dauerhafter Zusammenarbeit. Die Grippevorhersagen profitierten von Jahrzehnten konsistenter Berichterstattung, die es den Modellen ermöglichten, den Rhythmus der Jahreszeiten zu lernen. Im Gegensatz dazu waren die Schwierigkeiten mit den COVID-19-Fallprognosen oft auf Änderungen in der Art und Weise zurückzuführen, wie Fälle gezählt wurden, was eine Verwirrung verursachte, die kein Modell leicht entwirren konnte. Die Studie zeigte auch, dass während die besten kollektiven Vorhersagen sehr stark waren, viele einzelne Teams immer noch Schwierigkeiten hatten, die einfachsten Baselines zu schlagen. Dies deutet darauf hin, dass sich das Feld als Ganzes zwar vorwärts bewegt, aber immer noch eine große Lücke zwischen den besten Modellen und den durchschnittlichen besteht. Der neue Skill-Score-Rahmen bietet eine Möglichkeit, diesen Fortschritt klar zu sehen, indem er die Schwierigkeit der Aufgabe von der Qualität der Vorhersage trennt. Er zeigt, dass die Vorhersage von Infektionskrankheiten eine reifende Wissenschaft ist, die lernt, die chaotische Realität menschlicher Krankheiten zu navigieren, aber er erinnert uns auch daran, dass einige der unvorhersehbarsten Momente in der öffentlichen Gesundheit noch immer unerreichbar bleiben.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.