A Decade of the Center for Disease Control and Prevention's FluSight Influenza Forecasting
Diese Arbeit analysiert ein Jahrzehnt der FluSight Challenge des CDC und zeigt auf, dass Ensemble-Vorhersagen und eine kontinuierliche Beteiligung der Teams konsistent die genauesten Influenza-Prognosen über verschiedene Modelltypen und Saisons hinweg liefern, wodurch der Wert kollaborativer Vorhersagen für die Vorsorge im Bereich der öffentlichen Gesundheit hervorgehoben wird.
Originalarbeit unter CC0 1.0 der Gemeinfreiheit gewidmet (https://creativecommons.org/publicdomain/zero/1.0/). Dies ist eine KI-generierte Erklärung eines Preprints, das nicht peer-reviewed wurde. Dies ist kein medizinischer Rat. Treffen Sie keine Gesundheitsentscheidungen auf Grundlage dieses Inhalts. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, das CDC führt eine massive, zehnjährige „Prognose-Olympiade“ für die Grippe durch. Dieser Wettbewerb namens FluSight Challenge lud Teams aus Wissenschaftlern, Mathematikern und Datenspezialisten von Universitäten, Technologieunternehmen und staatlichen Laboren ein, Computermodelle zu entwickeln, die vorhersagen könnten, wie die Grippesaison ablaufen wird.
Denken Sie an es wie eine Wettervorhersage, aber anstatt Regen und Schnee versuchen diese Teams, den Zeitpunkt und die Intensität von Grippeausbrüchen vorherzusagen. Das Ziel war nicht nur, eine Trophäe zu gewinnen; es ging darum herauszufinden, welche Arten von „Kristallkugeln“ am besten funktionieren, damit Entscheidungsträger im öffentlichen Gesundheitswesen bessere Entscheidungen treffen können, wann sie Impfstoffe versenden oder Krankenhäuser warnen sollen, sich vorzubereiten.
Hier ist, was das Paper nach zehn Jahren Beobachtung dieses Wettbewerbs entdeckt hat:
1. Die „Team-Besprechung“ gewinnt (Ensembles)
Wenn man einen einzelnen Experten nach einer Prognose fragt, könnte er richtig liegen, aber er könnte auch falsch liegen. Die Studie fand jedoch heraus, dass die zuverlässigsten Vorhersagen von Ensembles kamen.
- Die Analogie: Stellen Sie sich vor, Sie versuchen, das Gewicht eines riesigen Kürbisses zu erraten. Wenn Sie eine Person fragen, sagt sie vielleicht 50 Pfund. Eine andere sagt vielleicht 100 Pfund. Aber wenn Sie 20 Leute fragen und den Durchschnitt aller ihrer Schätzungen nehmen, werden Sie mit fast völliger Sicherheit viel näher am tatsächlichen Gewicht liegen.
- Das Ergebnis: Das eigene „Team-Huddle“ des CDC (das FluSight Ensemble), welches einfach die Vorhersagen aller anderen Teams mittelte, schnitt konsequent besser ab als fast jedes einzelne Team für sich genommen. Es war in fast jeder einzelnen Saison ein Top-Performer.
2. Kein einzelnes „magisches Werkzeug“ funktioniert ewig
Lange Zeit fragte man sich: „Gibt es eine spezifische Art von Mathematik, die immer gewinnt?“ Die Antwort lautet nein.
- Die Analogie: Betrachten Sie die verschiedenen Modelltypen wie verschiedene Werkzeuge in einem Werkzeugkasten:
- Statistische Modelle: Wie ein Lineal. Sie schauen auf vergangene Muster (wie die Grippe in früheren Jahren verlief), um die Zukunft zu erraten.
- Mechanistische Modelle: Wie eine Physik-Engine. Sie versuchen zu simulieren, wie sich das Virus tatsächlich von Mensch zu Mensch verbreitet.
- Maschinelles Lernen: Wie ein superschneller Schüler, der tausende Beispiele auswendig lernt, um verborgene Muster zu finden.
- Das Ergebnis: Manchmal funktionierten die „Lineale“ (statistische Modelle) am besten, insbesondere bei der Vorhersage von grippeähnlichen Erkrankungen in Kliniken. Zu anderen Zeiten übernahmen die „Physik-Engine“ oder der „superschnelle Schüler“ die Führung. Es hing ganz von der spezifischen Saison ab. Zum Beispiel, als sich die Daten aufgrund der Pandemie änderten (der Wechsel von Klinikbesuchen zu Krankenhausaufenthalten), änderten sich auch die Werkzeuge, die am besten funktionierten. Es gibt kein einzelnes „bestes“ Werkzeug für jeden Job.
3. Erfahrung zählt (Der „Veteraneneffekt“)
Das Paper fand eine klare Verbindung zwischen der Dauer der Teilnahme eines Teams und dessen Erfolg.
- Die Analogie: Denken Sie an es wie ein Videospiel. Ein neuer Spieler könnte mit der Steuerung und den Regeln kämpfen. Aber ein Spieler, der dasselbe Spiel seit fünf Jahren spielt, kennt die Abkürzungen, versteht die Glitches und weiß, wie man sich anpasst, wenn das Spiel ein Update erhält.
- Das Ergebnis: Teams, die seit vielen Jahren an der Challenge teilgenommen hatten, lieferten im Allgemeinen bessere Vorhersagen als neue Teams. Selbst als sich die Regeln des Spiels änderten (wie etwa beim Wechsel des Fokus von Klinikbesuchen zu Krankenhausaufenthalten), passten sich die „Veteranenteams“ schneller an und schnitten besser ab als Teams, die neu im Spiel waren.
4. Die Pandemie änderte das Spiel
Der Wettbewerb musste während der Saison 2020/21 pausieren, weil die Welt auf COVID-19 fokussiert war. Als er wieder startete, waren die Regeln anders.
- Die Änderung: Vor der Pandemie sagten die Teams voraus, wie viele Menschen in Kliniken krank waren (ILI). Nach der Pandemie mussten sie vorhersagen, wie viele Menschen in Krankenhäusern aufgenommen wurden.
- Das Ergebnis: Dies war ein riesiger Wandel. Das „Lineal“ (statistische Modelle), das auf über 20 Jahren an Klinikdaten basierte, hatte plötzlich nur sehr wenig Daten zu Krankenhausaufenthalten zur Verfügung. Dies erschwerte es einigen Teams, zeigte aber auch, dass der Wettbewerb flexibel genug war, um mit einer völlig neuen Art von Daten umzugehen.
Das Fazit
Nach einem Jahrzehnt dieser „Prognose-Olympiade“ sind die wichtigsten Erkenntnisse:
- Setzen Sie nicht alles auf eine Karte: Die Kombination vieler verschiedener Vorhersagen (ein Ensemble) ist der zuverlässigste Weg, die Grippe vorherzusagen.
- Übung macht den Meister: Teams, die an der Challenge festhalten und aus ihren vergangenen Fehlern lernen, werden im Laufe der Zeit besser.
- Seien Sie bereit, sich anzupassen: Keine einzelne Methode funktioniert für jede Grippesaison. Der beste Ansatz ist es, eine Vielzahl von Werkzeugen bereit zu haben, um das zu bewältigen, was das Virus uns entgegenwirft.
Das Paper kommt zu dem Schluss, dass dieses Jahrzehnt der Zusammenarbeit ein starkes Fundament für die zukünftige Krankheitsvorhersage geschaffen hat, indem bewiesen wurde, dass Wissenschaftler durch Zusammenarbeit und das Teilen ihrer Daten ein viel klareres Bild davon erstellen können, was als Nächstes kommt.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.