A Decade of the Center for Disease Control and Prevention's FluSight Influenza Forecasting

Resumen Técnico: Una década de pronósticos de influenza de CDC FluSight

Planteamiento del problema
El pronóstico de enfermedades infecciosas es esencial para la conciencia situacional de la salud pública, informando las estrategias de comunicación y guiando la toma de decisiones con respecto a la vigilancia y la asignación de recursos. Desde 2013, los Centros para el Control y la Prevención de Enfermedades (CDC) han operado el Desafío FluSight, una plataforma colaborativa diseñada para evaluar modelos de pronóstico de influenza, fomentar la colaboración intersectorial y mejorar la utilidad de los pronósticos. A lo largo de una década, el desafío ha navegado cambios significativos en las necesidades de salud pública, la disponibilidad de datos y los enfoques de modelado, incluyendo una transición importante de la predicción de la actividad de la enfermedad similar a la influenza (ILI, por sus siglas en inglés) a la predicción de ingresos hospitalarios confirmados por laboratorio tras las interrupciones de la pandemia de COVID-19. A pesar de la acumulación de diez años de datos de pronósticos, existía la necesidad de analizar sistemáticamente el desempeño de diversos tipos de modelos, la eficacia de los enfoques de ensamble y el impacto de la experiencia de los equipos a través de estas temporadas en evolución.

Metodología
Este estudio analizó diez años de pronósticos enviados al Desafío FluSight, cubriendo las temporadas 2014/15 a 2019/20 (centradas en ILI) y las temporadas 2021/22 a 2024/25 (centradas en ingresos hospitalarios). Se excluyó la temporada 2013/14 debido a diferencias sustanciales en los formatos de envío y las metodologías de puntuación.

• Datos y objetivos:
  • Temporadas de ILI: Los pronósticos se centraron en la semana de inicio, el tiempo de pico, la intensidad del pico y los porcentajes de ILI con 1 a 4 semanas de antelación a nivel nacional y a nivel regional del Departamento de Salud y Servicios Humanos (HHS).
  • Temporadas de ingresos hospitalarios: Los pronósticos se centraron en los ingresos hospitalarios confirmados por laboratorio con 1 a 4 semanas de antelación a nivel nacional, estatal, D.C. y Puerto Rico, utilizando datos de la Red Nacional de Seguridad de la Salud (NHSN).
• Clasificación de modelos: Los modelos enviados se categorizaron en cinco tipos según su metodología: Estadísticos, Mecanicistas, Aprendizaje Automático (ML), Híbridos Estadísticos/Mecanicistas y Ensambles de FluSight. Los modelos se clasificaron además como "ensamble" (que combina múltiples modelos) o "individuales".
• Métricas de desempeño:
  • Temporadas de ILI: Se evaluaron mediante la puntuación logarítmica exponentiada (métrica de habilidad), donde valores más altos indican un mejor desempeño.
  • Temporadas de ingresos hospitalarios: Se evaluaron mediante la puntuación de Intervalo Ponderado relativo transformado logarítmicamente (rWIS), donde valores más bajos indican un mejor desempeño.
• Análisis estadístico: El estudio empleó pruebas de rango suma de Wilcoxon para comparar el desempeño entre tipos de modelos (Estadísticos, Mecanicistas, ML, Híbridos) y entre modelos de ensamble frente a modelos individuales. La correlación de rango de Spearman evaluó la relación entre el número de años que un equipo participó y la precisión del pronóstico. Los análisis se realizaron por separado para los períodos de ILI y de ingresos hospitalarios para tener en cuenta las diferentes metodologías de puntuación y las características de los datos.

Contribuciones clave y resultados

• Variabilidad del desempeño de los modelos: Ningún tipo de modelo único superó consistentemente a otros en todas las temporadas. En las temporadas de ILI, los modelos estadísticos y los híbridos estadísticos/mecanicistas generalmente superaron a los modelos mecanicistas (p < 0.05), con los modelos estadísticos mostrando una superioridad significativa en temporadas específicas (por ejemplo, 2018/19, 2019/20). Sin embargo, en las temporadas de ingresos hospitalarios, no se observaron diferencias significativas de desempeño entre los tipos de modelos, probablemente debido a la escasez de datos históricos de entrenamiento para el nuevo conjunto de datos de la NHSN y la temporalidad atípica de las temporadas recientes.
• Superioridad de los ensambles: Los pronósticos de ensamble demostraron un mejor desempeño general de manera consistente en comparación con los modelos individuales. En las temporadas de ILI, los modelos de ensamble superaron significativamente a los modelos individuales (p < 0.001). El ensamble oficial de la CDC FluSight se posicionó entre los pronósticos con mejor desempeño cada año que fue incluido, apareciendo en los cinco primeros puestos en ocho de las nueve temporadas.
• Impacto del historial de participación: Se encontró una correlación positiva entre la precisión del pronóstico y el número de años que un equipo participó en el Desafío. Los equipos con experiencia previa en FluSight (específicamente aquellos con experiencia en el pronóstico de ILI) tuvieron un desempeño significativamente mejor en las temporadas de ingresos hospitalarios que los equipos sin experiencia previa en FluSight (p = 0.0003). Se observaron correlaciones estadísticamente significativas entre los años de participación y el desempeño en seis temporadas individuales y en los análisis agrupados.
• Evolución del Desafío: El estudio documenta la evolución del desafío, incluyendo la introducción de formatos estandarizados, la transición hacia envíos basados en cuantiles y la adopción de los estándares de Hubverse. El número de equipos y modelos participantes aumentó generalmente con el tiempo, con un notable incremento de los modelos de aprendizaje automático en las temporadas posteriores.

Significancia
El artículo concluye que el Desafío FluSight ha proporcionado un repositorio único y a largo plazo para comprender la evolución del pronóstico de enfermedades infecciosas. Los hallazgos subrayan la robustez de los enfoques de ensamble, los cuales mitigan la variabilidad de los modelos individuales a través de diferentes contextos epidemiológicos. Además, los resultados resaltan el valor del compromiso sostenido, sugiriendo que la acumulación de experiencia y el refinamiento iterativo de las técnicas de modelado por parte de los equipos participantes conducen a una mayor precisión en los pronósticos. El estudio enfatiza que, si bien ningún paradigma de modelado es universalmente superior, la capacidad de adaptarse a paisajes de datos cambiantes (como la transición de ILI a ingresos hospitalarios) y la evaluación continua de los pronósticos son críticos para mejorar la preparación de la salud pública. Estos conocimientos sirven para guiar futuros esfuerzos de pronóstico de enfermedades infecciosas y apoyar una toma de decisiones más efectiva.