📄 salud pública y global

Quantifying advances in infectious disease forecast skill across seasons and pathogens

Este estudio introduce una novedosa métrica de puntuación de habilidad que compara los pronósticos con los modelos de hindcast y de referencia para demostrar que los pronósticos de conjunto y de equipo para la influenza y el COVID-19 han mejorado generalmente en habilidad durante la última década, a pesar de los resultados mixtos para el COVID-19.

Autores originales: Bay, C., Moghaddas, N. R., Davis, J. T., Borchering, R., Biggerstaff, M., Vespignani, A., Johansson, M. A.

Publicado 2026-10-01

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Bay, C., Moghaddas, N. R., Davis, J. T., Borchering, R., Biggerstaff, M., Vespignani, A., Johansson, M. A.

Artículo original bajo licencia CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ⚕️ Esta es una explicación generada por IA de un preprint que no ha sido revisado por pares. No es consejo médico. No tome decisiones de salud basándose en este contenido. Leer descargo de responsabilidad completo

Imagina intentar predecir el clima dentro de un mes. Conoces los patrones generales de las estaciones, pero la trayectoria específica de una tormenta, el día exacto en que lloverá o con qué fuerza soplará el viento sigue siendo una suposición. El pronóstico de enfermedades infecciosas funciona de manera muy similar. En lugar de nubes y frentes, los científicos rastrean virus y bacterias, utilizando datos sobre cuántas personas se están enfermando, cuántas están en el hospital y cuántas están muriendo. El objetivo es dar un margen de ventaja a los funcionarios de salud pública, permitiéndoles abastecerse de medicinas, preparar camas de hospital y advertir a las comunidades antes de que llegue una ola de enfermedad. Durante más de una década, investigadores en los Estados Unidos han estado llevando a cabo un experimento masivo y colaborativo para ver si pueden mejorar en estas predicciones. Han recopilado miles de pronósticos de docenas de equipos diferentes, que abarcan desde la gripe estacional hasta la pandemia global de COVID-19. Pero una pregunta crítica ha persistido: ¿están estos pronósticos mejorando realmente con el tiempo, o simplemente están dando vueltas en círculos?

Para responder a esto, un equipo de investigadores de la Universidad Northeastern y de los Centros para el Control y la Prevención de Enfermedades desarrolló una nueva forma de medir el éxito. En el pasado, los científicos comparaban los pronósticos utilizando puntuaciones que les indicaban qué modelo era mejor que otro para una semana específica, pero estas puntuaciones eran difíciles de comparar entre diferentes enfermedades o diferentes años. Una puntuación que parecía buena para una temporada de gripe leve podría parecer terrible para un año de pandemia caótico, no porque el modelo hubiera fallado, sino porque la situación en sí misma era más difícil de predecir. Los investigadores necesitaban una regla que pudiera medir el progreso de manera justa, independientemente de lo desordenados que fueran los datos. Crearon una "puntuación de habilidad" (skill score), una métrica que compara cada pronóstico contra dos puntos de referencia específicos. El primero es un "hindcast" (pronóstico retrospectivo), que es una mirada perfecta hacia atrás. Imagina que pudieras ver el futuro y luego escribir exactamente lo que sucedió, teniendo en cuenta todo el ruido y los errores en la recopilación de datos. Esto representa lo mejor que cualquiera podría hacer absolutamente. El segundo punto de referencia es una "línea base" (baseline), una suposición simple que una computadora podría hacer sin ningún modelo complejo. Al medir cuánto mejor es un pronóstico real que una suposición simple, y qué tan cerca está del look-back perfecto, los investigadores finalmente pudieron ver si el campo estaba progresando verdaderamente.

El equipo aplicó este nuevo instrumento de medición a más de 2,5 millones de pronósticos generados durante diez años. Analizaron predicciones para enfermedades similares a la gripe, hospitalizaciones y muertes, así como objetivos similares para el COVID-19. Probaron estos pronósticos contra tres tipos diferentes de líneas base simples: una que solo observaba la historia a largo plazo de la enfermedad, otra que asumía que la próxima semana sería exactamente igual a la semana anterior, y otra que seguía la tendencia reciente de los datos. Los resultados fueron claros para la gripe estacional. El esfuerzo colectivo de todos los equipos de pronóstico, conocido como un ensamble, superó consistentemente a las suposiciones simples. Más importante aún, la habilidad de estos pronósticos mejoró constantemente a lo largo del tiempo. Un pronóstico realizado con cuatro semanas de antelación para la temporada de gripe más reciente fue más preciso que un pronóstico realizado con solo una semana de antelación durante el primer año del desafío. Esto sugiere que, a medida que los equipos han tenido más tiempo para aprender, más datos para estudiar y mejores herramientas para usar, realmente han mejorado en su capacidad de ver el futuro de la gripe.

La historia para el COVID-19 fue más complicada, reflejando los desafíos únicos de una nueva enfermedad. En los primeros días de la pandemia, cuando casi no había datos históricos de los cuales aprender, los pronósticos fueron sorprendentemente buenos para predecir casos y muertes, superando las líneas base simples. Sin embargo, a medida que la pandemia evolucionó y las reglas del juego cambiaron —como cuando los métodos de prueba se transformaron o los sistemas de reporte se actualizaron— la precisión de los pronósticos disminuyó. Los modelos lucharon por mantenerse al día con estos cambios repentinos en la forma en que se recopilaban los datos. Aunque los pronósticos para las hospitalizaciones finalmente mostraron signos de mejora, las predicciones para los casos y muertes diarias no mostraron la misma clara tendencia ascendente. Esto resalta una lección clave: el pronóstico funciona mejor cuando los patrones de la enfermedad son estables y los datos son consistentes. Cuando el suelo se mueve bajo los modelos, incluso los algoritmos más inteligentes luchan por encontrar su equilibrio.

Los investigadores descubrieron que los pronósticos más exitosos no fueron solo el resultado de una mejor matemática o computadoras más rápidas, sino de mejores datos y una colaboración sostenida. Los pronósticos de la gripe se beneficiaron de décadas de reporte consistente, permitiendo que los modelos aprendieran el ritmo de las estaciones. En contraste, las dificultades con las predicciones de casos de COVID-19 estuvieron a menudo ligadas a cambios en la forma en que se contaban los casos, lo que introdujo una confusión que ningún modelo podría desenredar fácilmente. El estudio también reveló que, si bien los mejores pronósticos colectivos eran muy sólidos, muchos equipos individuales todavía luchaban por superar las líneas base más simples. Esto sugiere que, aunque el campo en su conjunto está avanzando, todavía existe una brecha amplia entre los mejores modelos y los promedio. El nuevo marco de puntuación de habilidad proporciona una forma de ver este progreso claramente, separando la dificultad de la tarea de la calidad de la predicción. Muestra que el pronóstico de enfermedades infecciosas es una ciencia en maduración, una que está aprendiendo a navegar la realidad desordenada de la enfermedad humana, pero también nos recuerda que algunos de los momentos más impredecibles de la salud pública permanecen justo fuera de nuestro alcance.

Resumen Técnico: Cuantificación de los Avances en la Capacidad de Pronóstico de Enfermedades Infecciosas a través de Estaciones y Patógenos

Planteamiento del Problema
El pronóstico de enfermedades infecciosas ha evolucionado hacia un esfuerzo colaborativo y formalizado en los Estados Unidos durante la última década, apoyando la preparación de la salud pública para patógenos que incluyen la influenza, el COVID-19, el dengue, el Ébola y el virus del Nilo Occidental. Si bien las métricas de evaluación estandarizadas (como el Intervalo Ponderado o Weighted Interval Score y el puntaje logarítmico) permiten la comparación relativa de modelos en resultados específicos, carecen de la capacidad para evaluar el desempeño a través de diferentes resultados, estaciones y patógenos. Los "puntajes adecuados" (proper scores) actuales son sensibles al ruido inherente y la variabilidad de los datos de vigilancia; por ejemplo, una temporada con picos atípicos o datos más ruidosos arroja peores puntajes que una temporada típica para el mismo modelo. Esta variabilidad confunde la evaluación de si los modelos de pronóstico están mejorando genuinamente con el tiempo. Existe la necesidad de un marco que mida la destreza de pronóstico en relación con puntos de referencia (benchmarks) que den cuenta de la variabilidad específica de cada resultado y el ruido de los datos, permitiendo una evaluación integral del progreso en todo el campo.

Metodología
Para abordar estos desafíos, los autores desarrollaron un novedoso marco de puntaje de destreza (skill score framework) adaptado de la meteorología. Este marco evalúa los pronósticos comparándolos con dos tipos de modelos de referencia: un modelo óptimo (que representa un límite superior) y modelos de referencia (que representan límites inferiores).

Definición del Puntaje de Destreza: El puntaje de destreza ( $SS$ ) se calcula como:
$SS = \frac{S_{modelo} - S_{referencia}}{S_{óptimo} - S_{referencia}}$
Donde $S$ representa una métrica de puntuación (específicamente el Intervalo Ponderado, WIS). Un puntaje de 1 indica un desempeño equivalente al modelo óptimo, 0 indica la ausencia de mejora sobre la referencia, y valores negativos indican un desempeño peor que la referencia.
Modelos de Referencia:
- Modelo Óptimo (Hindcast): En lugar de asumir una predicción perfecta (error cero), los autores modelaron el ruido de observación mediante un hindcast retrospectivo. Este modelo trata los resultados observados como realizaciones ruidosas de una serie temporal, ajustando una distribución binomial negativa (o logit-normal para ILI) a un promedio móvil ponderado de 3 semanas de los datos observados. Esto sirve como un techo idealizado que da cuenta de la variabilidad intrínseca de los datos.
- Modelos de Referencia (Baselines): Se implementaron tres modelos base para servir como estándares de desempeño mínimo, variando en complejidad y uso de datos recientes:
  - Línea Base Naive (Ingenua): Predice observaciones futuras basándose en la distribución completa de todos los datos históricos pasados sin condicionarse a las tendencias recientes. Es independiente del horizonte y captura el comportamiento a largo plazo, pero ignora la estacionalidad y la dinámica reciente.
  - Línea Base de Caminata Aleatoria (Random Walk - RW): Ancla las proyecciones a los datos observados más recientes, con una incertidumbre que se expande según las diferencias de escala logarítmica de las observaciones previas. Asume una probabilidad igual de aumento o disminución.
  - Línea Base de Tendencia: Utiliza un modelo de suavizado exponencial con errores aditivos y una tendencia aditiva amortiguada. Incorpora la trayectoria local de los datos recientes, pero fuerza a que la mediana del pronóstico se estabilice en el tiempo.
Alcance de los Datos: El estudio evaluó retrospectivamente más de 2.5 millones de pronósticos a través de 19 combinaciones de año-estación objetivo que abarcan diez años calendario (2015–2026). Los objetivos incluyeron:
- Influenza: Visitas semanales por enfermedad tipo influenza (ILI) en consulta externa (2015–2020) y hospitalizaciones semanales (2021–2026).
- COVID-19: Casos incidentes semanales (2020–2021), muertes semanales (2020–2022), hospitalizaciones diarias (2021–2023) y hospitalizaciones semanales (2025).
  Los pronósticos fueron generados por equipos de modelado individuales y ensambles sin ponderar a horizontes de 1 a 4 semanas.

Resultados Clave

Desempeño del Ensamble: El ensamble sin ponderar de todos los pronósticos presentados superó a la línea base ingenua en el 99% de las combinaciones de ubicación-estación-resultado. Superó a las líneas base de RW y de tendencia, que son más complejas, en el 84–91% de los casos.
Mejora Temporal:
- Influenza: Se observaron mejoras consistentes en la destreza de los pronósticos de los ensambles y de los equipos a lo largo del tiempo, tanto para los objetivos de ILI como para los de hospitalización. Notablemente, los pronósticos de horizonte de 4 semanas en el año más reciente demostraron mayores puntajes de destreza que los de horizonte de 1 semana en el primer año de los respectivos desafíos.
- COVID-19: Los resultados fueron mixtos. La destreza del ensamble para casos y muertes disminuyó respecto al modelo ingenuo en años posteriores, probablemente debido a cambios en la notificación (por ejemplo, el aumento de las pruebas en casa que desacopla los datos de casos de las métricas de severidad) y la falta de datos históricos durante la fase de emergencia. Sin embargo, los pronósticos de hospitalización diaria mostraron mejoras en horizontes más largos (3–4 semanas).
Sensibilidad de la Línea Base: La elección de la línea base impacta significamente la interpretación. Las líneas base de RW y de tendencia se degradan rápidamente a medida que aumentan los horizontes de pronóstico, mientras que la línea base ingenua permanece relativamente estable. Consecuentemente, los puntajes de destreza relativos a las líneas base de RW/tendencia pueden parecer mejorar en horizontes más largos incluso cuando la precisión absoluta del pronóstico disminuye, porque las líneas base se degradan más rápido que el ensamble. Por lo tanto, la línea base ingenua es crítica para evaluar la destreza a través de los horizontes, mientras que las líneas base de RW y de tendencia proporcionan pruebas más estrictas para la destreza a corto plazo.
Participación de Equipos: La proporción de equipos individuales que superaron los modelos de referencia aumentó con el tiempo para los objetivos de influenza, lo que correlaciona con un mayor número de participantes y contribuye probablemente a la mejora del desempeño del ensamble.

Significancia y Reivindicaciones
El artículo afirma que este marco de puntaje de destreza proporciona una imagen integral del progreso en el pronóstico de enfermedades infecciosas durante la última década. Al normalizar el desempeño frente a puntos de referencia que dan cuenta del ruido de los datos (hindcast) y de niveles variables de complejidad (líneas base), los autores demuestran que:

Las capacidades de pronóstico han mejorado, particularmente para los objetivos de influenza donde la vigilancia estandarizada y los datos históricos son abundantes.
El campo ha ido más allá de la simple extrapolación, con los ensambles superando consistentemente a modelos de base sofisticados que incorporan datos recientes.
El marco permite la comparación de la calidad de los pronósticos entre diferentes patógenos y estaciones, distinguiendo entre una mejora genuina del modelo y los artefactos de la variabilidad de los datos.

Los autores enfatizan que, aunque los pronósticos han mejorado, todavía tienen "amplio margen de mejora", ya que los puntajes de destreza de los ensambles rara vez se acercan al hindcast óptimo (un puntaje de 1). La brecha entre los ensambles actuales y el hindcast refleja la señal que los modelos aún no logran capturar. El estudio concluye que las iniciativas estandarizadas, la mejora en la disponibilidad de datos y la colaboración sostenida han impulsado estos avances, pero la utilidad de los pronósticos sigue siendo contingente de la predictibilidad específica del resultado y la calidad de los datos de vigilancia disponibles.

Más como este