Evaluation of Deep Learning Based Early Warning Indicators of Epidemic Outbreaks

Resumen Técnico: Evaluación de Indicadores de Alerta Temprana Basados en Aprendizaje Profundo para Brotes Epidémicos

Planteamiento del Problema
En los sistemas epidémicos, la detección de "transiciones críticas" o bifurcaciones —específicamente el punto donde el número básico de reproducción ($R_0$) cruza el valor de 1, desplazando una enfermedad de la extinción hacia la persistencia— es vital para la preparación ante brotes. Si bien los indicadores estadísticos tradicionales (por ejemplo, autocorrelación de rezago de orden 1, varianza) pueden señalar un desaceleramiento crítico (CSD, por sus siglas en inglés) cerca de estas transiciones, generalmente fallan al predecir estados futuros o clasificar el tipo específico de bifurcación (por ejemplo, de pliegue, Hopf, transcritica).

Enfoques recientes de aprendizaje profundo (DL), como los de Bury et al. (entrenados en EDO genéricas) y Chakraborty/Miry (entrenados en simulaciones estocásticas basadas en SIR), han mostrado promesa en la detección y clasificación de bifurcaciones. Sin embargo, estos modelos enfrentan limitaciones significativas cuando se aplican a datos del mundo real:

1. Brecha de Generalización: Los modelos entrenados en modelos matemáticos genéricos o configuraciones de ruido específicas suelen fallar al detectar bifurcaciones en datos epidémicos del mundo real caracterizados por niveles de ruido y factores demográficos variables.
2. Falta de Evaluación Rigurosa: No ha habido una evaluación sistemática de estos modelos de DL preentrenados sobre datos de vigilancia del mundo real a nivel estatal que abarquen múltiples regiones geográficas.
3. Incertidumbre Operativa: Sigue sin estar claro cómo estos modelos se desempeñan bajo diferentes estrategias de ventanas de datos requeridas para la predicción en línea y en tiempo real.

Metodología
Los autores desarrollaron un pipeline integral para evaluar modelos de predicción de bifurcación de DL preentrenados sobre un conjunto de datos curado por los CDC de admisiones hospitalarias semanales por influenza en los 50 estados de EE. UU., Washington D.C. y agregados nacionales (julio de 2022 – principios de 2025).

• Preparación de Datos:
  • Preprocesamiento: Para coincidir con los requisitos de entrenamiento de los modelos de Bury et al., los autores aplicaron un pipeline de preprocesamiento estricto: (1) Detendencia mediante un filtro Lowess (span 0.2) para eliminar tendencias lentas preservando las estructuras de fluctuación; (2) Normalización dividiendo los residuos por el valor absoluto de la media del conjunto de datos.
  • Etiquetado de la Verdad de Terreno (Ground Truth): Dado que no se disponía de datos consistentes de intervalo serial para la estimación de $R_t$ a nivel estatal, los puntos de bifurcación de la verdad de terreno se identificaron a nivel nacional utilizando el paquete EpyEstim (enfoque de ecuación de renovación bayesiana). Para la evaluación a nivel estatal, se definieron dos intervalos de bifurcación manuales basados en las tendencias nacionales: Intervalo A (t=108–118) e Intervalo B (t=127–140).
• Modelos Evaluados:
  • Bury et al. (2021): Una arquitectura CNN-LSTM entrenada en 500,000 series temporales de EDO genéricas que exhiben bifurcaciones de pliegue, Hopf y transcritica.
  • Chakraborty/Miry (2024–2025): Modelos reentrenados en simulaciones estocásticas basadas en SIR que incorporan ruido blanco aditivo, ruido ambiental multiplicativo y ruido demográfico.
• Estrategias de Ventana (Windowing): El estudio evaluó sistemáticamente cómo se desempeñan los modelos bajo diferentes estrategias de construcción de tensores de entrada para la predicción en línea:
  • Ventana Rodante (Últimos 100): El método original que utiliza solo los últimos 100 puntos.
  • Ventana Expandible: La ventana crece desde el inicio de la serie hasta el punto actual (limitada a 100).
  • Ventana Móvil de Longitud Fija: Una ventana deslizante de 100 puntos a lo largo de toda la serie.
  • Ventana Rodante más Corta: Longitud de 50 con relleno de ceros (zero-padding).
  • Entrada de Multi-bifurcación: Alimentar ventanas que abarcan múltiples puntos de inflexión.

Resultos Clave
La evaluación reveló que el rendimiento del modelo depende altamente de la estrategia de ventana y de la bifurcación específica.

• Métricas de Desempeño: La estrategia de Ventana Expandible (que retiene todo el contexto histórico de la serie hasta el tiempo actual, limitada a 100 puntos) produjo el mejor desempeño en todas las métricas:
  • Exactitud (Accuracy): 90.09%
  • Precisión (Precision): 72.86%
  • Sensibilidad (Recall): 96.23%
  • Puntuación F1 (F1 Score): 82.93%
  • Especificidad: 88.05%
• Comparación de Estrategias:
  • La Ventana Rodante original (últimos 100 puntos) logró una exactitud (63.48%) y precisión (17.35%) significativamente menores.
  • Las estrategias que expusieron al modelo a múltiples puntos de bifurcación dentro de un solo tensor de entrada generalmente disminuyeron la exactitud para intervalos individuales, pero no necesariamente degradaron el desempeño agregado si el primer punto de inflexión estaba suficientemente cubierto.
• Discrepancia de Intervalos: Los modelos demostraron una alta consistencia en la detección de la primera gran bifurcación (Intervalo A), con tasas de verdaderos positivos de 51/53 ubicaciones. El desempeño cayó en el Intervalo B (34/53 ubicaciones), probablemente porque el tiempo de la segunda ola varió significativamente por estado, lo que dificultó definir una ventana de evaluación única que abarcara todos los picos sin ser demasiado amplia. Los modelos funcionaron mejor cuando la dinámica del mundo real se asemejaba estrechamente a la distribución de los datos de entrenamiento.

Significancia y Reivindicaciones
El artículo sostiene que los modelos de detección de bifurcación de aprendizaje profundo preentrenados pueden generalizarse a los datos de influenza del mundo real a nivel estatal y son capaces de realizar predicción en línea/tiempo real, siempre que se optimice la estrategia de ventana de entrada.

• Importancia Contextual: El estudio demuestra que retener el contexto temporal completo de la serie (mediante una ventana expandible) es superior a utilizar solo los puntos de datos más recientes, lo que sugiere que la "memoria" del acercamiento del sistema al punto de inflexión es crítica para la capacidad de reconocimiento del modelo.
• Viabilidad Operativa: Los hallazgos indican que estos modelos son aptos para su aplicación en la vigilancia del mundo real, aunque los autores señalan que los valores de precisión en algunas configuraciones fueron impulsados por falsos positivos, lo que sugiere la necesidad de un ajuste de umbral en el despliegue operativo.
• Marcos Alternativos: El artículo discute brevemente los modelos de Cambio de Régimen de Markov (MRS) como un marco prometedor para detectar transiciones epidémicas, aunque una evaluación comparativa completa se reserva para trabajos futuros.

Los autores concluyen que, si bien estos modelos muestran promesa, su exactitud está condicionada por la similitud entre las dinámicas de bifurcación del mundo real y los datos de entrenamiento, y que una selección cuidadosa de la estrategia de ventana de entrada es esencial para maximizar el desempeño de la detección.