Resumen Técnico: Comprensión de las Características Clave de los Modelos Fundacionales de Series Temporales en el Pronóstico de Epidemias

Declaración del Problema

El pronóstico preciso a corto plazo de la influenza estacional es una necesidad crítica de salud pública en los Estados Unidos, lo que informa la programación de la vacunación, la dotación de personal hospitalario y la asignación de recursos. Si bien las iniciativas CDC FluSight y COVID-19 Forecast Hub han establecido puntos de referencia concretos para el pronóstico de epidemias, el rendimiento de los modelos fundacionales (FM) de series temporales modernos y de los enfoques basados en modelos de lenguaje de gran escala (LLM) en datos operativos de enfermedades infecciosas sigue estando insuficientemente caracterizado.

Las evaluaciones existentes de los FM de series temporales en epidemiología sufren de cuatro limitaciones primarias:

1. Alcance de los Datos: A menudo dependen de series temporales únicas a nivel nacional con un historial limitado, fallando en capturar patrones regionales multiestacionales esenciales para la planificación en el mundo real.
2. Generalización: La generalización espacial (transferencia entre regiones con diferentes demografías y prácticas de reporte) rara vez se pone a prueba.
3. Diseño Experimental: Muchos estudios utilizan horizontes ad-hoc (por ejemplo, 24–60 semanas) que divergen de los objetivos operativos de 1 a 4 semanas de la CDC e ignoran las revisiones de datos (backfill).
4. Inconsistencia: Los procesos de datos y las líneas base heterogéneas dificultan la distinción entre avances genuinos de modelado y artefactos de preprocesamiento.

Este artículo aborda estas brechas mediante la realización de una evaluación sistemática del pronóstico regional de la influenza bajo restricciones realistas de salud pública, comparando redes neuronales clásicas, modelos numéricos basados en transformadores y enfoques basados en modelos fundacionales de series temporales y LLM.

Metodología

Datos y Regímenes de Generalización

El estudio utiliza datos de series temporales semanales a nivel de región de los Servicios de Salud y Humanos (HHS) de EE. UU. (10 regiones) que abarcan aproximadamente 20 años para la enfermedad similar a la influenza (ILI) y tres temporadas para las hospitalizaciones asociadas con la influenza.

• Generalización Temporal: Los modelos se entrenan en segmentos anteriores de una región específica y se evalúan en rangos de tiempo posteriores y disjuntos dentro de la misma región.
• Generalización Espacial: Los modelos se entrenan en un subconjunto de regiones y se evalúan en regiones completamente no vistas para probar la transferencia geográfica.
• Fuentes de Preentrenamiento: Para evaluar la transferencia entre dominios, los modelos fueron preentrenados en diversos corpora, incluyendo:
  • Datos Semanales de Epidemias: Conteos de muertes por COVID-19.
  • TrafficL: Ocupación de carriles de tráfico de alta frecuencia.
  • M4: Un benchmark grande y heterogéneo de aproximadamente 100,000 series univariantes.
  • Datos de Hospitalización: Utilizados como una señal mecánicamente relacionada.

Configuración Experimental

• Horizontes: 1 a 4 semanas de antelación, alineados con los objetivos operativos de la CDC.
• Métricas: Error Cuadrático Medio (MSE) y Eficiencia de Nash–Sutcliffe Normalizada (NNSE).
• Modelos Evaluados: 17 modelos de pronóstico profundo, incluyendo:
  • Modelos de Patrones: PatchTST, iTransformer, TFT, TiDE, TCN, LSTM (iterativo y directo).
  • Modelos Fundacionales: Variantes de Chronos, TimesNet, TimeLLM.
  • Arquitectura Propuesta: MultiFoundationCore (MFC), un modelo de Mezcla de Expertos (MoE) que fusiona múltiples pronosticadores preentrenados.
• Ablaciones: El estudio investiga el impacto de las fuentes de preentrenamiento, el uso de señales auxiliares (hospitalización como entrada vs. preentrenamiento), la frecuencia de reentrenamiento y la longitud de los datos históricos.

Principales Contribuciones

1. Benchmarking Sistemático: Los autores proporcionan la primera evaluación sistemática de los modelos fundacionales de series temporales para el pronóstico tanto de ILI como de hospitalizaciones bajo regímenes explícitos de generalización temporal y espacial utilizando objetivos de horizontes múltiples de 1 a 4 semanas.
2. Comparación de Arquitecturas: Una comparación controlada a través de familias de modelos revela que las estrategias de Mezcla de Expertos (MoE), específicamente el modelo MultiFoundationCore (MFC), logran el rendimiento general más sólido. El MFC fusiona múltiples pronosticadores preentrenados, aprovechando representaciones heterogéneas para proporcionar información predictiva complementaria.
3. Perspectivas de Preentrenamiento: El estudio demuestra que el preentrenamiento proporciona las mayores ganancias en horizontes más largos (semanas 3–4), particularmente cuando el dominio de preentrenamiento está mecánicamente alineado con la dinámica de la influenza (por ejemplo, los datos de hospitalización). Los grandes corpora genéricos (M4) también ofrecen beneficios significativos para la estabilidad a largo plazo.
4. Limitaciones de los LLM: El documento encuentra que los métodos de series temporales basados en LLM (por ejemplo, TimeLLM, Chronos) rinden por debajo de los modelos numéricos en este entorno. Los autores atribuyen esto a desajustes arquitectónicos donde la tokenización de estilo lingüístico no logra preservar la estructura numérica continua (amplitud, pendiente, fase) que es crítica para el pronóstico de epidemias a corto horizonte.
5. Análisis de Señales Auxiliares: La investigación clarifica la utilidad de los datos de hospitalización, mostrando que mejora los pronósticos tanto como fuente de preentrenamiento como covariable auxiliar, siendo el preentrenamiento el que genera las ganancias más consistentes a través de los horizontes.

Resultados

Evaluación Temporal (Dentro de la Región)

• Rendimiento Superior: MultiFoundationCore logró el mejor rendimiento promedio general (MSE = 0.382, NNSE = 0.864), superando a todas las líneas base individuales.
• Modelos Numéricos vs. LLM: Los modelos de transformadores numéricos (PatchTST, iTransformer) superaron significativamente a los enfoques basados en LLM. Por ejemplo, la mejor configuración de Chronos promedió un MSE de 0.683, mientras que PatchTST (sin preentrenamiento) alcanzó 0.439.
• Impacto del Preentrenamiento: El preentrenamiento mejoró consistentemente los modelos numéricos. PatchTST preentrenado con datos de Hospitalización alcanzó un MSE de 0.412, y con datos de M4 un MSE de 0.415, comparado con el 0.439 de la línea base. Los beneficios del preentrenamiento fueron más pronunciados en el horizonte de 4 semanas.
• Estrategia: Los modelos de pronóstico de salida múltiple directa generalmente superaron a los modelos iterativos en horizontes más largos, ya que los enfoques iterativos sufrían de acumulación de errores.

Evaluación Espacial (Entre Regiones)

• Generalización: Los modelos generalmente funcionaron mejor bajo divisiones temporales que bajo divisiones espaciales, probablemente debido a la diversidad limitada de las 10 regiones de la HHS.
• Mejor Realizador: En el entorno espacial, PatchTST fue el modelo individual con mejor desempeño (MSE promedio = 0.449, NNSE = 0.848), seguido por TFT y LSTM.
• Desempeño de los LLM: Los modelos basados en LLM (TimeLLM) continuaron rindiendo por debajo de los modelos numéricos en la generalización espacial, reforzando la dificultad de transferir los sesgos de estilo de lenguaje a contextos geográficos no vistos.

Señales Auxiliares y Reentrenamiento

• Datos de Hospitalización: El uso de datos de hospitalización como fuente de preentrenamiento para el pronóstico de ILI redujo el MSE significativamente (por ejemplo, el MSE de TFT cayó de 0.428 a 0.346). Usarlo como flujo de entrada también ayudó, particularmente para historias cortas de ILI.
• Reentrenamiento: Un reentrenamiento más frecuente (cada 10 pasos frente a 200) produjo ganancias consistentes, aunque con rendimientos decrecientes, en la precisión, lo que sugiere que existe un equilibrio práctico entre el costo computacional y el rendimiento predictivo.
• Pronóstico de Hospitalización: Para el conjunto de datos de hospitalización, más corto y ruidoso, una línea base compacta de TinyLSTM funcionó sorprendentemente bien, superando a los grandes modelos fundacionales cuando no se usaban datos auxiliares. Sin embargo, MultiFoundationCore aún logró el error total más bajo (MSE = 0.00224) al fusionar las covariables de ILI.

Significado y Reivindicaciones

El artículo pretende proporcionar orientación accionable para la selección de modelos y la estrategia en la vigilancia de la influenza:

• Selección de Modelos: Para el pronóstico operativo de 1 a 4 semanas, los marcos de Mezcla de Expertos que fusionan expertos numéricos preentrenados son superiores a los enfoques de un solo modelo.
• Estrategia de Preentrenamiento: El preentrenamiento es más beneficioso para horizontes más largos y es más efectivo cuando el dominio de origen está mecánicamente relacionado con el objetivo (por ejemplo, la hospitalización para la ILI).
• Precaución con los LLM: Las afirmaciones de que los LLM reprogramados superan decisivamente a los modelos numéricos especializados no están respaldadas en entornos de epidemias realistas, de múltiples regiones y de corto horizonte. La naturaleza numérica continua de los datos epidémicos requiere sesgos inductivos que las arquitecturas de estilo de lenguaje actualmente carecen.
• Utilidad de los Datos: Los registros de vigilancia a largo plazo y las señales auxiliares mecánicamente vinculadas (como las hospitalizaciones) son críticos para un pronóstico robusto de múltiples horizontes.

Los autores enfatizan que su trabajo es un estudio sistemático del comportamiento de pronóstico más que un sistema operativo en tiempo real. Liberan el código, los datos y los puntos de control preentrenados para servir como un banco de pruebas reutilizable para futuras investigaciones en el pronóstico de epidemias con modelos fundacionales de series temporales.