Resumo Técnico: EpiCastBench

Declaração do Problema

A previsão de epidemias tornou-se um pilar fundamental das políticas de saúde pública, contudo, o desenvolvimento de métodos de previsão robustos e generalizáveis é impedido pela falta de benchmarks abrangentes e padronizados. Ao contrário de áreas como visão computacional (ImageNet) ou processamento de linguagem natural (GLUE), o domínio da previsão de epidemias carece de repositórios padronizados em grande escala. Conjuntos de dados existentes são frequentemente univariados, específicos de doenças ou limitados geograficamente, falhando em capturar a diversidade das dinâmicas de transmissão entre diferentes doenças infecciosas e ambientes. Além disso, a ausência de protocolos de avaliação unificados dificulta a comparação justa de modelos ou a avaliação de sua reprodutibilidade em diversos contextos epidemiológicos.

Metodologia

Para abordar essas lacunas, os autores introduzem o EpiCastBench, um framework de benchmarking em grande escala projetado para avaliar modelos de previsão de epidemias multivariados baseados em dados.

Curadoria de Conjuntos de Dados

O framework compreende 40 conjuntos de dados de séries temporais multivariados curados, representando casos de incidência para oito doenças infecciosas: COVID-19, varicela, chikungunya, dengue, influenza, sarampo, tuberculose e Zika. Esses conjuntos de dados abrangem 27 regiões geográficas distintas, capturando variabilidade espacial significativa e diversidade epidemiológica. As características principais dos conjuntos de dados incluem:

• Granularidade Temporal: Frequências diárias, semanais e mensais.
• Comprimento das Séries: Variando de 60 a 2.088 observações, cobrindo tamanhos de amostra pequenos, médios e grandes.
• Dimensionalidade: As contagens de séries variam de 4 a 107, incluindo cenários de alta dimensionalidade e baixa amostragem (por exemplo, 31 províncias na China com apenas 60 passos de tempo).
• Desafios de Dados: Os conjuntos de dados exibem inflação de zeros (períodos prolongados de zero casos), valores ausentes (imputados via Última Observação Carregada para Frente) e níveis variados de esparsidade.

Análise de Características Globais

Os autores utilizaram o pacote tsfeatures em R para analisar oito características globais de séries temporais (tendência, memória longa, não linearidade, não estacionariedade, entropia, sazonalidade, picos e curvatura). Esta análise revelou comportamentos temporais distintos baseados em mecanismos de transmissão:

• Doenças transmitidas pelo ar (por exemplo, COVID-19, sarampo) exibem forte não linearidade e não estacionariedade.
• Doenças transmitidas por vetores (por exemplo, dengue, Zika) mostram picos pronunciados e tendências fortes.
• Doenças transmitidas por contato (por exemplo, varicela) exibem alta entropia e forte sazonalidade.
• Doenças transmitidas por gotículas (por exemplo, influenza) mostram características equilibradas com maior curvatura.

Configuração Experimental

O estudo avalia 15 modelos de previsão em três horizontes (curto prazo, médio prazo e longo prazo) utilizando um protocolo de avaliação de origem fixa. Os modelos abrangem quatro paradigmas:

1. Baselines Estatísticos: Naive (Caminhada Aleatória).
2. Aprendizado de Máquina: DLinear, Random Forest, XGBoost, TSMixer, KAN.
3. Aprendizado Profundo: LSTM, DeepAR, TCN, N-BEATS, N-HiTS, Transformers, TiDE.
4. Modelos de Fundação: Chronos-2 e TimesFM.

A avaliação foi conduzida utilizando métricas independentes de escala (MASE, SMAPE) e métricas dependentes de escala (MAE, RMSE). A significância estatística foi avaliada utilizando o teste de Friedman e o teste de Múltiplas Comparações com o Melhor (MCB).

Principais Resultados

A avaliação empírica produziu várias descobertas críticas sobre o desempenho dos modelos em diferentes tamanhos de conjuntos de dados, tipos de doenças e horizontes de previsão:

• Dominância de Modelos de Fundação: Modelos de fundação, particularmente TimesFM e Chronos-2, demonstraram consistentemente desempenho superior, alcançando os menores erros medianos e as faixas interquartis mais estáveis na maioria dos conjuntos de dados e horizontes. Sua vantagem é atribuída ao pré-treinamento em grande escala, que permite melhor generalização para dinâmicas epidêmicas não vistas.
• Impacto do Horizonte de Previsão:
  • Longo Prazo: Modelos de fundação mostraram a vantagem mais significativa, capturando efetivamente dependências temporais complexas e dinâmicas não estacionárias.
  • Curto Prazo: Modelos clássicos de aprendizado de máquina (por exemplo, KAN, Random Forest, XGBoost) permaneceram competitivos, às vezes superando modelos de aprendizado profundo em conjuntos de dados altamente esparsos ou pequenos.
• Inflação de Zeros e Tamanho da Amostra: O desempenho dos modelos de fundação é modulado pela interação entre inflação de zeros e tamanho da amostra. Embora lidem bem com a esparsidade em conjuntos de dados de tamanho médio a grande, sua vantagem diminui em séries pequenas e altamente infladas por zeros (por exemplo, conjuntos de dados específicos de COVID-19 no Chile), onde métodos de ensemble ocasionalmente performam melhor.
• Dinâmicas Específicas de Doenças:
  • Transmitidas pelo Ar/Gotículas: Modelos de fundação se destacaram devido a tendências estáveis e sazonalidade.
  • Transmitidas por Vetores: O desempenho foi mais variável; modelos como KAN e Random Forest ocasionalmente superaram modelos de fundação na captura de dinâmicas locais abruptas.
  • Transmitidas por Contato: Modelos como TiDE e KAN mostraram forte desempenho na captura de dinâmicas sazonais suaves misturadas com alta variabilidade.
• Significância Estatística: Os testes MCB confirmaram que o desempenho superior dos modelos de fundação é estatisticamente significativo na maioria dos horizontes. No entanto, as diferenças entre os modelos de fundação de melhor desempenho (TimesFM e Chronos-2) frequentemente não foram estatisticamente significativas, indicando um nível robusto de "melhor da classe".

Significado e Contribuições

O artigo reivindica as seguintes contribuições para o campo da previsão de epidemias:

1. Benchmark Padronizado: O EpiCastBench fornece o primeiro benchmark unificado em grande escala para previsão de epidemias multivariada, preenchendo uma lacuna crítica na disponibilidade de conjuntos de dados diversos e de alta qualidade comparáveis aos de outros domínios de IA.
2. Reprodutibilidade e Equidade: Ao estabelecer pipelines de pré-processamento padronizados, configurações de avaliação e protocolos de teste estatístico, o framework permite comparações consistentes e reprodutíveis de novos métodos de previsão contra um conjunto diversificado de baselines.
3. Insights Empíricos: O estudo oferece uma caracterização abrangente de como diferentes arquiteturas de modelos performam sob condições epidemiológicas específicas (por exemplo, inflação de zeros, tamanhos de amostra variados e dinâmicas de transmissão), orientando a seleção e o desenvolvimento futuros de modelos.
4. Recursos Abertos: Todos os conjuntos de dados, códigos e scripts de avaliação estão publicamente disponíveis, fomentando pesquisas adicionais e o desenvolvimento de métodos de previsão de epidemias mais generalizáveis.

Os autores concluem que, embora os modelos de fundação ofereçam atualmente o desempenho mais robusto, as dinâmicas específicas de diferentes doenças e regimes de dados necessitam de exploração contínua de abordagens híbridas e especializadas. Eles identificam direções de trabalho futuro incluindo a extensão para configurações espaço-temporais, a incorporação de previsão probabilística e a integração de princípios epidemiológicos mecanísticos em modelos baseados em dados.