Evaluation of Deep Learning Based Early Warning Indicators of Epidemic Outbreaks

Resumo Técnico: Avaliação de Indicadores de Alerta Precoce Baseados em Aprendizagem Profunda para Surtos Epidêmicos

Definição do Problema
Em sistemas epidêmicos, detectar "transições críticas" ou bifurcações — especificamente o ponto onde o número básico de reprodução ($R_0$) cruza 1, mudando uma doença da extinção para a persistência — é vital para a preparação contra surtos. Embora os indicadores estatísticos tradicionais (ex: autocorrelação de lag-1, variância) possam sinalizar o desaceleramento crítico (CSD) próximo a essas transições, eles geralmente falham em prever estados futuros ou classificar o tipo específico de bifurcação (ex: dobra, Hopf, transcritica).

Abordagens recentes de aprendizagem profunda (DL), como as de Bury et al. (treinadas em ODEs genéricas) e Chakraborty/Miry (treinadas em simulações estocásticas baseadas em SIR), mostraram-se promissoras na detecção e classificação de bifurcações. No entanto, esses modelos enfrentam limitações significativas quando aplicados a dados do mundo real:

1. Lacuna de Generalização: Modelos treinados em modelos matemáticos genéricos ou configurações de ruído específicas frequentemente falham em detectar bifurcações em dados epidêmicos do mundo real, caracterizados por níveis variáveis de ruído e fatores demográficos.
2. Falta de Avaliação Rigorosa: Não houve uma avaliação sistemática desses modelos de DL pré-treinados em dados de vigilância do mundo real, em nível estadual, abrangendo múltiplas regiões geográficas.
3. Incerteza Operacional: Permanece incerto como esses modelos performam sob diferentes estratégias de janelamento de dados necessárias para predição online e em tempo real.

Metodologia
Os autores desenvolveram um pipeline abrangente para avaliar modelos existentes de predição de bifurcação via DL pré-treinados em um conjunto de dados curado pelo CDC de internações hospitalares semanais por influenza em todos os 50 estados dos EUA, Washington D.C. e agregados nacionais (julho de 2022 – início de 2025).

• Preparação de Dados:
  • Pré-processamento: Para corresponder aos requisitos de treinamento dos modelos de Bury et al., os autores aplicaram um pipeline de pré-processamento rigoroso: (1) Detrending usando um filtro Lowess (span 0.2) para remover tendências lentas enquanto preserva estruturas de flutuação; (2) Normalização dividindo os resíduos pelo valor absoluto médio do conjunto de dados.
  • Rotulagem da Verdade de Campo (Ground Truth): Como dados consistentes de intervalo serial não estavam disponíveis para estimativa de $R_t$ em nível estadual, os pontos de bifurcação da verdade de campo foram identificados no nível nacional usando o pacote EpyEstim (abordagem de equação de renovação Bayesiana). Para a avaliação em nível estadual, dois intervalos de bifurcação manuais foram definidos com base nas tendências nacionais: Intervalo A (t=108–118) e Intervalo B (t=127–140).
• Modelos Avaliados:
  • Bury et al. (2021): Uma arquitetura CNN-LSTM treinada em 500.000 séries temporais de ODEs genéricas exibindo bifurcações de dobra, Hopf e transcritica.
  • Chakraborty/Miry (2024–2025): Modelos retreinados em simulações estocásticas baseadas em SIR incorporando ruído branco aditivo, ruído ambiental multiplicativo e ruído demográfico.
• Estratégias de Janelamento: O estudo avaliou sistematicamente como os modelos performam sob diferentes estratégias de construção de tensores de entrada para predição online:
  • Janela Rolante (Últimos 100): O método original usando apenas os últimos 100 pontos.
  • Janela Expansiva: A janela cresce desde o início da série até o ponto atual (limitada a 100).
  • Janela Móvel de Comprimento Fixo: Uma janela deslizante de 100 pontos ao longo de toda a série.
  • Janela Rolante Mais Curta: Comprimento de 50 com preenchimento de zeros (zero-padding).
  • Entrada de Multi-Bifurcação: Alimentando janelas que abrangem múltiplos pontos de inflexão.

Principais Resultados
A avaliação revelou que o desempenho do modelo é altamente dependente da estratégia de janelamento e do intervalo de bifurcação específico.

• Métricas de Desempenho: A estratégia de Janela Expansiva (mantendo o contexto histórico completo até o momento atual, limitado a 100 pontos) apresentou o melhor desempenho em todas as métricas:
  • Acurácia: 90,09%
  • Precisão: 72,86%
  • Recall: 96,23%
  • F1 Score: 82,93%
  • Especificidade: 88,05%
• Comparação de Estratégias:
  • A Janela Rolante original (últimos 100 pontos) alcançou acurácia (63,48%) e precisão (17,35%) significativamente menores.
  • Estratégias que expuseram o modelo a múltiplos pontos de bifurcação dentro de um único tensor de entrada geralmente diminuíram a acurácia para intervalos individuais, mas não necessariamente degradaram o desempenho agregado se o primeiro ponto de inflexão fosse suficientemente coberto.
• Discrepância de Intervalo: Os modelos demonstraram alta consistência na detecção da primeira grande bifurcação (Intervalo A), com taxas de verdadeiros positivos de 51/53 localizações. O desempenho caiu no Intervalo B (34/53 localizações), provavelmente porque o tempo da segunda onda variou significativamente por estado, tornando difícil definir uma única janela de avaliação que englobasse todos os picos sem ser excessivamente ampla. Os modelos performaram melhor quando a dinâmica do mundo real se assemelhava de perto à distribuição dos dados de treinamento.

Significância e Alegações
O artigo alega que modelos de detecção de bifurcação baseados em aprendizagem profunda pré-treinados podem generalizar para dados de influenza do mundo real, em nível estadual e são capazes de predição online/em tempo real, desde que a estratégia de janelamento de entrada seja otimizada.

• Importância Contextual: O estudo demonstra que reter o contexto temporal completo da série (via janela expansiva) é superior ao uso de apenas os pontos de dados mais recentes, sugerindo que a "memória" da aproximação do sistema ao ponto de inflexão é crítica para a capacidade de reconhecimento do modelo.
• Viabilidade Operacional: Os achados indicam que esses modelos são adequados para aplicação em vigilância do mundo real, embora os autores notem que os valores de precisão em algumas configurações foram impulsionados por falsos positivos, sugerindo a necessidade de ajuste de limiar (threshold tuning) em implantações operacionais.
• Frameworks Alternativos: O artigo discute brevemente os modelos de Mudança de Regime de Markov (MRS) como um framework promissor para detectar transições epidêmicas, embora uma avaliação comparativa completa seja reservada para trabalhos futuros.

Os autores concluem que, embora esses modelos sejam promissores, sua acurácia é contingente à similaridade entre as dinâmicas de bifurcação do mundo real e os dados de treinamento, e que a seleção cuidadosa da estratégia de janelamento de entrada é essencial para maximizar o desempenho de detecção.