📄 saúde pública e global

Quantifying advances in infectious disease forecast skill across seasons and pathogens

Este estudo introduz uma nova métrica de pontuação de habilidade comparando previsões contra benchmarks de hindcast e de linha de base para demonstrar que as previsões de conjunto e de equipe para influenza e COVID-19 melhoraram geralmente em habilidade ao longo da última década, apesar de resultados mistos para a COVID-19.

Autores originais: Bay, C., Moghaddas, N. R., Davis, J. T., Borchering, R., Biggerstaff, M., Vespignani, A., Johansson, M. A.

Publicado 2026-10-01

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Bay, C., Moghaddas, N. R., Davis, J. T., Borchering, R., Biggerstaff, M., Vespignani, A., Johansson, M. A.

Artigo original sob licença CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ⚕️ Esta é uma explicação gerada por IA de um preprint que não foi revisado por pares. Não é aconselhamento médico. Não tome decisões de saúde com base neste conteúdo. Ler aviso legal completo

Imagine tentar prever o tempo daqui a um mês. Você conhece os padrões gerais das estações, mas o caminho específico de uma tempestade, o dia exato em que choverá ou a força com que o vento soprará permanecem um palpite. A previsão de doenças infecciosas funciona de forma muito semelhante. Em vez de nuvens e frentes, os cientistas rastreiam vírus e bactérias, usando dados sobre quantas pessoas estão ficando doentes, quantas estão hospitalizadas e quantas estão morrendo. O objetivo é dar uma vantagem inicial aos órgãos de saúde pública, permitindo que estoquem medicamentos, preparem leitos hospitalares e alertem as comunidades antes que uma onda de enfermidades atinja a população. Por mais de uma década, pesquisadores nos Estados Unidos têm conduzindo um experimento colaborativo massivo para ver se conseguem melhorar nessas previsões. Eles reuniram milhares de previsões de dezenas de equipes diferentes, abrangendo desde a gripe sazonal até a pandemia global de COVID-19. Mas uma questão crítica pairava: essas previsões estão realmente melhorando ao longo do tempo ou estão apenas patinando no mesmo lugar?

Para responder a isso, uma equipe de pesquisadores da Northeastern University e dos Centros de Controle e Prevenção de Doenças (CDC) desenvolveu uma nova maneira de medir o sucesso. No passado, os cientistas comparavam previsões usando pontuações que diziam qual modelo era melhor que outro para uma semana específica, mas essas pontuações eram difíceis de comparar entre diferentes doenças ou diferentes anos. Uma pontuação que parecia boa para uma temporada de gripe suave poderia parecer terrível para um ano de pandemia caótico, não porque o modelo falhou, mas porque a situação em si era mais difícil de prever. Os pesquisadores precisavam de uma régua que pudesse medir o progresso de forma justa, independentemente de quão desordenados fossem os dados. Eles criaram um "índice de habilidade" (skill score), uma métrica que compara cada previsão contra dois pontos de referência específicos. O primeiro é um "hindcast", que é um olhar retrospectivo perfeito. Imagine se você pudesse ver o futuro e então anotar exatamente o que aconteceu, levando em conta todo o ruído e os erros na coleta de dados. Isso representa o absoluto melhor que alguém poderia fazer. O segundo ponto de referência é um "baseline" (linha de base), um palpite simples que um computador poderia fazer sem qualquer modelagem complexa. Ao medir o quanto uma previsão real é melhor do que um palpite simples, e o quão próxima ela chega do olhar retrospectivo perfeito, os pesquisadores puderam finalmente ver se o campo estava verdadeiramente avançando.

A equipe aplicou essa nova régua de medição a mais de 2,5 milhões de previsões geradas ao longo de dez anos. Eles analisaram previsões para doenças semelhantes à gripe, hospitalizações e mortes, bem como alvos semelhantes para a COVID-19. Testaram essas previsões contra três tipos diferentes de baselines simples: um que apenas olhava para o histórico de longo prazo da doença, um que assumia que a próxima semana seria exatamente igual à semana anterior e um que seguia a tendência recente dos dados. Os resultados foram claros para a gripe sazonal. O esforço coletivo de todas as equipes de previsão, conhecido como um ensemble, superou consistentemente os palpites simples. Mais importante, a habilidade dessas previsões melhorou continuamente ao longo do tempo. Uma previsão feita com quatro semanas de antecedência para a temporada de gripe mais recente foi mais precisa do que uma previsão feita com apenas uma semana de antecedência durante o primeiro ano do desafio. Isso sugere que, à medida que as equipes tiveram mais tempo para aprender, mais dados para estudar e melhores ferramentas para usar, elas genuinamente melhoraram sua capacidade de prever o futuro da gripe.

A história para a COVID-19 foi mais complicada, refletindo os desafios únicos de uma nova doença. Nos primeiros dias da pandemia, quando quase não havia dados históricos para aprender, as previsões foram surpreendentemente boas ao prever casos e mortes, superando os baselines simples. No entanto, conforme a pandemia evoluiu e as regras do jogo mudaram — como quando os métodos de testagem mudaram ou os sistemas de notificação foram atualizados — a precisão das previsões caiu. Os modelos tiveram dificuldade em acompanhar essas mudanças repentinas na forma como os dados eram coletados. Embora as previsões para hospitalizações tenham eventualmente mostrado sinais de melhora, as previsões para casos e mortes diárias não apresentaram a mesma tendência clara de ascensão. Isso destaca uma lição fundamental: a previsão funciona melhor quando os padrões da doença são estáveis e os dados são consistentes. Quando o chão se move sob os modelos, até os algoritmos mais inteligentes lutam para encontrar seu equilíbrio.

Os pesquisadores descobriram que as previsões mais bem-sucedidas não eram apenas resultado de matemática melhor ou computadores mais rápidos, mas de melhores dados e colaboração contínua. As previsões da gripe beneficiaram-se de décadas de relatórios consistentes, permitindo que os modelos aprendessem o ritmo das estações. Em contraste, as dificuldades com as previsões de casos de COVID-19 estavam frequentemente ligadas a mudanças na forma como os casos eram contados, o que introduzia uma confusão que nenhum modelo conseguiria desvendar facilmente. O estudo também revelou que, embora as melhores previsões coletivas fossem muito fortes, muitas equipes individuais ainda tinham dificuldade em superar os baselines mais simples. Isso sugere que, embora o campo como um todo esteja avançando, ainda existe um grande abismo entre os melhores modelos e os médios. O novo framework de índice de habilidade fornece uma maneira de ver esse progresso claramente, separando a dificuldade da tarefa da qualidade da previsão. Ele mostra que a previsão de doenças infecciosas é uma ciência em amadurecimento, que está aprendendo a navegar na realidade complexa das doenças humanas, mas também nos lembra que alguns dos momentos mais imprevisíveis da saúde pública permanecem fora de nosso alcance.

Resumo Técnico: Quantificando os Avanços na Habilidade de Previsão de Doenças Infecciosas entre Estações e Patógenos

Declaração do Problema
A previsão de doenças infecciosas evoluiu para um esforço colaborativo e formalizado nos Estados Unidos ao longo da última década, apoiando a preparação para a saúde pública de patógenos incluindo influenza, COVID-19, dengue, Ebola e vírus do Nilo Ocidental. Embora métricas de avaliação padronizadas (como o Weighted Interval Score e o escore logarítmico) permitam a comparação relativa de modelos em resultados específicos, elas carecem de capacidade para avaliar o desempenho através de diferentes resultados, estações e patógenos. Os "escores adequados" (proper scores) atuais são sensíveis ao ruído inerente e à variabilidade dos dados de vigilância; por exemplo, uma temporada com picos atípicos ou dados mais ruidosos gera escores piores do que uma temporada típica para o mesmo modelo. Essa variabilidade confunde a avaliação de se os modelos de previsão estão genuinamente melhorando ao longo do tempo. Há uma necessidade de um framework que meça a habilidade de previsão em relação a benchmarks que levem em conta a variabilidade específica do resultado e o ruído dos dados, permitindo uma avaliação abrangente do progresso em todo o campo.

Metodologia
Para enfrentar esses desafios, os autores desenvolveram um novo framework de escore de habilidade adaptado da previsão meteorológica. Este framework avalia previsões comparando-as a dois tipos de modelos de referência: um modelo ótimo (representando um limite superior) e modelos de referência (representando limites inferiores).

Definição do Escore de Habilidade: O escore de habilidade ( $SS$ ) é calculado como:
$SS = \frac{S_{modelo} - S_{referência}}{S_{ótimo} - S_{referência}}$
Onde $S$ representa uma métrica de pontuação (especificamente o Weighted Interval Score, WIS). Um escore de 1 indica desempenho equivalente ao modelo ótimo, 0 indica nenhuma melhoria sobre o modelo de referência, e valores negativos indicam desempenho pior que a referência.
Modelos de Referência (Benchmarks):
- Modelo Ótimo (Hindcast): Em vez de assumir uma previsão perfeita (erro zero), os autores modelaram o ruído de observação usando um hindcast retrospectivo. Este modelo trata os resultados observados como realizações ruidosas de uma série temporal, ajustando uma distribuição binomial negativa (ou logit-normal para ILI) a uma média móvel ponderada de 3 semanas dos dados observados. Isso serve como um teto idealizado que considera a variabilidade intrínseca dos dados.
- Modelos de Referência (Baselines): Três modelos de base foram implementados para servir como padrões mínimos de desempenho, variando em complexidade e uso de dados recentes:
  - Baseline Ingênuo (Naïve): Prevê observações futuras com base na distribuição completa de todos os dados históricos passados sem condicionamento às tendências recentes. É independente de horizonte e captura o comportamento de longo prazo, mas ignora a sazonalidade e a dinâmica recente.
  - Baseline de Caminhada Aleatória (Random Walk - RW): Ancorar projeções aos dados observados mais recentes, com a incerteza expandindo-se com base nas diferenças de escala logarítmica das observações anteriores. Assume probabilidade igual de aumento ou diminuição.
  - Baseline de Tendência (Trend): Utiliza um modelo de suavização exponencial com erros aditivos e uma tendência aditiva amortecida. Incorpora a trajetória local dos dados recentes, mas força a mediana da previsão a estabilizar ao longo do tempo.
Escopo de Dados: O estudo avaliou retrospectivamente mais de 2,5 milhões de previsões em 19 combinações de ano-estação alvo ao longo de dez anos calendários (2015–2026). Os alvos incluíram:
- Influenza: Visitas semanais por Síndrome Gripal (ILI) ambulatorial (2015–2020) e hospitalizações semanais (2021–2026).
- COVID-19: Casos incidentes semanais (2020–2021), mortes semanais (2020–2022), hospitalizações diárias (2021–2023) e hospitalizações semanais (2025).
  Os modelos foram gerados por equipes de modelagem individuais e ensembles não ponderados em horizontes de 1 a 4 semanas.

Principais Resultados

Desempenho do Ensemble: O ensemble não ponderado de todas as previsões submetidas superou o baseline ingênuo em 99% das combinações de localização-estação-resultado. Superou os baselines mais complexos de RW e tendência em 84–91% dos casos.
Melhoria Temporal:
- Influenza: Melhorias consistentes na habilidade do ensemble e das previsões das equipes foram observadas ao longo do tempo para os alvos de ILI e hospitalização. Notavelmente, previsões de horizonte de 4 semanas no ano mais recente demonstraram escores de habilidade mais altos do que previsões de horizonte de 1 semana no primeiro ano dos respectivos desafios.
- COVID-19: Os resultados foram mistos. A habilidade do ensemble para casos e mortes declinou em relação ao modelo ingênuo em anos posteriores, provavelmente devido a mudanças no reporte (ex: aumento de testes em casa desacoplando os dados de casos das métricas de gravidade) e à falta de dados históricos durante a fase de emergência. No entanto, as previsões de hospitalização diária mostraram melhoria em horizontes mais longos (3–4 semanas).
Sensibilidade do Baseline: A escolha do baseline impacta significativamente a interpretação. Os baselines de RW e tendência degradam rapidamente conforme o horizonte de previsão aumenta, enquanto o baseline ingênuo permanece relativamente estável. Consequentemente, os escores de habilidade em relação aos baselines de RW/tendência podem parecer melhorar em horizontes mais longos, mesmo quando a precisão absoluta da previsão diminui, porque os baselines degradam mais rápido que o ensemble. O baseline ingênuo é, portanto, crítico para avaliar a habilidade entre horizontes, enquanto os baselines de RW e tendência fornecem testes mais rigorosos para a habilidade de curto prazo.
Participação das Equipes: A proporção de equipes individuais superando os modelos de referência aumentou ao longo do tempo para os alvos de influenza, correlacionando-se com o aumento da participação e contribuindo provavelmente para a melhoria do desempenho do ensemble.

Significância e Alegações
O artigo alega que este framework de escore de habilidade fornece uma visão abrangente do progresso na previsão de doenças infecciosas ao longo da última década. Ao normalizar o desempenho contra benchmarks que consideram o ruído dos dados (hindcast) e níveis variados de complexidade (baselines), os autores demonstram que:

As capacidades de previsão melhoraram, particularmente para alvos de influenza onde a vigilância padronizada e os dados históricos são abundantes.
O campo avançou além da simples extrapolação, com ensembles superando consistentemente modelos de base sofisticados que incorporam dados recentes.
O framework permite a comparação da qualidade das previsões entre diferentes patógenos e estações, distinguindo entre a melhoria real do modelo e artefatos da variabilidade dos dados.

Os autores enfatizam que, embora as previsões tenham melhorado, elas ainda têm "amplo espaço para melhoria", pois o escore de habilidade do ensemble raramente se aproxima do hindcast ótimo (um escore de 1). A lacuna entre os ensembles atuais e o hindcast reflete o sinal que os modelos ainda não estão capturando. O estudo conclui que iniciativas padronizadas, melhor disponibilidade de dados e colaboração sustentada impulsionaram esses avanços, mas a utilidade das previsões continua dependente da previsibilidade específica do resultado e da qualidade dos dados de vigilância disponíveis.

Mais como este