Horizon-dependent forecast ranking under structural change: a rolling-origin benchmark for global COVID-19 incidence

Este estudo demonstra que, sob condições de mudança estrutural nos dados de incidência global de COVID-19, a classificação dos modelos de previsão é fortemente dependente do horizonte temporal, onde modelos de base simples como "drift" e "naive" sazonal frequentemente superam métodos estatísticos mais complexos, destacando a necessidade de avaliações de rolagem específicas para cada horizonte.

O essencial

Imagine que você é um meteorologista tentando prever o tempo para os próximos dias. Mas, em vez de ter um céu estável, você está tentando prever o clima em um planeta onde o tempo muda de sol para tempestade, e depois para neve, tudo em questão de horas. Além disso, os instrumentos que medem a chuva estão sendo trocados e melhorados o tempo todo.

É exatamente esse o desafio que os autores deste estudo enfrentaram ao tentar prever a quantidade de novos casos de COVID-19 no mundo todo durante o início da pandemia.

Aqui está a explicação do que eles descobriram, usando analogias simples:

1. O Problema: O "Céu" Mudou de Cor

A pandemia não foi uma linha reta. Ela teve fases: começou devagar, explodiu rapidamente, estabilizou e mudou de novo. Além disso, no começo, poucos países reportavam dados, e depois quase todos começaram a reportar. Isso significa que os números mudavam não só porque o vírus mudava, mas porque a "lupa" (a coleta de dados) estava ficando mais forte.

Os pesquisadores queriam saber: Qual é a melhor ferramenta para prever o futuro em um cenário tão caótico?

2. As Ferramentas (Os Modelos)

Eles testaram várias "ferramentas" de previsão, que podemos imaginar como diferentes tipos de navegadores:

• O "Naive" (O Otimista Teimoso): Adivinha que amanhã será exatamente igual a hoje.
• O "Seasonal Naive" (O Calendário): Adivinha que amanhã será igual ao mesmo dia da semana passada (ex: segunda-feira será igual à segunda-feira anterior).
• O "Drift" (O Adivinho de Tendência): Olha para a direção geral. Se os números estão subindo, ele projeta que continuarão subindo na mesma velocidade. É como ver um carro descendo uma ladeira e prever que ele continuará descendo.
• Os "Estatísticos Avançados" (ARIMA e ETS): São como navegadores com GPS complexo que tentam calcular curvas, acelerações e desacelerações baseados em fórmulas matemáticas pesadas.
• O "Prophet": Um modelo famoso da Meta (Facebook) que tenta encontrar padrões sazonais e tendências, mas que, neste estudo, funcionou como um "globo de cristal" que vê tudo, mas com uma neblina tão grossa que a previsão fica inútil.

3. A Grande Descoberta: Depende de quando você quer saber

A descoberta mais importante do estudo é que não existe um "melhor navegador" para todas as distâncias. O vencedor muda dependendo de quanto tempo você quer prever (o "horizonte"):

• Para o dia seguinte (1 dia): O Drift (o adivinho de tendência) foi o campeão. Ele simplesmente olhou para a inclinação da estrada e disse "vamos continuar assim". Funcionou melhor que os computadores complexos.
• Para 3 dias à frente: O Seasonal Naive (o calendário) venceu. Parece que, mesmo no caos, a semana tinha um ritmo (talvez porque as pessoas testam mais em certos dias da semana).
• Para 7 e 14 dias: O Drift voltou a ser o rei, mas o ETS (um dos estatísticos avançados) começou a brilhar mais do que o ARIMA.

A Lição: Tentar dizer "o modelo X é o melhor" é como dizer "o carro é o melhor veículo". Depende se você quer ir à padaria (curta distância) ou atravessar o país (longa distância).

4. O "GPS" vs. O "Bastão"

Um dos resultados mais surpreendentes foi que os modelos simples (como o Drift e o Naive) venceram os modelos complexos na maioria das vezes.

• Analogia: Imagine que você está tentando prever o caminho de um rio que está transbordando.
  • Os modelos complexos tentam calcular a química da água, a velocidade do vento e a geologia do solo.
  • O modelo simples (Drift) apenas olha para a água e diz: "Ela está subindo, então vai continuar subindo".
  • Em um cenário de mudança rápida (como a pandemia), o rio muda tão rápido que os cálculos complexos ficam confusos e atrasados. O olhar simples e direto para a tendência atual foi mais eficaz.

5. O Caso do "Prophet" (O Globo de Cristal)

O modelo Prophet foi testado e teve um desempenho terrível em prever o número exato de casos. No entanto, ele tinha uma característica curiosa: suas previsões de "intervalo de confiança" (a margem de erro) eram gigantes.

• Analogia: É como se alguém dissesse: "Amanhã vai chover entre 0 e 1 milhão de litros".
  • Tecnicamente, ele acertou (porque choveu algo entre 0 e 1 milhão).
  • Mas essa previsão é inútil para quem precisa saber se deve levar um guarda-chuva ou um barco. O modelo foi tão "seguro" que criou uma neblina tão espessa que qualquer coisa poderia acontecer dentro dela.

6. A Lição Final para a Saúde Pública

O estudo nos ensina três coisas importantes:

1. Não existe bala de prata: Não adianta escolher o modelo mais sofisticado se ele não for adequado para o prazo que você precisa (seja para amanhã ou para daqui a duas semanas).
2. Simples é poderoso: Em momentos de caos e mudança rápida, não subestime as previsões simples. Elas são rápidas, transparentes e, muitas vezes, mais precisas do que as máquinas complexas.
3. O contexto importa: A forma como os dados são coletados (quantos países estão reportando) muda tudo. Um modelo pode parecer bom apenas porque os dados melhoraram, não porque ele é inteligente.

Resumo da Ópera:
Para prever a pandemia, os pesquisadores descobriram que, em um mundo que muda constantemente, olhar para a tendência atual (Drift) e usar o calendário semanal (Seasonal Naive) funcionou melhor do que tentar usar supercomputadores complexos. E, acima de tudo, é preciso saber para quanto tempo você está fazendo a previsão, pois o campeão muda a cada rodada.

Resumo técnico

Título: Classificação de Previsões Dependente do Horizonte sob Mudança Estrutural: Um Benchmark de Origem Rolante para a Incidência Global de COVID-19

1. Problema e Contexto

A previsão de curto prazo de incidência de doenças infecciosas é extremamente desafiadora quando as séries temporais de vigilância são altamente não estacionárias e afetadas por mudanças estruturais (mudanças abruptas no nível e na taxa de crescimento) e condições de notificação em evolução.

• Desafio Central: Durante a pandemia de COVID-19, a precisão das previsões variou drasticamente ao longo do tempo e entre diferentes fases da epidemia. A maioria das comparações de modelos utiliza divisões únicas de treinamento-teste, o que pode levar a conclusões frágeis se a divisão coincidir com uma fase atípica.
• Objetivo: Avaliar modelos estatísticos para a incidência diária global de COVID-19 utilizando um benchmark de "origem rolante" (rolling-origin) que simula o uso em tempo real, focando em como a classificação dos modelos varia conforme o horizonte de previsão e sob diferentes regimes estruturais.

2. Metodologia

Dados e Construção do Alvo

• Fonte: Dados globais diários da Johns Hopkins University (JHU) CSSE, cobrindo o período de 22 de janeiro a 27 de julho de 2020 ($T=188$ dias).
• Alvo Principal: Incidência diária reportada ($y_t$ = novos casos), em vez de totais cumulativos, para evitar erros artificialmente pequenos em epidemias de crescimento rápido.
• Transformação: Para estabilização de variância em modelos específicos e segmentação retrospectiva, utilizou-se a transformação logarítmica: $z_t = \log(1 + y_t)$.
• Variável de Cobertura: O número de países reportantes aumentou de 6 para 187, servindo como proxy para a expansão da cobertura de dados.

Protocolo de Avaliação (Rolling-Origin)

• Utilizou-se um protocolo de backtesting de origem rolante (walk-forward).
• Horizontes de Previsão ($h$): 1, 3, 7 e 14 dias.
• Janela de Treinamento: Padrão de expansão com comprimento mínimo de 56 dias.
• Métricas: Erro Absoluto Médio (MAE), Raiz do Erro Quadrático Médio (RMSE), sMAPE e MASE, calculados na escala original de incidência.

Modelos Comparados

1. Baselines de Persistência:
   • Naive: Persistência da última observação ($\hat{y}_{t+h} = y_t$).
   • Seasonal Naive: Repetição do valor da mesma semana anterior ($\hat{y}_{t+h} = y_{t+h-7}$).
   • Drift: Extrapolacão da tendência média histórica.
2. Modelos Estatísticos Transformados (fitted em $z_t$):
   • ARIMA(log1p): Seleção de ordem via Critério de Informação de Akaike (AIC).
   • ETS(log1p): Modelos de espaço de estado de suavização exponencial (seleção via AIC).
3. Modelo de Referência Probabilístico:
   • Prophet(log1p): Decomposição de tendência e sazonalidade (avaliado principalmente para comportamento de intervalos de previsão).

Análises de Robustez

• Segmentação de Regimes: Detecção retrospectiva de pontos de quebra na série transformada para estratificar erros por fases estruturais.
• Sensibilidade à Janela de Treinamento: Comparação entre janelas de expansão e janelas deslizantes (sliding windows) de diferentes tamanhos.
• Subamostras Estabilizadas por Cobertura: Análise restrita a períodos onde o número de países reportantes atingiu um patamar estável (ex: $\ge 180$ países).
• Definição Alternativa do Alvo: Uso de diferenças primeiras de casos confirmados cumulativos.

3. Principais Contribuições

1. Benchmark de Origem Rolante por Horizonte: Avaliação sistemática que demonstra que não existe um "melhor modelo" universal; a performance é estritamente dependente do horizonte de previsão.
2. Avaliação Consciente de Regime: Uso de segmentação estrutural apenas para estratificação retrospectiva de erros, evitando vazamento de informação no treinamento.
3. Análise de Robustez Abrangente: Demonstração de que as conclusões principais são estáveis frente a mudanças na definição de regimes, políticas de janelas de treinamento e construção de alvos.
4. Insights Empíricos: Evidência de que baselines simples permanecem altamente competitivas em dados de vigilância epidêmica sob mudança estrutural.

4. Resultados Chave

Dependência do Horizonte

• Horizontes Curtos (1 dia): O modelo Drift e o Naive foram os mais competitivos. O Drift teve o menor MAE.
• Horizonte de 3 dias: O Seasonal Naive foi o melhor, indicando que padrões semanais de notificação ainda têm valor preditivo mesmo em séries globais não estacionárias.
• Horizontes Longos (7 e 14 dias): O modelo Drift manteve a melhor performance geral.
• Modelos Transformados:
  • ARIMA(log1p) foi competitivo em horizontes curtos (1 e 3 dias).
  • ETS(log1p) superou o ARIMA em horizontes mais longos (7 e 14 dias), tornando-se mais forte conforme o horizonte aumentava.
• Prophet: Desempenho ruim em previsão pontual (MAE muito alto). Alcançou alta cobertura nominal de intervalos (ex: 96% para 80% nominal) apenas através de intervalos de previsão extremamente largos, indicando superconservadorismo e falta de "sharpness" (nitidez).

Testes Estatísticos (Diebold-Mariano)

• O Drift superou significativamente o ARIMA e o ETS nos horizontes de 1, 7 e 14 dias.
• O ETS(log1p) superou significativamente o ARIMA(log1p) nos horizontes de 7 e 14 dias.
• As diferenças entre modelos complexos foram menores e menos estáveis em horizontes curtos do que em horizontes médios/longos.

Análises de Robustez

• Segmentação: Os pontos de quebra estrutural (ex: 13 de março e 28 de maio de 2020) foram razoavelmente estáveis. A classificação dos modelos variou entre regimes, mas a dependência do horizonte permaneceu.
• Janelas Deslizantes: Janelas deslizantes moderadas (ex: 84 dias) melhoraram a performance do ETS em horizontes médios e longos em comparação com janelas de expansão, sugerindo um trade-off entre adaptação e estabilidade.
• Cobertura Estabilizada: Ao remover a fase inicial de expansão rápida da cobertura (países < 180), a classificação de curto prazo mudou ligeiramente (ETS tornou-se melhor em 3 dias), mas o Drift permaneceu forte em 7 e 14 dias, confirmando que os resultados não são meros artefatos da fase inicial de dados.

5. Significado e Implicações

• Baselines Simples são Essenciais: Modelos simples como Drift e Naive não devem ser tratados apenas como referências triviais. Em dados de vigilância epidêmica com mudanças estruturais, eles frequentemente superam ou empatam com modelos estatísticos complexos.
• Avaliação Específica por Horizonte: Comparar modelos usando uma métrica agregada única é enganoso. A escolha do modelo deve ser feita especificamente para o horizonte operacional desejado (ex: 1 dia para monitoramento diário vs. 14 dias para planejamento de leitos).
• Importância do Design de Avaliação: A forma como os dados são tratados (janelas de treinamento, definição de alvos, estabilização de cobertura) impacta significativamente os resultados. Protocolos de origem rolante são superiores a divisões estáticas para dados não estacionários.
• Calibração vs. Utilidade: O caso do Prophet ilustra que alta cobertura de intervalos de previsão não equivale a uma previsão útil se os intervalos forem excessivamente largos e as previsões pontuais forem ruins.

Conclusão: O estudo reforça que, sob condições de mudança estrutural típicas de epidemias, a avaliação de previsões deve ser estratificada por horizonte e considerar baselines simples como competidores sérios. A robustez dos resultados através de múltiplas análises de sensibilidade valida a confiabilidade dessas conclusões para a prática de saúde pública.