Evaluation of short-term multi-target respiratory forecasts over winter 2024-25 in England using sub-ensemble contribution analyses

Este estudo avalia as previsões operacionais de curto prazo para hospitalizações por influenza e COVID-19 no inverno de 2024-25 na Inglaterra, demonstrando que, embora os ensembles operacionais tenham sido bem calibrados, existe um compromisso entre a otimização de tendências e contagens absolutas, e que a análise de sub-ensembles pode guiar a seleção de modelos futuros.

O essencial

Imagine que o inverno de 2024-25 na Inglaterra foi como uma grande tempestade de neve chegando, e os líderes de saúde precisavam saber exatamente onde e quando as estradas (os hospitais) ficariam congestionadas com pacientes de gripe e COVID-19.

Para prever isso, eles não confiaram em apenas um "oráculo" ou um único especialista. Em vez disso, criaram um grande time de previsão, combinando as opiniões de vários modelos matemáticos diferentes. É como se você tivesse 10 meteorologistas diferentes e, em vez de escolher apenas um, você tirasse a média de todos eles para ter uma previsão mais segura.

Aqui está o que os pesquisadores fizeram, explicado de forma simples:

1. O Grande Teste de "Simulação"

Os cientistas pegaram os dados reais do inverno passado e fizeram um exercício de "replay". Eles disseram: "Vamos ver o que teria acontecido se tivéssemos usado apenas o time A, ou apenas o time B, ou uma mistura estranha de modelos, e comparar isso com o nosso time oficial completo."

Eles usaram duas regras de pontuação para julgar os times:

• A Regra do "Número Exato": Quão perto o modelo estava do número real de pessoas que foram para o hospital? (Como tentar adivinhar o placar exato de um jogo de futebol).
• A Regra da "Direção": O modelo acertou se a situação estava ficando melhor ou pior? (Como acertar se o time vai ganhar ou perder, mesmo sem saber o placar).

2. O Que Eles Descobriram? (A Surpresa)

Aqui está a parte interessante, como se fosse um jogo de xadrez:

• Para a Gripe (Influenza): O time oficial completo foi um campeão. Quando combinaram todos os modelos, conseguiram prever o número exato de pacientes com 47% mais precisão do que qualquer sub-time sozinho. Foi como juntar todos os melhores jogadores e formar um time invencível.
• Para a COVID-19: Foi um pouco mais complicado. O time oficial completo foi pior do que algumas combinações menores de modelos. Por que? Porque, às vezes, ter muitos jogadores no time pode criar confusão. Um modelo pode estar focado em prever o número exato (o placar), enquanto outro está focado em prever a tendência (quem vai ganhar). Quando você mistura tudo, pode acabar perdendo um pouco de precisão em uma das áreas.

3. O Dilema do "Balanço"

O estudo descobriu algo muito importante: é difícil ser perfeito em tudo ao mesmo tempo.

Imagine que você está tentando acertar o alvo de um dardo.

• Se você tentar acertar o centro exato (o número de pacientes), pode perder a visão da direção do vento (a tendência).
• Se você focar apenas no vento (a tendência), pode errar o centro.

Os pesquisadores usaram uma técnica chamada "Análise de Pareto" (que é um nome chique para "encontrar o melhor equilíbrio possível") para mostrar que, às vezes, você precisa escolher: você quer o time que prevê o número exato melhor, ou o time que avisa melhor se a situação vai piorar? Não existe um "super time" que vence em tudo simultaneamente.

4. A Conclusão para o Futuro

No final, a mensagem é otimista e prática:

• Os modelos usados pelo governo (UKHSA) foram muito bons e confiáveis.
• Eles aprenderam que, para o próximo inverno, não basta apenas juntar todos os modelos aleatoriamente. Eles precisam escolher quais modelos jogar juntos, dependendo do que é mais importante naquele momento: saber o número exato de leitos necessários ou saber se a crise está subindo ou descendo.

Em resumo: É como montar uma equipe de resgate. Às vezes, você precisa de todos os especialistas juntos para ter a melhor visão geral. Outras vezes, você precisa de uma equipe menor e mais especializada para uma tarefa específica. Este estudo ensinou aos líderes de saúde como montar essa equipe da maneira certa para salvar vidas e gerenciar hospitais.

Resumo técnico

Resumo Técnico: Avaliação de Prognósticos Respiratórios Multialvo de Curto Prazo no Inverno 2024-25 na Inglaterra

1. Problema e Contexto

A pesquisa em previsão de epidemias frequentemente avalia conjuntos de modelos (ensembles) e seus componentes individuais utilizando regras de pontuação probabilística. No entanto, um desafio significativo persiste na quantificação de como modelos individuais afetam o desempenho do conjunto, especialmente quando se considera múltiplos alvos (como diferentes doenças) e escalas espaciais variadas. Além disso, existe a necessidade de otimizar conjuntamente a previsão da direção da tendência epidêmica e a previsão absoluta de números de admissões hospitalares, pois as estratégias de otimização para um podem não ser ideais para o outro.

2. Metodologia

O estudo apresenta uma análise retrospectiva dos prognósticos operacionais realizados durante o inverno de 2024-25 na Inglaterra, focando em hospitalizações por Influenza e COVID-19. A metodologia empregou as seguintes abordagens:

• Simulação Retrospectiva: Utilização dos modelos componentes operacionais para reconstruir cenários de previsão.
• Métricas de Avaliação:
  • Pontuação de Intervalo Ponderada por Capita (pcWIS): Utilizada para avaliar a precisão das contagens absolutas de admissões.
  • Pontuação de Probabilidade Ranqueada (RPS): Utilizada para avaliar a precisão da direção da tendência (ordem).
• Análise de Sub-conjuntos (Sub-ensembles):
  • Modelos Aditivos Generalizados (GAMs): Aplicados para estimar a mudança esperada na pontuação decorrente da inclusão de um modelo específico em um sub-conjunto, permitindo identificar quais modelos contribuem positivamente em diferentes fases da epidemia.
  • Análise de Pareto: Utilizada para identificar quais sub-conjuntos são "ótimos de Pareto" (ou seja, não é possível melhorar uma métrica sem piorar a outra), elucidando as compensações (trade-offs) entre a otimização da direção relativa e a contagem absoluta.

3. Principais Contribuições

• Análise Multidimensional: O estudo avança além da avaliação simples de desempenho, decompondo a contribuição de modelos individuais em diferentes fases da epidemia.
• Otimização de Compensações: Demonstra explicitamente a existência de um trade-off entre a otimização da pontuação de direção da tendência e a pontuação de contagem absoluta, fornecendo uma estrutura para a seleção de modelos em futuros conjuntos.
• Validação Operacional: Oferece uma avaliação rigorosa dos sistemas de previsão operacionais da UKHSA (UK Health Security Agency) contra conjuntos teoricamente ótimos construídos a partir dos mesmos componentes.

4. Resultados Chave

• Desempenho Nacional:
  • Os conjuntos operacionais alcançaram uma pcWIS de $5,20 \times 10^{-7}$ (Influenza) e $3,98 \times 10^{-7}$ (COVID-19).
  • As pontuações RPS foram de 0,234 (Influenza) e 0,171 (COVID-19).
• Comparação com Sub-conjuntos:
  • Influenza: Houve uma melhoria de 47% na pontuação pcWIS em comparação com sub-conjuntos, indicando que o conjunto operacional foi superior para prever contagens. No entanto, o conjunto operacional foi, em média, 22% pior que os sub-conjuntos quando medido pelo RPS (direção da tendência).
  • COVID-19: O desempenho operacional foi inferior aos sub-conjuntos retrospectivos, sendo 43% pior na pcWIS e 265% pior no RPS em média.
• Dinâmica Temporal: A simulação de sub-conjuntos revelou que a influência de modelos individuais varia significativamente dependendo da fase da epidemia, sugerindo que a composição ideal do conjunto pode mudar ao longo do tempo.
• Análise de Pareto: Confirmou que é difícil maximizar simultaneamente a precisão da direção e a precisão da contagem, exigindo decisões estratégicas na seleção de modelos.

5. Significado e Conclusão

A análise demonstra que, embora os prognósticos da UKHSA tenham sido bem calibrados em relação às observações e frequentemente apresentaram desempenho comparável aos conjuntos ótimos, existem oportunidades de melhoria, especialmente na previsão da direção da tendência para a COVID-19 e na Influenza.

As ferramentas analíticas desenvolvidas (GAMs e Análise de Pareto) fornecem um roteiro crucial para a seleção de modelos em futuras estações de previsão. Elas permitem que as equipes de previsão equilibrem a necessidade de prever com precisão o volume de pressão hospitalar (números absolutos) e a direção da tendência epidêmica, garantindo que os líderes de saúde recebam informações mais robustas para a tomada de decisão.