Sequential model confidence sets

Resumo Técnico: Conjuntos de Confiança de Modelos Sequenciais

Enunciado do Problema
Na previsão e estimativa estatística, os profissionais frequentemente enfrentam o desafio de selecionar o melhor modelo (ou modelos) a partir de um conjunto de candidatos ($M_0 = \{1, \dots, m\}$) com base em uma função de perda especificada pelo usuário. A abordagem padrão, os Conjuntos de Confiança de Modelos (MCS - Model Confidence Sets), propostos por Hansen et al. (2011), reduz o conjunto de candidatos a um subconjunto contendo os melhores modelos com um determinado nível de confiança. No entanto, o MCS clássico baseia-se em duas suposições restritivas que conflitam com cenários de previsão do mundo real:

1. Tamanho de Amostra Fixo: Assume um período de avaliação pré-especificado e fixo, enquanto a seleção de modelos e a avaliação de previsões são tarefas inerentemente sequenciais, onde os dados chegam ao longo do tempo e as decisões de continuar ou interromper um estudo dependem dos resultados intermediários.
2. Estacionariedade: Assume que as sequências de diferenças de perda observadas são estacionárias, uma suposição frequentemente violada à medida que os modelos evoluem, corrigem erros ou se adaptam a vieses sistemáticos ao longo do tempo.

Além disso, o MCS clássico depende de aproximações de bootstrap e propriedades assintóticas do Teorema do Limite Central (CLT), oferecendo apenas garantias de cobertura assintótica e incorrendo em altos custos computacionais. Há uma necessidade de métodos que permitam o monitoramento contínuo do desempenho dos modelos com garantias de cobertura não assintóticas e uniformes no tempo.

Metodologia
Os autores propõem os Conjuntos de Confiança de Modelos Sequenciais (SMCS - Sequential Model Confidence Sets), que generalizam o framework do MCS para um cenário sequencial utilizando e-processos e sequências de confiança. A metodologia é construída sobre a "inferência segura a qualquer momento" (safe anytime-valid inference), garantindo validade independentemente de quando a análise for interrompida.

O núcleo da abordagem envolve três definições distintas de modelos "superiores", correspondentes a diferentes hipóteses sobre o desempenho do modelo:

1. Fortemente Superior ($M_{s,\star}$): Modelos que superam todos os outros em cada ponto no tempo em termos de diferenças de perda esperadas condicionais ($\mu_{ij,t} \le 0$).
2. Uniformemente Fracamente Superior ($M_{uw,\star}$): Modelos que superam todos os outros em média ao longo de todos os pontos no tempo ($\Delta_{ij,t} \le 0$ para todo $t$).
3. Fracamente Superior ($M_{w,\star,t}$): Modelos que superam todos os outros em um tempo $t$ específico com base na perda média até aquele ponto.

Construção do SMCS:

• Para Hipóteses Fortes e Uniformemente Fracas: Os autores utilizam e-processos (especificamente aqueles de Howard et al., 2020, e Choe e Ramdas, 2023) sob a suposição de diferenças de perda condicionalmente limitadas ou uniformemente limitadas. Eles empregam o princípio de fechamento (closure principle) com uma função de fusão de e-processos de média aritmética para controlar a taxa de erro de família inteira (family-wise error rate) através de múltiplas comparações pareadas. Um modelo é excluído do SMCS se o e-processo correspondente exceder um limiar ($1/\alpha$).
• Para Hipóteses Fracas: A construção baseia-se em sequências de confiança uniformes no tempo. Os autores definem uma região de confiança para o vetor de diferenças de perda média. Um modelo é excluído se a região de confiança não interceptar o semiespaço onde o modelo é superior.
• Tratamento de Perdas Não Limitadas: Para funções de perda que não são uniformemente limitadas (ex: CRPS com suporte ilimitado), os autores propõem uma transformação para diferenças condicionalmente limitadas, que são então escalonadas para serem uniformemente limitadas, permitindo a aplicação dos e-processos derivados.

Principais Contribuições

1. Extensão Sequencial: O artigo estende o conceito de MCS para um framework sequencial, permitindo o monitoramento contínuo do desempenho dos modelos sem exigir um tamanho de amostra fixo.
2. Garantias Uniformes no Tempo: Os SMCSs propostos fornecem garantias de cobertura não assintóticas e uniformes no tempo. Isso significa que a probabilidade de que os verdadeiros modelos superiores estejam contidos no conjunto é de pelo menos $1-\alpha$ para todos os pontos no tempo simultaneamente, uma garantia mais forte do que a cobertura assintótica pontual.
3. Suposições Mínimas: Os métodos dependem de suposições distributivas mínimas (diferenças de perda sub-gaussianas ou sub-exponenciais) e não requerem aproximações de bootstrap computacionalmente caras.
4. Flexibilidade nas Definições de Superioridade: O framework acomoda três noções diferentes de superioridade de modelo, permitindo que pesquisadores escolham a hipótese (forte, uniformemente fraca ou fraca) que melhor se ajusta ao contexto de sua aplicação (ex: conjuntos de informação aninhados vs. desempenho de modelo em evolução).

Resultados
O artigo valida a metodologia através de estudos de simulação e dois estudos de caso do mundo real:

• Simulações:
  • Simulação 1 (Hipótese Forte): Com 49 previsores, o SMCS alcançou uma taxa de cobertura de 100% para o melhor modelo verdadeiro, demonstrando um desempenho conservador, porém válido. O tamanho médio do SMCS diminuiu ao longo do tempo.
  • Simulação 2 (Hipótese Uniformemente Fraca): Em um cenário onde o melhor modelo era superior apenas em média (não em cada ponto individual no tempo), o SMCS identificou corretamente o modelo uniformemente fracamente superior, enquanto a hipótese forte teria resultado em um conjunto vazio.
  • Simulação 3 (Hipótese Fraca): Em um cenário onde o melhor modelo mudou ao longo do tempo (piorando $\to$ enviesado $\to$ melhorando), o SMCS para a hipótese fraca rastreou com sucesso o modelo superior em mudança, incluindo e excluindo modelos conforme seu desempenho relativo mudava.
• Estudo de Caso 1 (Previsões de Covid-19): Aplicado a 69 modelos do Covid-19 Forecast Hub. O SMCS (sob a hipótese forte) identificou modelos de conjunto (ensemble) como consistentemente superiores e rejeitou modelos epidemiológicos específicos (ex: PSI-draft) relativamente cedo. Isso demonstrou a utilidade do monitoramento sequencial para a tomada de decisões políticas, permitindo a rejeição precoce de modelos com baixo desempenho sem esperar por um tamanho de amostra fixo.
• Estudo de Caso 2 (Previsões de Rajadas de Vento): Aplicado a 9 métodos de pós-processamento para rajadas de vento. Sob a hipótese fraca, o SMCS revelou que, embora alguns modelos fossem inicialmente inferiores, eles se tornaram competitivos novamente após atualizações no modelo de Previsão Numérica do Tempo (NWP) subjacente. Esse comportamento dinâmico (modelos reentrando no conjunto de confiança) teria sido perdido por abordagens de amostra fixa ou de hipótese forte.

Significância e Alegações
O artigo afirma que os Conjuntos de Confiança de Modelos Sequenciais oferecem uma alternativa estatisticamente rigorosa à seleção de modelos tradicional, particularmente em ambientes dinâmicos.

• Validade a Qualquer Momento (Anytime-Validity): A principal significância é a capacidade de "parar quando quiser" sem inflar as taxas de erro do Tipo I, uma característica crucial para o monitoramento contínuo em campos como epidemiologia e meteorologia.
• Lidando com a Não-Estacionariedade: Ao distinguir entre superioridade forte, uniformemente fraca e fraca, o método reconhece que os modelos podem evoluir. Ele permite a detecção de modelos que são superiores em média ou temporariamente, em vez de exigir dominância em cada instante.
• Utilidade Prática: Os autores argumentam que seus métodos fornecem uma justificativa teórica para a prática comum de avaliação regular de modelos em situações de emergência (como a pandemia), oferecendo uma forma de coletar evidências sequencialmente e tomar decisões com base no estado atual do conhecimento, respeitando a incerteza da seleção.

Os autores mantêm a modéstia, observando que, embora tenham focado em diferenças de perda limitadas, a teoria não é estritamente limitada a elas, embora mais pesquisas sejam necessárias para funções de perda gerais. Eles também reconhecem que, embora seus métodos controlem as taxas de erro de família inteira, trabalhos futuros poderiam explorar o controle da taxa de falsa descoberta (FDR) para um potencial aumento de poder.