📊 statistics

Model selection with proper scoring rules on data sets of time series

Este artigo investiga como a assimetria da distribuição de pontuação causa resultados conflitantes de seleção de modelos entre as estatísticas de média, mediana e baseadas em ranking em dados de séries temporais, demonstrando que, embora esses critérios convirjam com grandes conjuntos de teste, a pontuação média é unicamente confiável para identificar o modelo verdadeiro em conjuntos de teste curtos, conforme evidenciado pela análise de séries temporais intermitentes, incluindo a competição M5.

Autores originais: Giorgio Corani, Stefano Damato, Dario Azzimonti, Lorenzo Zambon

Publicado 2026-06-24

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Giorgio Corani, Stefano Damato, Dario Azzimonti, Lorenzo Zambon

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você é um treinador tentando escolher o melhor jogador para o seu time. Você tem uma enorme lista de jogadores (série temporal) e quer ver quem tem o melhor desempenho em média. Para julgá-los, você usa uma "ficha de pontuação" (uma regra de pontuação adequada) que atribui um número de penalidade para cada erro cometido. Quanto menor o número, melhor o jogador.

Este artigo trata de como ler essa ficha de pontuação quando você tem muitos jogadores e muitos jogos para analisar. Os autores descobriram que a maneira como costumamos somar as pontuações pode, às vezes, nos enganar, levando-nos a escolher o jogador errado, especialmente quando os jogos são curtos ou quando os erros são raros, mas enormes.

Aqui está a decomposição usando analogias simples:

1. O Problema: Duas Maneiras de Contar

Quando você tem um time de jogadores, não pode apenas olhar para um jogo. Você precisa combinar seus resultados. O artigo diz que existem duas maneiras principais de como os treinadores costumam fazer isso:

Método A: A "Penalidade Média" (Pontuação Escalonada Média). Você pega cada ponto de penalidade que um jogador recebeu, soma todos eles e divide pelo número de jogos. Isso mostra o custo médio dos erros deles.
Método B: O "Registro de Vitórias e Derrotas" (Ranking Médio). Você não olha para os pontos. Em vez disso, você apenas pergunta: "Em quantos jogos o Jogador A venceu o Jogador B?". Você conta as vitórias. Se o Jogador A venceu mais jogos, ele recebe o primeiro lugar.

2. A Armadilha: O Desvio do "Grande Erro"

A Analogia:
Imagine um jogo onde você geralmente comete pequenos erros (como tropeçar nos próprios cadarços), mas ocasionalmente, você comete um erro massivo e catastrófico (como cair de um penhasco).

A "Penalidade Média" (Método A) vê a queda no penhasco. Ela soma todos os pequenos tropeços e a grande queda, resultando em uma penalidade média alta. Ela sabe que você é perigoso.
O "Registro de Vitórias e Derrotas" (Método B) analisa os jogos individualmente. Em 99 de 100 jogos, você apenas tropeçou nos cadarços, o que é uma penalidade minúscula. No outro 1 jogo, você caiu de um penhasco.
- Se você estiver jogando contra um rival que nunca cai de penhascos, mas tropeça um pouco mais frequentemente, o Método B pode dizer: "Ei, você venceu 99 jogos! Você é o campeão!".
- Mas o Método A diz: "Espere, aquela única queda no penhasco custou toda a sua temporada. Sua penalidade média é, na verdade, pior".

O artigo argumenta que o Método B (Ranking Médio) é perigoso porque ignora o tamanho dos erros. Ele só se importa com quem venceu mais rodadas individuais. Se as "quedas no penhasco" (erros enormes) forem raras, o Método B frequentemente as ignora, especialmente se você não tiver assistido jogos suficientes (conjuntos de teste curtos).

3. A Solução: Assistir Mais Jogos

Os autores realizaram simulações para ver o que acontece conforme você assiste a mais jogos (aumentando o tamanho do conjunto de teste).

Conjuntos de Teste Curtos (Poucos Jogos): O Método B é pouco confiável. Ele frequentemente escolhe o jogador "sortudo" que evita os grandes erros apenas por acaso, mesmo que o desempenho médio dele seja pior.
Conjques de Teste Longos (Muitos Jogos): À medida que você assiste a mais e mais jogos, as "quedas no penhasco" eventualmente acontecem vezes o suficiente para que o Método B comece a ver a verdade. Os dois métodos começam a concordar.

A Descoberta Principal: Se você tem apenas um histórico curto de dados (um conjunto de teste curto), o Método A (Penalidade Média) é o único que consistentemente escolhe o melhor modelo. O Método B é facilmente enganado pela "sorte" de evitar erros enormes e raros.

4. O Teste no Mundo Real: A Competição M5

Os autores testaram isso com dados reais da famosa "Competição de Previsão M5", que envolve a previsão de vendas para milhares de produtos (alguns dos quais são "intermitentes", o que significa que vendem muito raramente).

Eles compararam dois modelos matemáticos:

O Modelo de Poisson: Um modelo mais simples.
O Modelo Binomial Negativo: Um modelo mais complexo, conhecido por ser melhor em lidar com "picos" de demanda.

O que aconteceu?

Ao usar o Método B (Ranking Médio) em dados curtos, ele frequentemente escolheu o modelo Poisson. Ele pensou que o modelo mais simples era melhor porque "venceu" mais rodadas individuais.
Ao usar o Método A (Penalidade Média), ele consistentemente escolheu o modelo Binomial Negativo, identificando corretamente que este é o que lida melhor com os grandes picos.

Os autores concluíram que o "Método da Penalidade Média" estava certo. O "Registro de Vitórias e Derrotas" foi enganado porque os conjuntos de teste eram curtos demais para capturar os erros massivos e raros que o modelo mais simples falhou em prever.

5. Importa como medimos a penalidade?

O artigo também verificou se mudar a "régua" (fator de escala) usada para medir as penalidades alterava os resultados.

Boa Notícia: O método da "Penalidade Média" é muito robusto. Quer você meça a penalidade em dólares, em porcentagem ou contra uma linha de base, ele quase sempre escolhe o mesmo vencedor.
Má Notícia: O método do "Registro de Vitórias e Derrotas" é frágil. Ele pode oscilar dependendo de como você mede as coisas e de quanto dado você possui.

A Conclusão Final

Se você está tentando escolher o melhor modelo de previsão:

Não conte apenas as vitórias. (Não dependa exclusivamente do Ranking Médio).
Observe o custo médio dos erros. (Use a Pontuação Escalonada Média).
Tenha cuidado com dados curtos. Se você não tem histórico suficiente, o método de "Vitórias e Derrotas" provavelmente o enganará, levando-o a escolher um modelo que parece bom no papel, mas que falha quando um evento raro e grande acontece.

O artigo essencialmente diz: "Não deixe um jogador que teve sorte ao evitar um grande desastre enganá-lo para que pense que ele é o melhor jogador. Olhe para o desempenho médio total dele."

Resumo Técnico: Seleção de Modelos com Regras de Pontuação Adequadas em Conjuntos de Dados de Séries Temporais

Definição do Problema
O artigo aborda o desafio de selecionar o melhor modelo probabilístico em um conjunto de dados contendo múltiplas séries temporais. Embora a seleção de modelos em uma única série temporal seja direta (selecionando o modelo com a menor pontuação), agregar o desempenho através de $n$ séries temporais requer estatísticas de resumo. As duas abordagens mais comuns são a média da pontuação escalonada (média das pontuações após o escalonamento para garantir a comparabilidade) e a média do ranking (média do ranking dos modelos entre as séries). A literatura anterior observou que esses dois critérios podem gerar decisões conflitantes, mas a causa subjacente e a confiabilidade de cada critério permanecem obscuras. Além disso, a sensibilidade da média da pontuação escalonada à escolha do fator de escalonamento é uma questão em aberto.

Metodologia
Os autores investigam essas questões por meio de uma combinação de análise teórica, simulação e avaliação empírica em dados reais de séries temporais intermitentes.

Análise Teórica da Assimetria: O artigo analisa a distribuição das pontuações pontuais para regras de pontuação adequadas comuns (Pontuação de Quantil, Pontuação de Intervalo, CRPS). Demonstra que essas distribuições são inerentemente assimétricas, particularmente para quantis altos ( $p > 0,5$ ). A assimetria surge porque os erros de subestimação (eventos raros para quantis altos) são penalizados muito mais pesadamente do que os erros de superestimação.
Estudo de Simulação: Uma simulação foi realizada comparando um modelo verdadeiro ( $N(0, 1)$ ) contra um modelo mal especificado ( $N(0, 0,85^2)$ ) através de variações no comprimento do conjunto de teste ( $n_{te}$ ). O estudo avalia como a média da pontuação (estimando o valor esperado) e a média do ranking (estimando a diferença mediana) se comportam conforme $n_{te}$ aumenta.
Avaliação Empírica: Os autores aplicaram esses critérios a três conjuntos de dados de demanda intermitente: o nível inferior das séries do concurso M5 (30.490 séries), Auto (3.000 séries) e RAF (5.000 séries). Eles compararam as distribuições Poisson e Binomial Negativa (esta última teoricamente superior para demanda intermitente devido à sobredispersão) usando várias regras de pontuação (CRPS, QS em diferentes quantis) e fatores de escalonamento (MAE naive, média in-sample, pontuação in-sample da distribuição empírica).

Principais Contribuições e Descobertas

Fonte de Conflito: O artigo estabelece que as decisões conflitantes entre o ranking médio e a média da pontuação escalonada são causadas pela assimetria da distribuição da pontuação.
- A média da pontuação escalonada estima o valor esperado da regra de pontuação.
- O ranking médio (e estatísticas relacionadas, como taxa de vitória ou mediana da pontuação) estima efetivamente a diferença mediana.
- Quando a distribuição das diferenças de pontuação é assimétrica (comum com $n_{te}$ pequenos ou quantis altos), a média e a mediana podem apontar para modelos "melhores" diferentes. Especificamente, um modelo mal especificado pode frequentemente obter uma pontuação menor em conjuntos de teste curtos ao evitar erros de subestimação raros e pesadamente penalizados, levando o ranking médio a favorecer incorretamente o modelo mal especificado.
Convergência com o Tamanho do Conjunto de Teste: À medida que o comprimento do conjunto de teste ( $n_{te}$ ) aumenta, a distribuição das pontuações torna-se mais simétrica (devido ao Teorema do Limite Central), e o ranking médio e a média da pontuação escalonada convergem progressivamente para a mesma conclusão. No entanto, para conjuntos de teste curtos, apenas a média da pontuação identifica o modelo verdadeiro de forma confiável.
Robustez da Média da Pontuação Escalonada: Os resultados empíricos nos conjuntos de dados M5, Auto e RAF mostram que a decisão baseada na média da pontuação escalonada é robusta. Ela seleciona consistentemente o modelo Binomial Negativo, que é teoricamente superior, através de todos os comprimentos de conjunto de teste e todos os fatores de escalonamento testados.
Sensibilidade do Fator de Escalonamento: Contrariando o risco percebido de que a seleção de modelos dependa fortemente do fator de escalonamento, o estudo descobre que a escolha do fator de escalonamento (por exemplo, MAE naive vs. média in-sample) tem um impacto menor na decisão final de seleção de modelos ao usar a média da pontuação escalonada. A decisão permanece estável através de diferentes métodos de escalonamento.
Confiabilidade do Ranking Médio: O ranking médio mostra-se um critério não confiável para conjuntos de teste curtos, particularmente ao avaliar quantis altos. Nos experimentos do conjunto de dados M5, o ranking médio favoreceu o modelo Poisson inferior para quantis altos (QS0,975, QS0,995) mesmo com um número substancial de séries, enquanto a média da pontuação escalonada identificou corretamente a Binomial Negativa.

Significância e Recomendações
O artigo conclui que a seleção de modelos baseada em regras de pontuação adequadas requer fundamentalmente a estimativa do valor esperado da pontuação. Como estatísticas que não são de média (ranking médio, mediana, taxa de vitória) não estimam o valor esperado, elas podem levar a uma seleção de modelo incorreta quando as distribuições de pontuação são assimétricas, uma condição prevalente em séries temporais com conjuntos de teste curtos ou previsões de quantis altos.

Os autores recomendam:

Priorizar a média da pontuação escalonada sobre o ranking médio para a seleção de modelos, pois é um estimador direto da pontuação esperada.
Exercer cautela ao confiar em rankings médios, especialmente para níveis de quantis altos ou $n_{te}$ pequenos.
Validar conclusões verificando os resultados através de múltiplos fatores de escalonamento, embora o estudo sugira que a escolha específica do fator é menos crítica do que anteriormente assumido.
Reconhecer que determinar o limiar exato para um $n_{te}$ "suficientemente grande" para garantir a convergência continua sendo difícil e depende da regra de pontuação específica e da distribuição dos dados.

O artigo não propõe novas regras de pontuação ou aplicações futuras específicas, mas fornece uma justificativa teórica e empírica crítica para preferir a agregação baseada em médias sobre a agregação baseada em rankings na seleção de modelos de séries temporais probabilísticas.