🤖 machine learning

fev-bench: A Realistic Benchmark for Time Series Forecasting

Para abordar as limitações dos padrões de avaliação existentes em previsão de séries temporais, os autores introduzem o fev-bench, um benchmark abrangente de 100 tarefas em sete domínios suportados pela biblioteca Python fev, que emprega agregação estatisticamente rigorosa para fornecer comparações de desempenho confiáveis e identificar direções de pesquisas futuras.

Autores originais: Oleksandr Shchur, Abdul Fatir Ansari, Caner Turkmen, Lorenzo Stella, Nick Erickson, Pablo Guerron, Michael Bohlke-Schneider, Yuyang Wang

Publicado 2026-07-01

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Oleksandr Shchur, Abdul Fatir Ansari, Caner Turkmen, Lorenzo Stella, Nick Erickson, Pablo Guerron, Michael Bohlke-Schneider, Yuyang Wang

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você esteja tentando decidir qual de dez previsões meteorológicas diferentes é a melhor. Você poderia simplesmente pedir que prevejam a temperatura para amanhã e ver quem está certo. Mas e se alguns deles também estiverem observando a umidade, a velocidade do vento e dados históricos, enquanto outros estiverem apenas chutando com base no calendário? E se você verificasse a precisão apenas uma vez, em um único dia que por acaso estava excepcionalmente ensolarado? Você poderia escolher o vencedor errado apenas por sorte.

Este é o problema que o artigo fev-bench está tentando resolver. Os autores argumentam que os "scorecards" (placar de pontuação) atuais usados para testar modelos de previsão de séries temporais (IA que prevê números futuros como vendas, uso de energia ou preços de ações) são falhos. Eles são frequentemente muito estreitos, ignoram informações extras importantes (chamadas de covariáveis) e carecem de rigor estatístico para dizer se um modelo é realmente melhor ou se apenas teve sorte.

Aqui está uma análise da solução deles usando analogias simples:

1. O Problema: O Teste de "Via Única"

Pense nos benchmarks existentes como um teste de direção que ocorre apenas em uma rodovia reta e vazia.

Faltando o "Tráfego": A previsão no mundo real é como dirigir em uma cidade movimentada. Você precisa reagir a semáforos, pedestres e ao clima. Na previsão, esses são as covariáveis (dados extras como "é feriado" ou "estamos com uma promoção"). A maioria dos testes atuais ignora isso, então os modelos treinados neles nunca aprendem a usá-los.
O Problema do "Chute de Sorte": Muitos testes relatam um único número (ex: "O Modelo A é 5% melhor que o Modelo B"). Mas esse 5% é real ou apenas ruído aleatório? É como dizer que um lançador de moedas é um gênio porque tirou cara 6 vezes seguidas. Sem verificar se esse resultado se mantém ao longo de muitos cenários diferentes, você não pode confiar no vencedor.
A Confusão da "Caixa Preta": Alguns testes são como uma sala trancada onde você não consegue ver como a pontuação aconteceu. Se duas pessoas executarem o mesmo teste, elas podem obter resultados diferentes porque usaram regras diferentes. Isso torna difícil comparar modelos de forma justa.

2. A Solução: fev-bench (O Simulador de "Direção na Cidade")

Os autores construíram um novo benchmark chamado fev-bench (Forecast EValuation benchmark). Pense nele como um simulador de direção massivo e realista com 100 diferentes "cursos" (tarefas).

Terreno Diverso: Em vez de apenas uma rodovia, eles têm 100 tarefas em 7 "cidades" diferentes (domínios como varejo, energia, saúde e finanças).
O "Tráfego" Está Incluído: Crucialmente, 46 dessas tarefas incluem covariáveis. É como testar os modelos enquanto eles precisam lidar com semáforos e chuva. Isso revela que muitos modelos "inteligentes" atuais estão, na verdade, falhando porque ignoram esses dados extras.
Confiança Estatística: Em vez de dar uma pontuação única, eles usam um método chamado bootstrapping. Imagine executar o teste de direção 1.000 vezes com padrões de tráfego ligeiramente diferentes. Eles então calculam um "intervalo de confiança" (uma faixa de pontuações prováveis). Se o Modelo A vence o Modelo B em 95% dessas 1.000 execuções, então você pode dizer com confiança que A é melhor. Se eles estiverem próximos, o teste admite: "Ainda não conseguimos distinguir a diferença".

3. A Ferramenta: fev (A "Prancheta do Árbitro")

Para garantir que todos sigam as mesmas regras, os autores também lançaram uma ferramenta de software gratuita chamada fev.

Pense nisso como uma prancheta de árbitro padronizada. Ela lida com o carregamento de dados, a pontuação e a matemática estatística.
É leve e fácil de usar, o que significa que os pesquisadores não precisam construir seus próprios sistemas de pontuação bagunçados do zero. Isso garante que, se você e eu executarmos o mesmo teste, obteremos exatamente o mesmo resultado.

4. O Que Eles Descobriram: A Lacuna das "Covariáveis"

Quando rodaram seus novos testes nos principais modelos de IA disponíveis hoje, encontraram uma lacuna surpreendente:

Os Modelos "Inteligentes": Os modelos mais novos e avançados (como o Chronos-2) tiveram o melhor desempenho geral.
A Habilidade Ausente: No entanto, os modelos que podiam usar dados extras (covariáveis) tiveram um desempenho significativamente melhor do que aqueles que os ignoravam.
O Choque de Realidade: Muitos dos atuais modelos de "estado da arte" estão essencialmente ignorando os semáforos e os relatórios meteorológicos, embora esses relatórios estejam ali presentes. O artigo sugere que o próximo grande salto na previsão não virá de tornar os modelos maiores, mas de ensiná-los a usar esse contexto extra.

Resumo

Em suma, o fev-bench é uma "Olimpíada" mais realista, justa e estatisticamente rigorosa para a previsão de séries temporais. Ele força os modelos a provarem que conseguem lidar com a complexidade do mundo real (como dados extras) em vez de apenas memorizar padrões em uma pista simples. A principal descoberta deles é que o futuro de uma previsão precisa reside em modelos que saibam usar todas as informações disponíveis, não apenas os números do passado.

Resumo Técnico: fev-bench

Definição do Problema

A previsão de séries temporais está passando por uma transformação impulsionada por modelos de fundação pré-treinados (TSFMs), que oferecem capacidades de inferência zero-shot e frequentemente superam os métodos tradicionais. No entanto, a avaliação desses modelos é prejudicada por lacunas significativas nos benchmarks existentes. Os frameworks atuais sofrem frequentemente com a cobertura limitada de domínios, falta de rigor estatístico na agregação e uma infraestrutura rígida que impede a reprodutibilidade.

Uma lacuna crítica identificada é a negligência das covariáveis (variáveis estáticas, apenas do passado e dinâmicas conhecidas), apesar de sua prevalência e importância em aplicações do mundo real, como a previsão de demanda no varejo. Alémmente, muitos benchmarks reportam resumos de número único sem intervalos de confiança, tornando difícil distinguir melhorias genuínas de modelos de variações aleatórias. Por fim, a falta de uma infraestrutura de avaliação padronizada e leve leva frequentemente a implementações inconsistentes e resultados incomparáveis entre estudos.

Metodologia

Para enfrentar esses desafios, os autores introduzem o fev-bench, um benchmark abrangente composto por 100 tarefas de previsão em sete domínios do mundo real (Energia, Natureza, Nuvem, Mobilidade, Economia, Saúde e Varejo). A metodologia baseia-se em três pilares:

1. Construção do Benchmark

Diversidade de Tarefas: O benchmark inclui 96 conjuntos de dados únicos extraídos de repositórios estabelecidos (Monash, GIFT-Eval, BOOM) e dados de competições (Kaggle, M5). Ele apresenta 100 tarefas distintas variando em frequência (de minutária a anual), horizontes de previsão e dimensionalidade.
Integração de Covariáveis: Uma característica definidora é a inclusão de 46 tarefas com covariáveis, cobrindo variáveis estáticas, apenas do passado e dinâmicas conhecidas. Isso contrasta fortemente com os benchmarks anteriores, que em grande parte ignoram as covariáveis.
Protocolo de Avaliação: As tarefas utilizam um protocolo de origem rotativa (rolling-origin) com múltiplas janelas de avaliação ( $W$ ) para mimetizar a implantação no mundo real e melhorar a robustez estatística. O número de janelas é ajustado com base no tamanho do conjunto de dados (até 20 para conjuntos pequenos, 1 para grandes).

2. Métricas de Avaliação e Agregação

O benchmark avalia tanto previsões pontuais quanto probabilísticas usando:

Métricas: Erro Absoluto Médio Escalado (MASE) para previsões pontuais e Perda de Quantil Escalado (SQL) para previsões probabilísticas. O SQL é escolhido por sua independência de escala, de forma análoga ao MASE.
Estratégias de Agregação:
- Taxas de Vitória ( $W_j$ ): A probabilidade de um modelo superar um competidor escolhido aleatoriamente em uma tarefa aleatória.
  ção Scores de Habilidade ( $S_j$ ): Uma métrica baseada na média geométrica que quantifica a redução de erro em relação a uma linha de base fixa (Seasonal Naive), limitada para lidar com valores extremos.
- Significância Estatística: Para abordar a confiabilidade das diferenças de desempenho, os autores empregam bootstrapping pareado (1.000 amostras) para calcular intervalos de confiança de 95% para taxas de vitória e scores de habilidade pareados. Isso determina se as lacunas de desempenho são robustas às variações na composição do benchmark.

3. A Biblioteca `fev`

Apoiando o benchmark está a fev, uma biblioteca Python leve projetada para reprodutibilidade e integração.

Design: Minimiza dependências (recorrendo apenas ao datasets do Hugging Face e pydantic) e evita o uso de versões específicas de bibliotecas (ex: PyTorch, NumPy) para evitar a obsolescência.
Funcionalidade: Fornece definições de tarefas padronizadas, carregamento de dados, pontuação de predição e agregação de resultados. Inclui adaptadores para bibliotecas de previsão populares (GluonTS, darts, AutoGluon, etc.), mas exclui implementações de modelos para garantir que a infraestrutura de avaliação permaneça estável ao longo do tempo.

Principais Resultados

Os autores avaliaram um conjunto de 21 modelos, incluindo TSFMs pré-treinados de última geração (Chronos-2, TiRex, TimesFM-2.5, Moirai-2.0, etc.), baselines estatísticos e modelos específicos de tarefas.

Desempenho dos Modelos: O Chronos-2 alcançou a maior taxa de vitória média (91,4% para probabilística, 87,2% para pontual) e score de habilidade, seguido pelo TiRex e TimesFM-2.5. Modelos pré-treinados geralmente superaram modelos estatísticos e específicos de tarefas tanto em precisão quanto em tempo de execução.
Significância Estatística: Comparações pareadas com intervalos de confiança via bootstrapping revelaram uma lacuna estatisticamente significativa entre o Chronos-2 e outros modelos. No entanto, a lacuna entre o TiRex e o TimesFM-2.5 mostrou uma sobreposição acentuada, sugerindo que não há um vencedor claro entre eles sob diferentes composições de benchmark.
Impacto das Covariáveis: Uma descoberta crítica é que modelos capazes de utilizar covariáveis (especificamente Chronos-2 e TabPFN-TS) mostraram ganhos substanciais de desempenho quando as covariáveis foram incluídas (ex: o score de habilidade do Chronos-2 aumentou de 40,9% para 47,0%). Inversamente, a maioria dos modelos pré-treinados existentes ignora as covariáveis, deixando ganhos de precisão significativos sem serem explorados.
Multivariado vs. Univariado: A modelagem multivariada nativa proporcionou apenas ganhos modestos em comparação com as abordagens univariadas, contrastando com as grandes melhorias observadas pela integração de covariáveis.

Significância e Alegações

O artigo posiciona o fev-bench e a biblioteca fev como uma base prática para a próxima geração de pesquisa em previsão de séries temporais. Sua significância reside em:

Abordar a Lacuna das Covariáveis: Ao incluir explicitamente 46 tarefas com covariáveis, o benchmark destaca uma deficiência importante no desenvolvimento atual de TSFMs, apontando o suporte a covariáveis como um caminho claro para trabalhos futuros.
Rigor Estatístico: O uso de intervalos de confiança via bootstrapping move o campo além de rankings de número único, fornecendo uma avaliação mais confiável se as diferenças de desempenho são genuínas ou decorrentes de variação aleatória.
Reprodutibilidade e Flexibilidade: O design modular e leve do pacote fev visa superar a rigidez de sistemas de benchmark monolíticos, facilitando a integração em fluxos de trabalho existentes e a criação de extensões específicas de domínio.

Os autores concluem que, embora os modelos pré-treinados estejam avançando rapidamente, a comunidade deve priorizar o suporte a covariáveis e a avaliação estatisticamente robusta para garantir o progresso sustentado em aplicações de previsão do mundo real.