Impermanent: A Live Benchmark for Temporal Generalization in Time Series Forecasting

O artigo apresenta o "Impermanent", um novo benchmark ao vivo que avalia modelos de previsão de séries temporais em ambientes dinâmicos e não estacionários, utilizando dados em tempo real da atividade no GitHub para superar as limitações das divisões estáticas tradicionais e medir a verdadeira generalização temporal.

O essencial

Imagine que você é um meteorologista tentando prever o clima.

Até hoje, a maioria dos cientistas testava seus modelos de previsão usando apenas um "álbum de fotos" antigo do passado. Eles pegavam dados de 2020, treinavam o modelo e depois testavam se ele acertava o clima de 2021. O problema? O mundo real não é um álbum de fotos estático. O clima muda, novas tempestades surgem, e o que funcionava ontem pode falhar hoje. Além disso, se o modelo "viesse" a resposta do teste antes de ser testado (porque os dados de teste já estavam no álbum de treinamento), a nota ficaria inflada e falsa.

O artigo "IMPERMANENT" (que significa "impermanente" ou "passageiro") propõe uma solução radical: parar de usar fotos e começar a assistir ao vivo.

Aqui está a explicação simples, usando analogias do dia a dia:

1. O Problema: A "Prova de Memória" vs. O "Exame ao Vivo"

Atualmente, os modelos de previsão de séries temporais (como prever vendas, tráfego ou clima) são avaliados como se fosse uma prova de memória.

• Como funciona hoje: O professor dá um livro de exercícios (dados antigos) e uma folha de respostas (dados de teste) que o aluno já viu. O aluno decora as respostas e tira nota 10.
• O risco: Na vida real, o mundo muda. Se o aluno só decorou, ele vai falhar quando aparecer uma pergunta nova que não estava no livro. Além disso, muitos modelos modernos (chamados de "Modelos Fundamentais") são tão grandes que podem ter "lido" a folha de respostas sem querer durante o treinamento, trapaceando silenciosamente.

2. A Solução: O "Impermanent" (O Exame ao Vivo)

Os autores criaram o Impermanent, que é como um programa de TV ao vivo onde os modelos jogam em tempo real.

• A Regra de Ouro: O modelo faz a previsão antes de o resultado acontecer.
• O Cenário: Eles usam os dados do GitHub (o site onde programadores guardam seus códigos). É um lugar caótico e vivo: às vezes há um pico de atividade quando um novo recurso é lançado, às vezes o projeto morre, às vezes um influenciador famoso recomenda o projeto.
• A Dinâmica: A cada dia, o modelo recebe o histórico até hoje e tenta prever o que vai acontecer amanhã. Quando amanhã chega, verificamos se ele acertou. Depois, ele tenta prever para depois de amanhã, e assim por diante.

A Analogia do Jogador de Futebol:

• Benchmarks antigos: É como treinar um jogador contra uma parede que joga sempre da mesma forma. Ele fica ótimo na prática, mas perde no jogo real.
• Impermanent: É colocar o jogador em uma partida real, contra times que mudam de tática a cada minuto. Se ele aguenta o tranco e continua jogando bem após 90 minutos, ele é realmente bom.

3. O Que Eles Medem? (Não é só "Acertou ou Errou")

O Impermanent não olha apenas para a nota final. Ele observa:

• Resiliência: O modelo aguenta quando o mundo muda bruscamente? (Ex: Uma notícia viral que faz o número de acessos explodir).
• Estabilidade: O modelo continua bom com o passar do tempo, ou ele começa a errar feio depois de uma semana?
• Adaptação: Ele consegue aprender com o novo sem esquecer o que já sabia?

4. Os Resultados Iniciais

Eles testaram vários "atletas" (modelos de previsão), desde métodos clássicos e simples até as novas "Inteligências Artificiais Fundamentais" (modelos gigantes de IA).

• O Veredito: Até agora, os modelos de IA (como o TimesFM e o Chronos) estão ganhando, mas não é garantido. O modelo mais simples (Seasonal Naive, que basicamente diz "amanhã será igual a hoje") às vezes se sai muito bem em previsões pontuais, mas falha em prever a probabilidade de eventos raros.
• A Lição: A IA é poderosa, mas o Impermanent mostra que a verdadeira força de um modelo não é apenas acertar uma vez, mas sobreviver ao caos do mundo real dia após dia.

Resumo em uma frase

O Impermanent é um campo de batalha ao vivo onde modelos de previsão são testados contra o caos real do mundo (dados do GitHub), garantindo que eles não sejam apenas "decoradores de provas antigas", mas sim verdadeiros especialistas capazes de prever o futuro em um mundo que nunca para de mudar.

Eles estão dizendo: "Pare de confiar em notas de provas antigas. Vamos ver quem realmente sabe jogar quando o jogo começa de verdade."

Resumo técnico

Título: IMPERMANENT: Um Benchmark Ao Vivo para Generalização Temporal em Previsão de Séries Temporais

1. O Problema

O campo de previsão de séries temporais tem visto o surgimento de Modelos de Fundação (Foundation Models) que prometem generalização ampla através de domínios, frequências e datasets diversos. No entanto, a avaliação atual desses modelos enfrenta limitações críticas:

• Benchmarks Estáticos: A maioria das avaliações utiliza divisões estáticas de treino-teste. Isso não testa se o desempenho persiste em ambientes dinâmicos e não estacionários do mundo real.
• Contaminação de Dados: Modelos de grande escala podem inadvertidamente treinar em dados de teste ou realizar seleção de modelo com base em pontuações de teste, inflando artificialmente o desempenho.
• Falta de Robustez Temporal: Protocolos estáticos não capturam a degradação do modelo devido a mudanças de distribuição (concept drift), quebras estruturais ou a chegada de novas séries temporais.
• Necessidade de Avaliação Sequencial: A literatura adjacente (como em modelos de linguagem) reconhece a importância de benchmarks "ao vivo" (live) para evitar contaminação e avaliar a robustez contínua, mas essa abordagem ainda é inexistente para previsão de séries temporais.

2. Metodologia e Proposta (Impermanent)

Os autores introduzem o Impermanent, o primeiro benchmark ao vivo projetado especificamente para avaliar a generalização temporal.

• Conceito Central: Em vez de uma única divisão treino-teste, o Impermanent opera em um loop de avaliação pré-sequencial (prequential).
  • Em cada data de corte (cutoff), os modelos geram previsões para o horizonte futuro antes que a verdade fundamental (ground truth) esteja disponível.
  • As previsões são armazenadas e pontuadas apenas quando as observações reais chegam.
  • O processo é repetido sequencialmente em uma corrente de dados continuamente atualizada.
• Dataset: O benchmark é instanciado usando a atividade de desenvolvimento de software do GitHub (via GH Archive).
  • Escopo: Top 400 repositórios por contagem de estrelas.
  • Variáveis Alvo: Quatro tipos de eventos: Issues abertas, Pull Requests abertos, eventos de Push e novos "stargazers".
  • Frequências: Horária, diária, semanal e mensal.
  • Características: O dataset é altamente não estacionário, exibindo intermitência, explosões de atividade (burstiness), mudanças de nível e heterogeneidade de escala.
• Métricas de Avaliação:
  • MASE (Mean Absolute Scaled Error): Para precisão pontual.
  • CRPS Escalado (Continuous Ranked Probability Score): Para a distribuição preditiva (probabilística), estimado a partir de 9 níveis de quantil.
  • Normalização: As pontuações são escaladas em relação a um modelo "Zero" (que prevê zero sempre) para garantir comparabilidade entre subconjuntos de dados.
• Modelos Avaliados:
  • Baselines: Média Histórica, Naive Sazonal, Modelo Zero.
  • Modelos Estatísticos: AutoARIMA, AutoETS, AutoCES, DynOptTheta, Prophet.
  • Modelos de Fundação (TSFMs): Chronos-2, Moirai 2.0-R-Small, TimesFM 2.5, TiRex.
  • Todos os modelos são executados através da plataforma TimeCopilot para garantir reprodutibilidade.

3. Principais Contribuições

1. Primeiro Benchmark "Ao Vivo" para Séries Temporais: Estabelece um protocolo de avaliação que simula a implantação real, onde o futuro é desconhecido e os dados mudam constantemente.
2. Protocolo à Prova de Vazamento (Leak-proof): Ao exigir que as previsões sejam feitas antes da observação dos dados, elimina-se o risco de contaminação por dados de teste ou seleção de modelo baseada em resultados futuros.
3. Análise de Estabilidade Temporal: Permite estudar não apenas a acurácia pontual, mas a robustez a mudanças de distribuição, a estabilidade das classificações dos modelos ao longo do tempo e a capacidade de lidar com choques estruturais.
4. Infraestrutura Automatizada e Open-Source: Todo o pipeline (ingestão de dados, previsão, avaliação e leaderboard) é automatizado, aberto e executado em infraestrutura serverless (Modal), permitindo que novos modelos sejam adicionados sem reprocessar dados históricos.

4. Resultados Iniciais

Os resultados apresentados (até fevereiro de 2026) mostram:

• Dominação de Modelos de Fundação: Os modelos de foundation models ocupam as quatro primeiras posições no ranking geral. O TimesFM lidera em três das quatro colunas de métricas.
• Nuances de Desempenho:
  • O SeasonalNaive apresenta um bom ranking de MASE (5.39), mas um desempenho pobre em calibração probabilística (CRPS rank 9.50).
  • Modelos estatísticos como AutoETS e AutoARIMA mostram rankings de CRPS comparáveis a métodos mais complexos, apesar de menor precisão pontual.
• Dinâmica de Ranking: Como o benchmark é ao vivo, os rankings não são estáticos; eles mudam à medida que novos cortes de tempo acumulam dados, permitindo identificar quais vantagens iniciais se mantêm sob mudanças contínuas de distribuição.

5. Significância e Conclusão

O Impermanent representa um passo concreto para validar se a "generalização de nível de fundação" em previsão de séries temporais é real ou apenas um artefato de benchmarks estáticos.

• Mudança de Paradigma: Desloca o foco da "acurácia estática" para o "desempenho sustentado" no tempo.
• Aplicabilidade: Serve como um recurso compartilhado para pesquisadores e praticantes testarem se modelos que funcionam bem em laboratório (benchmarks estáticos) continuam confiáveis após a implantação em ambientes reais e dinâmicos.
• Futuro: O framework foi projetado para expandir para outros fluxos de dados ao vivo, incorporar informações contextuais auxiliares e testar horizontes de previsão mais longos.

Recursos Disponíveis:

• Código e Dashboard ao Vivo: https://github.com/TimeCopilot/impermanent e https://impermanent.timecopilot.dev.