Resumo Técnico: TS-ARENA – Uma Plataforma de Pré-Registro de Previsão ao Vivo

1. O Problema: O "Crise de Avaliação" em Modelos de Fundação (TSFMs)

O avanço dos Modelos de Fundação para Séries Temporais (TSFMs) trouxe um desafio crítico de integridade científica: o vazamento de informações (information leakage). O artigo identifica dois tipos principais de contaminação que invalidam as métricas de desempenho atuais:

• Vazamento Direto (Contaminação de Dados de Teste): Ocorre quando dados que deveriam ser usados apenas para teste acabam sendo incluídos inadvertidamente no conjunto de treinamento massivo e opaco dos modelos de fundação.
• Vazamento Temporal Indireto: Ocorre quando modelos são avaliados em séries temporais cujos horizontes de previsão se sobrepõem temporalmente a séries correlacionadas presentes no treinamento (ex: usar dados de consumo de ônibus para prever o uso de metrô no mesmo período).

Os benchmarks tradicionais, baseados em conjuntos de dados estáticos e históricos, são vulneráveis a esses problemas e não conseguem refletir a capacidade de generalização real dos modelos em cenários de mundo real.

2. Metodologia: O Protocolo de Pré-Registro de Previsão (FPRP)

Para resolver esses problemas, os autores propõem o TS-Arena, uma plataforma de benchmarking contínuo que utiliza o conceito de "benchmarks vivos". A inovação central é o Forecast Pre-Registration Protocol (FPRP).

Como funciona o FPRP:

1. Divisão Temporal Estrita: A avaliação é baseada no tempo real ($t_{now}$).
2. Pré-Registro Obrigatório: Os modelos devem enviar suas previsões para um horizonte futuro $H$ antes que os dados reais (ground-truth) desse horizonte existam fisicamente.
3. Janela de Submissão: A janela de submissão é fechada rigorosamente antes da próxima observação real ser registrada pelo sistema.
4. Avaliação Pós-Fato: Somente após a materialização dos dados reais é que o erro é calculado.

Isso torna o vazamento de informações impossível por design, pois o modelo é forçado a "apostar" no futuro desconhecido.

Arquitetura de Microserviços:
A plataforma utiliza uma arquitetura modular baseada em Docker Compose, composta por:

• Database (TimescaleDB): Armazena dados de alta frequência e utiliza a estratégia Slowly Changing Dimension Type 2 (SCD2) para garantir que a reconstrução do estado dos dados em qualquer momento histórico seja perfeitamente reprodutível.
• Data Portal: Ingestão contínua de APIs externas (ex: dados de energia).
• API Portal: Orquestra os desafios, valida submissões e gerencia o ranking.
• Reference Model Service: Hospeda modelos de estado da arte (TSFMs) e baselines estatísticos para garantir uma comparação constante e justa.

3. Principais Contribuições

• Inovação de Protocolo: Introdução do FPRP, o primeiro mecanismo que aborda diretamente o vazamento de informações específico de séries temporais.
• Benchmarking Contínuo: Diferente de competições estáticas (como as M-Competitions), o TS-Arena é um ambiente dinâmico que evolui com o tempo.
• Sistema de Ranking ELO com Incerteza: Utiliza o sistema de rating ELO (inspirado no xadrez) para comparar modelos de forma pareada, complementado por um método de Randomized Replay Bootstrap para quantificar a incerteza e a estabilidade dos rankings.
• Infraestrutura de Dados Reais: Foco no domínio de energia (carga, geração e preço), que oferece alta complexidade e frequência.

4. Resultados e Análise

Os resultados baseados em um ano de backtesting (2025) com mais de 3,9 milhões de pontos de dados demonstram que:

• Superioridade dos TSFMs: Os modelos de fundação ocupam o topo do ranking, superando significativamente os métodos estatísticos tradicionais (como seasonal-naive).
• Desempenho por Tarefa: Modelos como o Chronos-2 e TiRex mostraram excelente desempenho global. Notou-se que os modelos são muito eficazes na previsão de consumo de energia, mas enfrentam dificuldades maiores na geração de energia (devido à natureza intermitente e física, como a geração solar que é zero à noite).
• Escalabilidade de Parâmetros: Observou-se que, dentro de uma mesma família (ex: Chronos-Bolt), o aumento do número de parâmetros resulta em um aumento monotônico no score ELO.
• Novos Entrantes: A plataforma permite que novos modelos demonstrem competitividade imediata, embora seus intervalos de confiança sejam inicialmente mais amplos até que acumulem rodadas suficientes.

5. Significância

O TS-Arena representa uma mudança de paradigma na avaliação de modelos de inteligência artificial para séries temporais. Ao mover a avaliação do "passado conhecido" para o "futuro desconhecido", ele estabelece um novo padrão de rigor científico. A plataforma não apenas serve como um termômetro para a capacidade de generalização dos TSFMs, mas também fornece uma infraestrutura robusta para que a comunidade de pesquisa possa testar modelos em condições de produção reais, livres de viés de contaminação.