Resumo Técnico: Fidel-TS: Um Benchmark Multimodal de Alta Fidelidade para Previsão de Séries Temporais

Declaração do Problema

A avaliação de modelos de previsão de séries temporais está atualmente prejudicada pela falta de benchmarks de alta qualidade, levando a avaliações superestimadas do progresso dos modelos. Os benchmarks existentes sofrem com três categorias principais de problemas:

1. Limitações Unimodais: Conjuntos de dados tradicionais (por exemplo, ETT, ECL, M4) são frequentemente de pequena escala, desatualizados e apresentam composições de variáveis vagas. Crucialmente, sua disponibilidade pública de longo prazo criou um risco significativo de contaminação por pré-treinamento para Modelos de Linguagem Grandes (LLMs), potencialmente inflando suas capacidades percebidas de previsão.
2. Falhas Multimodais: Os primeiros benchmarks multimodais (por exemplo, TimeMMD) herdam riscos de contaminação e introduzem novas falhas metodológicas. Eles frequentemente dependem de dados textuais recuperados retrospectivamente (por exemplo, notícias, relatórios), causando vazamento temporal (acesso a informações futuras) e vazamento de descrição (texto que declara explicitamente a verdade fundamental). Além disso, utilizam frequentemente dados de baixa frequência (mensais/semanais), limitando o volume de dados e impedindo a avaliação de cenários complexos de alta frequência.
3. Ambiguidade Estrutural: Os benchmarks existentes frequentemente falham em distinguir claramente entre "Sujeitos" (por exemplo, sensores específicos ou regiões) e "Canais" (variáveis), tornando difícil avaliar rigorosamente a generalização do modelo para novas entidades não vistas dentro de um sistema.

Metodologia: O Framework Fidel-TS

Para abordar essas deficiências, os autores formalizam três princípios centrais de benchmarking de alta fidelidade e constroem o Fidel-TS, um novo benchmark de grande escala baseado neles.

Princípios Centrais

1. Integridade da Fonte de Dados: O benchmark utiliza exclusivamente fluxos de dados de API em tempo real protegidos por autenticação. Isso garante a atualidade, a suficiência e a alta frequência (sub-horária) dos dados, enquanto mitiga inerentemente a contaminação por pré-treinamento ao obter dados de APIs restritas em vez de repositórios públicos.
2. Design Livre de Vazamentos: As modalidades textuais são restritas a informações exógenas agendadas verificáveis, como previsões meteorológicas e eventos de controle (por exemplo, cronogramas de manutenção). Isso garante que os dados textuais disponíveis no timestamp de previsão sejam estritamente verificáveis, prevenindo vazamentos temporais e de descrição comuns na recuperação aberta de notícias.
3. Clareza Estrutural: O benchmark implementa uma demarcação estrita entre Sujeitos (entidades distintas como sensores ou salas) e Canais (variáveis como velocidade ou temperatura). Essa arquitetura permite uma avaliação rigorosa da generalização ao treinar em sujeitos observados e testar em sujeitos retidos e não vistos.

Pipeline de Curadoria de Dados

A construção do Fidel-TS envolve um pipeline que traduz fluxos brutos de API em conjuntos de dados estruturados:

• Tratamento de Imperfeições: Ruído de sensores do mundo real e valores ausentes são preservados. Lacunas curtas são interpoladas, enquanto lacunas longas são tratadas como eventos de "Tempo de Inatividade do Sensor", marcados com valores zero e descrições textuais correspondentes (por exemplo, "tempo de inatividade do sensor"), transformando problemas de qualidade de dados em características contextuais.
• Integração Textual: Metadados estáticos (descrições de conjunto de dados/sujeito/canal) e eventos dinâmicos alinhados no tempo (clima, logs de controle) são consolidados em um Banco de Dados de Eventos Dinâmicos, garantindo alinhamento temporal estrito com timestamps numéricos.
• Cenários de Avaliação: O benchmark oferece múltiplas variações de conjunto de dados:
  • -h: Reduzido a frequência horária para uniformidade.
  • -mini: Subconjuntos menores criados via amostragem por importância (estratificada por dependência multimodal) para tornar a avaliação de LLMs computacionalmente viável sem introduzir viés.
  • -obs / -hid: Subconjuntos Observados (treinamento) e Ocultos (teste) para avaliar a generalização ao nível de sujeito (transferência zero-shot para novos sensores/salas).

Contribuições Principais

1. Formalização de Princípios: O artigo estabelece um framework formal para benchmarking de séries temporais de alta fidelidade, enfatizando integridade de dados, design livre de vazamentos e clareza estrutural.
2. Lançamento do Fidel-TS: A introdução de um novo benchmark de grande escala contendo dados frescos, de alta frequência e livres de vazamentos em diversos domínios (Fotovoltaica, Energia Renovável, Física Atmosférica, Tráfego, Rede Elétrica, HVAC).
3. Framework de Avaliação Unificado: Um framework abrangente compatível com diversas modalidades (unimodal, multimodal, baseado em LLM) e arquiteturas, permitindo comparação justa em todo o espectro de modelos de previsão.

Resultados Experimentais

Os autores avaliaram uma ampla gama de modelos, incluindo modelos unimodais específicos de domínio (DLinear, PatchTST, iTransformer), modelos fundamentais (Chronos, TimeMoE, Sundial), modelos multimodais (GPT4MTS, FIATS) e vários LLMs (série Qwen, DeepSeek-R1, Chattime).

Principais Descobertas

1. Desempenho Unimodal: Nenhum modelo unimodal único domina consistentemente em todos os conjuntos de dados. Além disso, os Modelos Fundamentais de Séries Temporais (TSFMs) falham em exibir a suposta capacidade robusta de previsão zero-shot; seu desempenho degrada significativamente à medida que o horizonte de previsão se estende, muitas vezes tendo desempenho inferior a modelos especializados treinados em conjuntos de dados específicos.
2. Ganhos Multimodais: A eficácia da previsão multimodal depende altamente da arquitetura do modelo e da relevância das entradas textuais. Modelos como FIATS, que aproveitam o texto dentro do horizonte de previsão como orientação explícita de estado, alcançam desempenho de última geração. Por outro lado, modelos que tratam o texto meramente como covariáveis históricas (por exemplo, GPT4MTS) frequentemente ficam atrás das linhas de base unimodais. Estudos de ablação confirmam que os modelos utilizam ativamente o contexto semântico em vez de tratar o texto como um regularizador genérico.
3. Limitações dos LLMs: Embora o desempenho dos LLMs correlacione-se com habilidades de raciocínio geral, até mesmo variantes ajustadas para domínio permanecem instáveis. Em configurações realistas, ricas em contexto e livres de vazamentos de longo prazo:
   • LLMs que empregam promptagem direta sofrem de graves problemas de precisão e confiabilidade.
   • As taxas de aprovação caem significativamente com horizontes de previsão mais longos, entradas multivariadas e contextos textuais densos.
   • A maioria dos LLMs fica atrás de modelos de previsão dedicados, sugerindo que benchmarks anteriores podem ter oferecido tarefas excessivamente simplificadas ou sofrido de vazamento de dados.

Significado

O artigo argumenta que o Fidel-TS revela um cenário de desempenho distinto dos benchmarks anteriores, expondo vieses de avaliação inerentes a trabalhos anteriores. Ao estabelecer um padrão rigoroso e livre de vazamentos, os autores visam:

• Corrigir a superestimação das capacidades dos modelos, particularmente no que diz respeito a LLMs e modelos fundamentais zero-shot.
• Fornecer uma avaliação mais realista das capacidades de generalização por meio da divisão ao nível de sujeito.
• Incentivar a comunidade de pesquisa a desenvolver métodos de benchmarking mais confiáveis e verdadeiramente generalizáveis que se alinhem com cenários de implantação no mundo real.

O trabalho conclui que, embora o progresso na previsão de séries temporais seja evidente, os padrões de avaliação atuais não acompanharam os avanços dos modelos, tornando necessária a abordagem de alta fidelidade apresentada no Fidel-TS.