Investigating simple target-covariate relationships for Chronos-2 and TabPFN-TS

Resumo Técnico: Investigando Relações Simples entre Alvo e Covariáveis para Chronos-2 e TabPFN-TS

Declaração do Problema
Modelos de Base para Séries Temporais (TSFMs) demonstraram recentemente desempenho de última geração em previsão univariada em cenários zero-shot, frequentemente superando baselines de aprendizado profundo supervisionado. No entanto, aplicações do mundo real frequentemente exigem a exploração de covariáveis dinâmicas (por exemplo, nos domínios de energia ou varejo). Embora arquiteturas recentes como Chronos-2 e TabPFN-TS visem integrar covariáveis, benchmarks existentes em grande escala (por exemplo, fev-bench) oferecem insights limitados sobre a eficácia com que esses modelos capturam dependências específicas entre alvo e covariável. Este artigo aborda a lacuna na compreensão de se o forte desempenho em benchmarks desses modelos se traduz na modelagem precisa de relações simples e controladas entre alvos e covariáveis.

Metodologia
Os autores projetam uma série de experimentos controlados utilizando tarefas mínimas especificamente elaboradas para isolar dependências entre alvo e covariável. O estudo compara dois TSFMs líderes:

1. Chronos-2: Um modelo que utiliza camadas de atenção temporal e por grupo, pré-treinado em dados multivariados sintéticos.
2. TabPFN-TS: Uma adaptação do modelo de base tabular TabPFN, pré-treinado em milhões de tarefas de regressão sintéticas e adaptado para séries temporais por meio de características cuidadosamente projetadas.

A configuração experimental envolve quatro cenários distintos em conjuntos de dados do mundo real (Eletricidade, Solar, Tráfego) e conjuntos de dados sintéticos (Random Walk, KernelSynth):

• Identidade: A covariável é idêntica ao alvo.
• Soma: O alvo é a soma de duas séries temporais sintéticas ($Z = X + Y$).
• Agregação: O alvo é uma agregação complexa de séries do mundo real ($Z = \sqrt{X} + Y - Z^2$).
• Quadrática: O alvo segue uma relação quadrática com entradas sintéticas ($Z = a + bX + cY^2$).
• Extensão Auto-regressiva: Um experimento adicional introduz um termo de dependência temporal ($\phi Z_{t-1}$) à tarefa quadrática para observar a mudança no desempenho do modelo à medida que a dependência temporal aumenta em relação à dependência da covariável.

O desempenho é avaliado usando o Erro Quadrático Médio Normalizado (NMSE) em janelas de retrovisão ($L$) e horizonte ($H$) variáveis.

Principais Resultados
Os experimentos produzem várias descobertas críticas sobre a capacidade dos modelos de utilizar informações de covariáveis:

• Superioridade do TabPFN-TS em Relações Simples: Nos experimentos de Identidade, Soma e Quadrática, o TabPFN-TS supera consistentemente o Chronos-2, particularmente para horizontes de previsão curtos. No experimento de Identidade, onde o alvo é fornecido como uma covariável, o TabPFN-TS alcança erros significativamente menores que o Chronos-2, mesmo que o Chronos-2 seja um preditor univariado mais forte isoladamente.
• Vantagem em Horizontes Curtos: O TabPFN-TS demonstra uma vantagem marcante em configurações de horizonte curto. Os autores hipotetizam que isso ocorre porque as características de entrada e saída em horizontes curtos estão mais similarmente distribuídas, assemelhando-se a problemas de regressão independentes e identicamente distribuídos (i.i.d.) encontrados durante o pré-treinamento do TabPFN.
• Robustez das Características de Covariável: No experimento de Agregação, remover as incorporações temporais do TabPFN-TS e confiar exclusivamente nas características de covariável (TabPFN(cov)) não degradou o desempenho; na verdade, tornou-se o modelo mais eficiente para configurações de curto alcance.
• Mudança no Desempenho com Dependência Temporal: Na extensão auto-regressiva, à medida que o coeficiente $\phi$ (representando a dependência temporal) aumenta, a lacuna de desempenho estreita e eventualmente se inverte. O Chronos-2 começa a superar o TabPFN-TS à medida que a tarefa muda de um problema de regressão puramente não linear para um dominado por estrutura temporal. Isso sugere que a eficácia do modelo é contingente à importância relativa das relações tempo-para-alvo versus covariável-para-alvo.

Significado e Alegações
O artigo alega que, embora o Chronos-2 domine benchmarks de previsão baseados em covariáveis em grande escala, essa dominância não implica automaticamente modelagem ótima de dependências simples entre covariável e alvo. Os resultados indicam que o TabPFN-TS, aproveitando seu pré-treinamento em priores expressivos e extensas tarefas de regressão sintéticas, captura essas relações específicas de forma mais confiável.

Os autores concluem que há um potencial significativo para projetar futuros TSFMs que combinem a modelagem explícita de dependência temporal encontrada no Chronos-2 com as capacidades de regressão em contexto inspiradas pelo TabPFN-TS. Essa abordagem híbrida é apresentada como uma direção promissora para o desenvolvimento de modelos de base para séries temporais mais eficazes e conscientes de covariáveis.