Trio: Learning Time-Series Forecasting with Temporal-Spatial-Sample Attention and Structural Causal Priors

Resumo Técnico: Trio - Aprendendo Previsão de Séries Temporais com Atenção Temporal-Espacial-Amostral e Priores Causais Estruturais

Definição do Problema
A previsão de séries temporais multivariadas exige que os modelos raciocinem sobre três dimensões complexas: dinâmica temporal, dependências entre variáveis e correspondências históricas de entrada-saída. Embora os recentes Redes de Ajuste de Dados Prévios (PFNs) tenham demonstrado sucesso na aprendizagem tabular ao treinar em tarefas sintéticas para aprender estratégias de inferência transferíveis, a aplicação direta desse paradigma à série temporal é desafiadora. Os priores tabulares padrão falham em capturar propriedades essenciais das séries temporais, como ordem temporal, atrasos dinâmicos (lags) e padrões históricos recorrentes. Além disso, a maioria dos modelos de previsão existentes é treinada de maneira supervisionada específica para um conjunto de dados, limitando sua capacidade de aprender mecanismos de previsão generalizáveis que se transfiram entre diferentes tarefas. A questão central abordada é como um modelo de previsão pode reutilizar explicitamente exemplos históricos de entrada-saída dentro de um contexto de série temporal longo, em vez de tratar o histórico meramente como uma sequência plana.

Metodologia
O artigo propõe o Trio, uma arquitetura de previsão de séries temporais consciente de amostras, e um gerador de Modelo Causal Estrutural de Séries Temporais (TS-SCM) para criar priores sintéticos estruturados.

1. Arquitetura Trio (Atenção Temporal-Espacial-Amostral):

   • Reorganização de Dados: Em vez de processar uma sequência histórica contínua, o Trio reorganiza a entrada em um conjunto de pares de entrada-saída históricos (segmentos de lookback-futuro) e uma janela de consulta atual. Isso modela explicitamente a correspondência entre entradas passadas e seus resultados futuros.
   • Atenção Tridimensional: O modelo emprega um codificador alternado com três mecanismos de atenção complementares:
     • Atenção Temporal: Captura padrões dinâmicos dentro da janela usando autoatenção causal sobre tokens de patch.
     • Atenção Espacial: Modela dependências entre variáveis em cada posição de janela e patch.
     • Atenção de Amostra (Sample Attention): Recupera pares de lookback-futuro históricos relevantes para guiar a previsão atual. Diferente da atenção de amostra padrão que utiliza um único token CLS, o Trio realiza a recuperação por patch, onde os tokens de consulta futura atuais atendem a tokens de prompt futuro agregados historicamente. Isso permite que o modelo absorva seletivamente mapeamentos de entrada-saída úteis de janelas anteriores.
   • Construção de Tokens: Os segmentos de lookback e futuro históricos são incorporados (embedded) separadamente. A janela atual utiliza tokens de consulta aprendíveis como placeholders de futuro, que consultam o banco de memória histórico durante a atenção de amostra.

2. Gerador TS-SCM:

   • Para suportar a aprendizagem no estilo PFN, os autores introduzem um gerador que cria tarefas sintéticas estruturadas que refletem a complexidade do mundo real.
   • Mecanismos: Ele simula sistemas dinâmicos causais multivariados com mecanismos de nós heterogêneos, atrasos dinâmicos ao nível de aresta (que podem ser dependentes do estado ou do histórico), processos de ruído, loops de feedback e deriva de distribuição.
   • Calendário de Eventos: Utiliza um calendário de eventos baseado em empuxo (push-based) para lidar com o agendamento de atrasos contínuos e propagação atrasada suave, evitando o arredondamento grosseiro de atrasos.
   • Estabilidade: O gerador inclui amostragem de grafo consciente da estabilidade para evitar trajetórias instáveis, garantindo ao mesmo tempo a diversidade.

Principais Contribuições

1. Arquitetura Trio: Uma arquitetura consciente de amostras que decompõe a previsão multivariada em atenção temporal, espacial e de nível de amostra. Ela trata contextos históricos longos como exemplos estruturados de entrada-saída, em vez de sequências indiferenciadas.
2. Gerador TS-SCM: Um gerador de tarefas sintéticas orientado à previsão, capaz de simular sistemas dinâmicos complexos com atrasos dinâmicos, interações entre variáveis e transições não estacionárias, fornecendo um prior mais rico para aprendizagem de comportamentos transferíveis.
3. Validação Empírica: Experimentos abrangentes em tarefas de dependência atrasada sintética, conjuntos de dados industriais e benchmarks públicos (ETT, Weather, Electricity) validando a eficácia da arquitetura. O artigo também inclui experimentos exploratórios de zero-shot para avaliar a transferibilidade dos priores gerados pelo TS-SCM.

Resultos Experimentais

• Tarefas Sintéticas: Em conjuntos de dados projetados para testar seleção de variáveis e dependências atrasadas, adicionar a Atenção de Amostra reduziu significativamente o Erro Quadrático Médio (MSE) em comparação com um modelo base sem ela (por exemplo, o MSE caiu de 0,706 para 0,298 no Dataset Sintético #1).
• Benchmarks Públicos: O Trio alcançou o melhor MSE médio em três dos quatro conjuntos de dados públicos (ETTm1, ETTm2, Electricity). No dataset Weather, foi competitivo, alcançando o melhor resultado no horizonte mais curto (96 passos), embora o TimeMixer++ tenha tido um desempenho superior na média.
• Contextos Longos: O modelo beneficia-se de comprimentos de contexto mais longos, mas os ganhos de desempenho estagnam ou caem se o contexto se tornar excessivamente longo, sugerindo a necessidade de uma modelagem de contexto longo moderada em vez de apenas aumentar o histórico cegamente.
• Transferência Zero-Shot: Em experimentos exploratórios de zero-shot (treinando apenas nos dados sintéticos TS-SCM e testando nos benchmarks reais ETT), o gerador proposto superou outras estratégias sintéticas (Causal Dynamics, LMC Synth) em três dos quatro conjuntos de dados em MSE e em todos os quatro em MAE. No entanto, os autores observam que diferentes priores capturam diferentes aspectos da dinâmica, e os resultados não são uniformes em todas as métricas.

Significância e Alegações
O artigo alega modestamente estudar como exemplos históricos de entrada-saída podem ser explicitamente organizados e reutilizados dentro de um modelo de previsão, em vez de alegar ter resolvido o problema da previsão de séries temporais totalmente generalista no estilo PFN. A significância reside em:

• Demonstrar que modelar explicitamente os mapeamentos de entrada-saída históricos via atenção de amostra melhora o desempenho em tarefas com dependências atrasadas.
• Mostrar que tarefas sintéticas estruturadas (TS-SCM) podem fornecer priores estruturais úteis para transferência de aprendizado, conforme evidenciado pelos resultados zero-shot.
• Reconhecer que, embora as tarefas geradas pelo TS-SCM ofereçam pistas de transferência promissoras, "a previsão de séries temporais no estilo PFN totalmente generalista permanece um problema em aberto".

O trabalho posiciona-se como um passo em direção a mecanismos de previsão mais generalizáveis, aproveitando evidências históricas estruturadas e priores causais sintéticos, sem superestimar a maturidade da previsão de séries temporais zero-shot.