Resumo Técnico: Perda de Variáveis Cruzadas para Previsão de Séries Temporais Multivariadas

1. Definição do Problema e Motivação

A Previsão de Séries Temporais Multivariadas (MTSF) visa prever valores futuros de múltiplas variáveis inter-relacionadas. Embora os avanços recentes tenham se concentrado intensamente na modelagem de dependências de canais no lado da entrada (extração de representações de características históricas), este artigo argumenta que as dependências do lado da saída — as correlações intrínsecas entre as previsões futuras — têm sido amplamente negligenciadas.

As abordagens convencionais predominantes seguem o paradigma de Previsão Direta (DF). Neste paradigma, um modelo aprende um mapeamento $f_\theta: \mathbb{R}^{H \times D} \to \mathbb{R}^{T \times D}$ para gerar previsões de $T$ passos para $D$ variáveis simultaneamente. No entanto, o treinamento padrão de DF baseia-se em funções de perda ponto a ponto (ex: Erro Quadrático Médio, MSE) que tratam cada entrada de passo temporal e variável como uma previsão escalar independente.

Os autores identificam uma limitação crítica nesta abordagem:

1. Desajuste Físico: Sistemas multivariados do mundo real (ex: mercados financeiros, redes de tráfego) exibem dinâmicas de sistema compartilhadas onde as variáveis coevoluem. Desacoplar cegamente as previsões futuras viola essas leis físicas, podendo levar a previsões que são numericamente precisas ponto a ponto, mas estruturalmente contraditórias (ex: violando regras de mercado ou restrições físicas).
2. O Gap de Objetivo: Do ponto de vista probabilístico, a otimização padrão de MSE ponto a ponto assume que os resíduos de previsão seguem uma distribuição Gaussiana isotrópica completamente independente (matriz de covariância diagonal). No entanto, devido às dependências entre variáveis e defasagens (lags), a verdadeira matriz de covariância espaço-temporal dos resíduos contém elementos fora da diagonal significativos e não nulos. Isso cria um "Gap de Objetivo" teórico ($\Delta \neq 0$) entre a perda padrão e a verdadeira distribuição conjunta dos dados. Consequentemente, minimizar o MSE ponto a ponto falha em capturar a topologia geométrica conjunta dos dados originais.

2. Metodologia: Perda de Variáveis Cruzadas (CvLoss)

Para abordar o Gap de Objetivo, os autores propõem a Perda de Variáveis Cruzadas (CvLoss), um regularizador estrutural de inserção (plug-in) que restringe explicitamente a consistência dos resíduos de previsão entre variáveis.

2.1 Fundamentação Teórica

Os autores formalizam o problema utilizando uma perspectiva de estrutura de grafo. Eles definem o vetor de erro de previsão $e$ e postulam que os resíduos reais seguem uma distribuição Gaussiana multivariada com uma matriz de precisão estruturada $\Sigma_{ST}^{-1}$ contendo elementos fora da diagonal não nulos.

• Proposição 3.2 estabelece que minimizar a log-verossimilhança negativa de uma Gaussiana com uma matriz de precisão estruturada é equivalente a minimizar o MSE padrão mais uma penalidade de variação total (TV) de grafo ao quadrado sobre um grafo de variáveis cruzadas.
• Embora a teoria sugira uma penalidade $\ell_2$ (ao quadrado), os autores escolhem empiricamente uma norma $\ell_1$ para o termo de penalidade. Esta escolha é motivada pela necessidade de ser menos sensível a anomalias localizadas ou choques específicos de variáveis que poderiam dominar uma penalidade ao quadrado, mantendo, ao mesmo tempo, a promoção da consistência de resíduos em nível de grafo.

2.2 Formulação da Perda

A CvLoss opera em nós de patch. O horizonte de previsão $T$ é dividido em $P$ patches não sobrepostos de comprimento $L$. Cada nó $v$ representa um patch para uma variável específica.

• Construção do Grafo: Um grafo de variáveis cruzadas é construído onde as arestas conectam as variáveis. Os autores definem três tipos de arestas:
  1. Arestas síncronas: Conectam variáveis no mesmo passo de tempo (capturando interações simultâneas).
  2. Arestas assíncronas: Conectam variáveis em diferentes passos de tempo (capturando propagação com atraso/lag).
  3. Arestas totalmente conectadas: A configuração padrão, incluindo interações síncronas e assíncronas para maximizar a cobertura sem a necessidade de priors específicos do domínio.
• Cálculo da Perda: Para cada aresta $(i, j)$ no grafo, a perda penaliza a discrepância entre as diferenças estruturais das previsões e o valor real (ground truth).
  $$L_{cv} = \frac{1}{|E| \times L} \sum_{(i,j) \in E} \| (\hat{z}_i - \hat{z}_j) - (z_i - z_j) \|_1$$
  Usando os resíduos por nó $e_i = \hat{z}_i - z_i$, isso se simplifica para a variação total dos resíduos através do grafo:
  $$L_{cv} = \frac{1}{|E| \times L} \sum_{(i,j) \in E} \| e_i - e_j \|_1 = \frac{1}{|E| \times L} \| \tilde{A} \text{vec}(E) \|_1$$
  onde $\tilde{A}$ é a matriz de incidência elevada do grafo.

2.3 Objetivo de Treinamento

O objetivo de treinamento final combina a perda de DF ponto a ponto padrão ($L_{df}$) com o regularizador estrutural ($L_{cv}$):
$$L_\alpha = (1 - \alpha) \cdot L_{df} + \alpha \cdot L_{cv}$$
onde $\alpha \in (0, 1)$ é um hiperparâmetro fixo ajustado no conjunto de validação. Crucialmente, a CvLoss é agnóstica ao modelo e "plug-and-play", integrando-se perfeitamente com várias arquiteturas (Transformers, MLPs, etc.) sem alterar o procedimento de inferência.

3. Principais Contribuições

1. Identificação do Gap de Objetivo: O artigo demonstra que os objetivos de aprendizado ponto a ponto padrão negligenciam as dependências inerentes de erro entre canais nas previsões futuras, criando um desajuste teórico com as correlações espaço-temporais do mundo real.
2. Proposta da CvLoss: Um novo regularizador estrutural que restringe explicitamente as relações entre canais via uma formulação de consistência de resíduos em um grafo de variáveis cruzadas. Ela incentiva a consistência tanto em interações síncronas quanto assíncronas.
3. Validação Empírica: Experimentos extensos mostram que a CvLoss melhora consistentemente modelos de estado da arte (SOTA) em diversos conjuntos de dados (ETT, ECL, Traffic, Weather, PEMS) e arquiteturas (iTransformer, TimeFilter, TQNet, etc.), alcançando um desempenho preditivo superior com overhead computacional mínimo.

4. Resultados Experimentais

Os autores avaliaram a CvLoss em 12 benchmarks padrão usando vários backbones. As principais descobertas incluem:

• Ganhos de Desempenho: A adição da CvLoss reduziu consistentemente os erros de previsão (MSE e MAE). Por exemplo, no conjunto de dados Traffic, o MAE diminuiu em 0,014. Em 114 comparações controladas por backbone, a CvLoss melhorou os resultados em 111 casos, empatou em 2 e perdeu em 1, com uma redução relativa média de erro de 3,39% no MSE e 3,61% no MAE.
• Recuperação Estrutural: Visualizações das matrizes de correlação de variáveis cruzadas mostram que os modelos treinados com CvLoss recuperam a estrutura de correlação real significativamente melhor do que os modelos de base. No conjunto de dados ECL, a CvLoss melhorou o erro estrutural para 84,83% das entradas de variáveis cruzadas em comparação com um baseline iTransformer simples.
• Comparação com Outros Objetivos: A CvLoss superou 11 outros objetivos de aprendizado, incluindo perdas de alinhamento de forma (Soft-DTW), maximização de verossimilhança (QDF, Time-o1) e métodos de balanceamento de distribuição.
• Estudos de Ablação:
  • Topologia: O grafo totalmente conectado (combinando arestas síncronas e assíncronas) produziu o melhor desempenho, confirmando a necessidade de modelar ambos os tipos de interações.
  • Hiperparâmetros: O método é robusto à escolha de $\alpha$, com desempenho ideal tipicamente encontrado em torno de $\alpha \approx 0,5$. Também é robusto a variações no comprimento do patch.
• Eficiência:
  • Inferência: A CvLoss impõe zero overhead durante a inferência, pois é removida do grafo de computação após o treinamento.
  • Treinamento: Embora o grafo completo introduza complexidade quadrática $O(P^2D^2)$, os autores demonstram que a amostragem aleatória de arestas (limitando as arestas a 1000 por lote) reduz efetivamente o tempo de treinamento para um nível constante sem sacrificar a precisão preditiva.

5. Significância e Limitações

Significância:
O artigo argumenta que modelar a geometria estrutural das variáveis futuras é uma direção simples, porém eficaz, para melhorar a MTSF. Ao mudar o foco de dependências puramente do lado da entrada para a consistência estrutural do lado da saída, a CvLoss preenche a lacuna entre as suposições matemáticas das funções de perda padrão e as realidades físicas de sistemas que coevoluem. Ela oferece um mecanismo universal e leve para aumentar modelos de previsão existentes sem exigir mudanças arquitetônicas.

Limitações:

• Construção do Grafo: A abordagem padrão utiliza um grafo totalmente conectado, o que pode incluir interações não informativas em sistemas de altíssima dimensão. Embora a amostragem aleatória trate a escalabilidade, o aprendizado de estruturas de grafos adaptativas permanece uma direção futura.
• Escopo: O trabalho foca em previsão determinística em conjuntos de dados de referência regulares. Extensões para previsão probabilística, amostragem irregular e cenários de valores ausentes não foram abordadas.
• Teórico vs. Empírico: Os autores reconhecem que, embora a derivação teórica (Proposição 3.2) suporte uma penalidade $\ell_2$ (ao quadrado), o método implementado utiliza uma norma $\ell_1$ baseada em evidências empíricas. A teoria motiva a necessidade de uma restrição consciente da relação, mas não deriva estritamente a forma $\ell_1$ específica utilizada.

Em conclusão, a CvLoss fornece uma maneira fundamentada de regularizar previsões multivariadas, garantindo que as variáveis futuras previstas evoluam de maneira consistente com suas dependências físicas e estatísticas subjacentes.