VFEM: Visual Feature Empowered Multivariate Time Series Forecasting with Cross-Modal Fusion

Resumo Técnico: VFEM – Previsão de Séries Temporais Multivariadas Potencializada por Recursos Visuais com Fusão Cross-Modal

Definição do Problema
A previsão de séries temporais multivariadas enfrenta duas limitações primordiais nos atuais modelos de fundação de larga escala. Primeiro, a prevalente arquitetura independente de canais trata cada variável separadamente para lidar com dimensões de dados variáveis. Embora isso facilite a generalização zero-shot, ignora dependências e correlações cruciais entre canais que poderiam aumentar a precisão da previsão. Por outro lado, modelos dependentes de canais frequentemente exigem o treinamento de parâmetros totais em conjuntos de dados massivos, incorrendo em altos custos computacionais e potencialmente falhando em capturar padrões específicos de domínio ao achatar séries multivariadas.

Segundo, os métodos cross-modais existentes para séries temporais dependem predominantemente de modalidades textuais (por exemplo, reaproveitando LLMs com prompts de texto). Essas abordagens subutilizam as capacidades de reconhecimento de padrões espaciais de modelos de visão. Séries temporais multivariadas, quando renderizadas como imagens 2D, exibem padrões visuais como periodicidade, relações de atraso (lead-lag) e eventos anômalos que são naturalmente adequados para o reconhecimento por modelos de visão pré-treinados, mas esse potencial permanece amplamente inexplorado na integração cross-modal.

Metodologia: Arquitetura VFEM
Os autores propõem o VFEM (Visual Feature Empowered Multivariate Time Series Forecasting), uma estrutura cross-modal projetada para capturar padrões complexos entre variáveis através do aproveitamento de Modelos de Visão Grandes (LVMs) pré-treinados. A arquitetura consiste em três estágios principais:

1. Processamento da Modalidade Visual:

   • Transformação: A série temporal multivariada $X \in \mathbb{R}^{L \times M}$ (onde $L$ é a janela de observação e $M$ é o número de variáveis) é transposta para $X^\top \in \mathbb{R}^{M \times L}$. Esta matriz é tratada como um mapa de intensidade de canal único e replicada através de três canais ($c=3$) para formar uma entrada de imagem RGB de 3 canais $X_{vs}$. Nesta representação, as linhas correspondem às variáveis e as colunas aos passos de tempo.
   • Extração de Recursos: Um codificador de visão pré-treinado (especificamente o SigLIP-2-base-NaFlex) processa a imagem para extrair um embedding visual global. Crucialmente, o codificador de visão é congelado durante o treinamento.
   • Expansão e Projeção: Como o codificador de visão produz um único embedding global, ele é replicado em todas as $M$ variáveis para fornecer contexto visual compartilhado. Uma rede de projeção treinável (com conexões residuais) então faz a ponte para o gap de domínio entre os recursos visuais e as representações de séries temporais, mapeando-os para uma dimensão oculta unificada.

2. Processamento da Modalidade Temporal:

   • A série temporal bruta passa pela Normalização de Instância Reversível (RevIN) para remover desvios de distribuição enquanto preserva os padrões temporais.
   • A série normalizada é processada por um ramo temporal utilizando autoatenção espaço-temporal. A dimensão temporal é particionada em segmentos, e o tensor é rearranjado para permitir que mecanismos de atenção capturem dependências entre variáveis e segmentos de tempo simultaneamente.

3. Fusão Cross-Modal:

   • Os estados ocultos visuais ($H_{vs}$) e os estados ocultos temporais ($H_{ts}$) são concatenados ao longo da dimensão de recursos.
   • Um codificador de fusão (usando camadas de autoatenção) processa os recursos combinados para modelar interações cross-modais e dependências entre variáveis conjuntamente.
   • Finalmente, uma camada de previsão linear gera a previsão, seguida pela normalização de instância reversa para restaurar a escala original dos dados.

Principais Contribuições

• Estrutura Cross-Modal: O artigo introduz uma abordagem inovadora que transforma séries temporais multivariadas em representações visuais, permitindo que modelos de visão pré-treinados percebam relações espaciais e padrões entre variáveis que os modelos independentes de canais perdem.
• Eficiência de Parâmetros: Ao congelar o grande codificador de visão, o VFEM treina apenas 7,45% de seus parâmetros totais (aproximadamente 30 milhões de parâmetros treináveis de um total de 375 milhões). Esta estratégia aproveita o conhecimento visual pré-treinado enquanto evita o overfitting em dados limitados de séries temporais.
• Desempenho: Através da fusão dos ramos visual e temporal, o VFEM alcança um desempenho de previsão competitivo em múltiplos benchmarks, demonstrando que o reconhecimento de padrões visuais é uma modalidade viável e eficaz para análise de séries temporais.

Resultados Experimentais
Os autores avaliaram o VFEM em sete conjuntos de dados de referência: ETTh1, ETTh2, ETTm1, ETTm2, Electricity, Weather e Traffic. O modelo foi comparado contra:

• Modelos de Fundação de Séries Temporais Zero-Shot: Chronos (Base/Large), Moirai (Base/Large).
• Modelos Supervisionados Específicos de Tarefa: GPT4TS, UniTST, TimesNet, PatchTST.

Principais Descobertas:

• Precisão Superior: O VFEM alcançou o menor Erro Quadrático Médio (MSE) e Erro Absoluto Médio (MAE) em todos os conjuntos de dados e horizontes de previsão ($F \in \{96, 192, 336, 720\}$), superando tanto os modelos de fundação zero-shot quanto as linhas de base supervisionadas específicas de tarefa.
• Estabilidade de Longa Sequência: A modalidade visual aumentou a capacidade do modelo de reconhecer padrões de longo prazo, resultando em uma degradação de desempenho mais lenta conforme o horizonte de previsão aumentava (por exemplo, aumento mínimo de MSE de $F=336$ para $F=720$).
• Estudos de Ablação:
  • Remover qualquer um dos ramos, visual ou temporal, degradou o desempenho, sendo que o ramo visual teve um impacto mais significativo na previsão de longo prazo.
  • A camada de projeção foi essencial para alinhar as modalidades.
  • Estratégia de Congelamento: Manter o codificador de visão totalmente congelado produziu os melhores resultados em comparação com o descongelamento das últimas 2 ou 4 camadas ou o ajuste fino (fine-tuning) total, sugerindo que preservar as representações visuais pré-treinadas é crítico ao lidar com modalidades heterogêneas.
  • Qualidade de Representação: Visualizações t-SNE e análise do Coeficiente de Silhueta confirmaram que as camadas de projeção treinadas adaptaram com sucesso os recursos visuais pré-treinados ao domínio de séries temporais, produzindo embeddings com qualidade de agrupamento significativamente melhor do que os outputs brutos do codificador congelado ou recursos estatísticos manuais.

Significância e Alegações
O artigo afirma que o VFEM oferece uma nova perspectiva sobre a previsão de séries temporais multivariadas ao validar a utilidade das modalidades visuais. Ele demonstra que:

1. Séries temporais multivariadas contêm padrões visualmente reconhecíveis (periodicidade, lead-lag, anomalias) que podem ser efetivamente capturados por modelos de visão pré-treinados.
2. A fusão cross-modal de recursos visuais e temporais pode modelar efetivamente dependências complexas entre variáveis sem o ônus computacional do treinamento de parâmetros totais em corpora de larga escala de séries temporais.
3. Congelar um grande modelo de visão e treinar uma pequena fração de parâmetros é uma estratégia altamente eficiente que alcança desempenho de estado da arte, forneando uma alternativa viável às abordagens existentes de canais independentes ou de dependência de canais com ajuste fino total.