Horizon Activation Mapping for Neural Networks in Time Series Forecasting

Título: Mapeamento de Ativação de Horizonte para Redes Neurais em Previsão de Séries Temporais

Declaração do Problema
Modelos de redes neurais para previsão de séries temporais alcançaram melhorias significativas de desempenho, particularmente em tarefas de longo horizonte. No entanto, o campo carece de um framework unificado para seleção de modelos e interpretabilidade que seja agnóstico a tipos específicos de camadas ou famílias de modelos. Métodos existentes de interpretabilidade, como Grad-CAM, são projetados para visão computacional e dependem de mapas de atenção espacial, que não se traduzem trivialmente para a natureza espaço-temporal da previsão multivariada. Além disso, embora existam várias famílias de modelos (por exemplo, baseadas em MLP, autoatenção, baseadas em SSM, difusão), não há um conjunto de dados supervisionado em grande escala ou framework analítico capaz de comparar suas dinâmicas internas de aprendizado e atividades de gradiente entre diferentes arquiteturas. A seleção atual de modelos frequentemente depende de métricas de erro (MSE, MAE) que podem ser semelhantes entre diferentes famílias, obscurecendo as paisagens de otimização subjacentes e as estratégias de aprendizado.

Metodologia: Mapeamento de Ativação de Horizonte (HAM)
Os autores introduzem o Mapeamento de Ativação de Horizonte (HAM), uma técnica visual de interpretabilidade inspirada no Grad-CAM, mas adaptada para previsão de séries temporais. O HAM analisa as magnitudes das atualizações de gradiente através de sub-séries dentro de um horizonte de previsão para identificar propriedades do modelo.

• Modos Causal e Anti-Causal: Para um horizonte de tamanho $H$, o HAM calcula médias de norma de gradiente usando dois modos de mascaramento aplicados à função de perda antes da retropropagação:
  • Modo Causal ($c$): Inclui sub-séries do instante de tempo 0 até $h$.
  • Modo Anti-Causal ($a$): Inclui sub-séries do instante de tempo $h$ até $H$.
• Médias de Norma de Gradiente: O framework computa a norma média do gradiente em relação aos parâmetros do modelo $\theta$ sobre essas sub-séries mascaradas.
• Visualizações:
  • Gráficos HAM: Exibem médias de norma de gradiente contra instantes de tempo, comparados a uma "linha de proporcionalidade" representando uma distribuição uniforme de normas de gradiente.
  • Gráficos de Diferença: Mostram a diferença entre as médias de gradiente causal e anti-causal, escalonadas para $[-1, 1]$, para destacar disparidades no aprendizado ao longo do horizonte.
  • Gráficos de Área Interpolada: Normalizam a área máxima por modelo para a faixa $[0, 1]$ para comparar modelos de diferentes tamanhos de horizonte.
• Métricas Chave: O framework identifica o Ponto Equivariante de Gradiente, onde a média da norma de gradiente dos primeiros $h$ instantes de tempo é igual à dos restantes $H-h$ instantes de tempo. Também calcula a área assinada entre as curvas e a linha de proporcionalidade para amplificar variações.

Configuração Experimental
O estudo avalia o HAM em diversas famílias de modelos treinados no conjunto de dados ETTm2 (divisão 60-20-20 para treino-validação-teste) usando uma GPU NVIDIA A40. Os modelos incluem:

• Baseados em MLP: CycleNet, N-Linear, N-HITS.
• Autoatenção: FEDformer, Pyraformer.
• Modelos de Espaço de Estados (SSM): SpaceTime.
• Difusão: Multi-Resolution DDPM.

Os experimentos cobrem vários tamanhos de horizonte ($H = \{96, 192, 336, 720\}$) e investigam os efeitos de:

• Taxas de Dropout.
• Tamanhos de lote (batch sizes).
• Parada antecipada (épocas pós-parada).
• Divisões do conjunto de dados (treino vs. validação vs. teste).
• Previsão Univariada vs. Multivariada.
• Hiperparâmetros arquiteturais (por exemplo, comprimento da fila cíclica, estratégias de normalização).

Principais Resultados e Observações

1. Efeitos do Dropout: Em modelos multivariados (especificamente N-HITS), a adição de dropout (0,2) aumentou as magnitudes gerais de gradiente em mais de 3 vezes, particularmente em regiões mais longas do horizonte.
2. Dinâmicas de Tamanho de Lote:
   • Magnitudes de gradiente e métricas de erro mostraram relações complexas com o tamanho do lote.
   • Em modelos convergidos (N-HITS, N-Linear, CycleNet), as médias de norma de gradiente interpoladas através dos tamanhos de lote exibiram uma tendência de saturação polinomial, sugerindo uma aproximação exponencial potencial através dos tamanhos de lote por época.
   • O CycleNet mostrou diferenças sutis de desempenho baseadas no tamanho do lote, com atividade anti-causal aumentando em tamanhos de lote menores (50) e atividade causal diminuindo em tamanhos maiores (100).
3. Parada Antecipada: Modelos parados antecipadamente mostraram magnitudes de gradiente reduzidas, particularmente no modo causal. O ponto equivariante de gradiente de modelos com parada antecipada deslocou-se mais próximo de $H/2$, sugerindo que atividades em regiões de horizonte mais longo não melhoraram o desempenho uma vez que o modelo atingiu um mínimo local.
4. Divisões do Conjunto de Dados: Dados de treinamento empurraram as curvas mais próximas da linha de proporcionalidade. Conjuntos de validação no N-HITS mostraram aspectos "fora de distribuição" mais distintamente do que no CycleNet.
5. Univariada vs. Multivariada: A previsão multivariada apresentou maiores dificuldades de aprendizado espacial. A remoção dos instantes de tempo iniciais em sub-séries multivariadas empurrou as curvas anti-causais abaixo da linha de proporcionalidade, um comportamento não observado em casos univariados.
6. Especificidades Arquiteturais:
   • N-Linear: A normalização (subtraindo o valor do último instante de tempo) reduziu os erros em 16% e alterou as magnitudes de gradiente, diminuindo-as causalmente nos primeiros 23% do horizonte e aumentando-as posteriormente.
   • CycleNet: O comprimento da fila cíclica influenciou a ordenação dos valores. O menor comprimento de ciclo (64) correspondeu ao melhor desempenho e mostrou magnitudes maiores interagindo entre comprimentos de sub-séries.
   • SpaceTime: Exibiu atividades autorregressivas exponenciais. Seu modo causal transitou de linear (em $H=96$) para tendências exponenciais (em $H=\{192, 336, 720\}$), destacando regiões mais longas do horizonte.
   • N-HITS: Seu comportamento alinhou-se ao teorema de aproximação neural, com aumentos anti-causais apoiando suposições de horizonte infinito.
   • Difusão (Multi-Resolution DDPM): Mostrou normas de gradiente caracteristicamente maiores para sub-séries menores em comparação com expectativas proporcionais, sugerindo uma propriedade da previsão baseada em difusão.

Significância e Alegações
O artigo afirma que o HAM fornece um framework granular e agnóstico ao modelo para:

• Seleção de Modelos: Comparar estratégias de aprendizado e paisagens de otimização entre diferentes famílias de redes neurais (MLP, Atenção, SSM, Difusão) além de métricas de erro simples.
• Escolha do Conjunto de Validação: Usar variabilidades relativas nos gráficos HAM para selecionar conjuntos de validação apropriados.
• Insight Arquitetural: Atribuir tendências específicas nos gráficos HAM a propriedades teóricas, como o teorema de aproximação neural do N-HITS e a natureza autorregressiva exponencial do SpaceTime.
• Generalização: O framework é aplicável independentemente dos tipos de camadas usados no modelo, abordando a limitação de métodos anteriores que eram específicos de certas arquiteturas.

Os autores observam que, embora o HAM use médias de norma gerais, gráficos por camada podem elucidar ainda mais as dinâmicas de aprendizado para sub-séries mais curtas e mais longas. O estudo conclui que o HAM serve como uma ferramenta para entender a "paisagem de otimização" da previsão de séries temporais, permitindo mudanças de arquitetura interpretáveis e comparações entre famílias.