Recency Biased Causal Attention for Time-series Forecasting

Título: Recency Biased Causal Attention for Time-series Forecasting (RBCA)

Autores: Kareem Hegazy, Michael W. Mahoney, N. Benjamin Erichson (UC Berkeley, ICSI, LBNL).

---

1. Problema e Motivação

O artigo aborda uma lacuna fundamental na aplicação de Transformers para previsão de séries temporais. Embora os Transformers tenham revolucionado o processamento de linguagem natural (NLP) e alcançado resultados state-of-the-art em várias tarefas, sua arquitetura padrão de atenção apresenta limitações críticas para dados temporais:

1. Falta de Viés de Recência (Recency Bias): A atenção padrão do Transformer é "all-to-all" (todos para todos) e não causal por natureza (a menos que explicitamente mascarada). Em contraste, Redes Neurais Recorrentes (RNNs) possuem uma estrutura causal e local inerente, onde informações recentes têm maior peso, refletindo o "viés de recência". Este viés é um prior indutivo útil, pois em sistemas físicos e temporais, a dependência entre observações geralmente decai com o tempo.
2. Inadequação para Estruturas Locais e Causais: Em previsão de séries temporais, o futuro não deve influenciar o passado (causalidade) e as interações mais próximas no tempo são geralmente mais relevantes. O mecanismo de atenção padrão, ao permitir interações globais sem restrições de decaimento, pode obscurecer sinais locais importantes com ruído de interações distantes irrelevantes.
3. Falha em Tarefas de Memória Seletiva: O artigo cita o "flip-flop task", onde RNNs conseguem facilmente aprender a ler, escrever e ignorar informações em memória, enquanto Transformers padrão falham, sugerindo que a falta de viés de recência e causalidade impede a modelagem eficaz de dependências sequenciais críticas.

2. Metodologia: RBCA (Recency Biased Causal Attention)

Os autores propõem o RBCA, um framework simples que modifica o mecanismo de Multi-Head Attention (MHA) para incorporar viéses causais e de recência de forma suave e controlada.

Mecanismo de Atualização

O RBCA combina duas máscaras na pontuação de atenção ($S$):

1. Máscara Causal ($M^{(C)}$): Garante que o tempo $t$ só possa atender a tempos $t' \leq t$ (proibindo o futuro).
2. Máscara de Viés de Recência ($M^{(L)}$): Uma função não positiva $f(\Delta t)$ que decai suavemente conforme a diferença temporal aumenta, reponderando as pontuações de atenção.

A pontuação final é: $S^{(C,L)} = S + M^{(C)} + M^{(L)}$.

Funções de Viés Propostas

O artigo investiga várias funções de decaimento, destacando duas inspiradas em leis físicas (distribuições de lei de potência):

• Lei de Potência nos Pesos ($f^{(PL)}$): $f(t) = -\alpha \log(t)$. Isso impõe um envelope de lei de potência diretamente nos pesos de atenção após o softmax.
• Lei de Potência na Similaridade ($f^{(SPL)}$): $f(t) = -(t)^{-\alpha}$. Aplica a lei de potência na pontuação bruta, resultando em um decaimento exponencial de uma lei de potência após o softmax.

Justificativa Física: O trabalho argumenta que muitos sistemas físicos exibem autocorrelações de cauda pesada (heavy-tailed), onde a força da correlação decai como uma lei de potência. Como os pesos de atenção são análogos a correlações de similaridade par, alinhar a distribuição de atenção a essa estrutura física melhora a modelagem.

Vantagens Adicionais:

• Redução de Complexidade: Se o viés decair suficientemente rápido para zero em um tempo $\tau$, a complexidade da atenção pode ser reduzida de $O(T^2)$ para $O(\tau T)$ (linear).
• Regularização: O viés atua como um regularizador, forçando o modelo a focar em medições recentes e reduzindo o risco de overfitting em dados distantes.

3. Principais Contribuições

1. Framework RBCA: Introdução de um método geral para injetar viés de recência em Transformers, utilizando leis de potência inspiradas em sistemas físicos.
2. Validação em Tarefas de Memória (Flip-Flop): Demonstração de que Transformers com viés de recência de lei de potência adquirem capacidades de "leitura, escrita e ignorar" semelhantes às RNNs, superando significativamente os Transformers padrão e outros viéses derivados de NLP (como ALiBi).
3. Powerformer: Desenvolvimento de um novo modelo, o Powerformer, que é uma variante do PatchTST (um modelo state-of-the-art) onde o MHA padrão é substituído pelo RBCA.
   • O Powerformer utiliza uma arquitetura encoder-only com patching de entrada.
   • O modelo demonstra que, ao contrário do esperado (onde o modelo tentaria aprender a remover a regularização), o Powerformer reforça o viés de recência durante o treinamento, indicando que tal viés é intrinsecamente benéfico para a previsão.

4. Resultados Experimentais

Os experimentos foram conduzidos em duas frentes principais:

A. Tarefa Flip-Flop (NLP/Síntese)

• Objetivo: Testar a capacidade de ler, escrever e ignorar informações em sequências longas.
• Resultado: Os viéses de lei de potência ($f^{(PL)}$ e $f^{(SPL)}$) alcançaram consistentemente ~100% de precisão em testes fora de distribuição (OOD).
• Comparação: Viéses comuns de NLP (como ALiBi, decaimento exponencial) e o MHA padrão tiveram desempenho inferior (ALiBi ~75%, MHA ~85%), demonstrando que nem todo viés de recência é eficaz; a forma funcional (lei de potência) é crucial.

B. Previsão de Séries Temporais (Benchmarks Reais)

• Datasets: 7 benchmarks padrão (ETT, Weather, Electricity, Traffic).
• Desempenho do Powerformer:
  • O Powerformer superou o PatchTST (o modelo base) e outros modelos complexos como FEDformer, ETSformer e One-Fits-All (que é um GPT-2 pré-treinado muito maior).
  • Em 46 tarefas de previsão, o Powerformer obteve o melhor desempenho, enquanto o PatchTST obteve o melhor em apenas 9.
  • Análise de Atenção: O Powerformer aprende a impor uma estrutura de lei de potência mesmo sem a máscara explícita nas camadas finais, confirmando que o modelo internalizou a necessidade de focar em dependências locais e de longo prazo com cauda pesada.
• Limitações: O modelo teve desempenho ligeiramente inferior em datasets altamente periódicos (como Tráfego e Eletricidade), onde métodos baseados em Fourier ou janelas constantes podem ser mais adequados. Isso destaca que o RBCA é superior para dinâmicas não estacionárias e complexas.

5. Significado e Conclusão

O artigo estabelece que a causalidade e o viés de recência não são apenas restrições, mas componentes essenciais para o sucesso de Transformers em séries temporais.

• Mudança de Paradigma: O trabalho desafia a ideia de que Transformers devem ser puramente "all-to-all" para capturar dependências longas. Em vez disso, sugere que uma estrutura de atenção que combina foco local forte (recência) com uma cauda pesada (para capturar dependências de longo prazo de forma suave) é superior.
• Eficiência e Generalização: A abordagem RBCA permite que modelos menores e mais simples (como o Powerformer) superem modelos massivos e complexos, demonstrando que a correta inductive bias (viés indutivo) é mais importante do que apenas aumentar a capacidade do modelo.
• Implicação Física: A conexão entre a estrutura de atenção e as leis de potência observadas em sistemas físicos oferece uma nova perspectiva teórica para o design de arquiteturas de deep learning para dados temporais.

Em resumo, o RBCA e o Powerformer provam que adaptar a atenção do Transformer para respeitar a natureza causal e local dos dados temporais, utilizando decaimentos inspirados em leis de potência, resulta em ganhos significativos de precisão e robustez na previsão de séries temporais.